chatglm吧 关注:286贴子:449
  • 5回复贴,共1

ChatGLM处理请求只能一个个排队处理吗?

只看楼主收藏回复

只起一个ChatGLM进程,处理请求只能一个个排队处理吗?


IP属地:福建1楼2023-07-14 16:26回复


    IP属地:福建2楼2023-07-14 16:27
    回复
      ChatGLM是单线程的吗


      IP属地:福建3楼2023-07-14 16:40
      收起回复
        一个设备应该可以同时启动多个GLM的。我用的是本地部署秋叶佛祖一键包。不过一个地址似乎只能打开一个。而且我是CPU全展开,会吃到37G内存(我可怜的笔记本只有48G)所以会爆


        IP属地:广东来自iPhone客户端4楼2023-12-24 18:26
        回复
          起多个模型和流模式可破 并行问题


          IP属地:福建5楼2023-12-26 10:50
          回复