本地部署ChatGLM2-B-int4 运行案例出现问题【chatglm吧】

chatglm吧关注：286贴子：449

本地部署ChatGLM2-B-int4时出现如图错误

送TA礼物

IP属地:山西

1楼2023-08-03 17:17回复

如果你有显卡，torch要装CUDA版的，
否则torch要装CPU版的

IP属地:湖北

2楼2023-08-04 10:23

so是Linux的动态链接库的后缀名，Windows环境下用不了，具体该怎么解决很久没搞过这个了，我也不清楚

IP属地:北京

来自Android客户端3楼2023-08-04 20:38

so的问题，b站有一篇叫做低显存本地搭建chatglm int4量化版的文章里说过
win系统下面要装 mingw，可以自动编译c++

IP属地:湖北

4楼2023-08-05 11:36

下载贴吧APP
看高清直播、视频！

贴吧热议榜

发表回复

内容:

使用签名档查看全部

发表

保存至快速回贴