求高人指教，关于DELL工作站运行AI大模型卡顿的奇怪现象

我的工作站CPU配置如下：Intel(R) Xeon(R) Gold 6242R CPU @3.10GHz 3.09 GHz (2 个处理器)，内存256G，A6000显卡一个。
随着AI大模型的不断开源，可以本地布置后，我在工作站中布置了llama3.1:70b和qwen2.5:72b的大模型，结果出现了奇怪的现象。

运行llama3.1模型，很流畅，cpu利用率只有5%左右，但是运行qwen2.5大模型，电脑会非常卡，cpu利用率在60%以上，一开始我以为是qwen2.5大模型的优化问题，直到我点开了任务管理器-cpu详情，发现运行qwen2.5时，cpu的运行是这样的：

然后我又试了一下，关掉一个cpu会怎样，用百度的msconfig的方法，没想到，居然能运行qwen2.5大模型了，cpu情况如下：

我很疑惑
第一：llama3.1大模型和qwen2.5大模型，在参数等级上，差不多，为什么一个能流畅运行，一个非常卡。
第二：为什么运行qwen2.5大模型时，只有一个cpu在工作。
第三：为什么两颗cpu工作时，运行qwen2.5大模型非常卡，关掉一个后，反而变流畅了。
希望高人指点迷津，非常感谢。

扫二维码下载贴吧客户端

下载贴吧APP
看高清直播、视频！

3回复贴，共1页

<<返回电脑故障吧

分享到:

日	一	二	三	四	五	六