本地玩DeepSeek，显卡内存容量对照表

TheMatrix · 帖子由 **TheMatrix楼主** » 2025年 2月 6日 11:19

fanqie · 帖子由 **fanqie** » 2025年 2月 6日 12:59

利好大内存

DIYer · 帖子由 **DIYer** » 2025年 2月 6日 15:46

怎么没有AMD得芯片？

redot

训练过程也可以避开显存了
不用GPU也可以训练的

huangchong

他这个表不适用于已经量化之后的模型

在家里自己玩的话用ollama跑的那些模型绝大多数都经过量化需要的内存量不是太好算得靠实测

我的经验是 32b的大概17G显存， 14b，10G显存

TheMatrix · 帖子由 **TheMatrix楼主** » 2025年 2月 6日 20:20

huangchong 写了： 2025年 2月 6日 19:59 他这个表不适用于已经量化之后的模型

在家里自己玩的话用ollama跑的那些模型绝大多数都经过量化需要的内存量不是太好算得靠实测

我的经验是 32b的大概17G显存， 14b，10G显存

也就是量化之后显存需求可降4倍？

goodegg

给的都是啥
最该推荐的 Qwen 32B 居然不测。
那个 70B 的是 LLAMA3 架构的，比Qwen差远了。多花两倍多的显存，性能居然差不多。

TheMatrix 写了： 2025年 2月 6日 11:19 https://zhuanlan.zhihu.com/p/21274238281

mmking · 帖子由 **mmking（上水）** » 2025年 2月 6日 23:25

看来以后离网机器人快了

TheMatrix 写了： 2025年 2月 6日 11:19 https://zhuanlan.zhihu.com/p/21274238281

HouseMD

TheMatrix 写了： 2025年 2月 6日 11:19 https://zhuanlan.zhihu.com/p/21274238281

我7900xtx , 24g 显存，测试过之后，lmstudio里面最大参数能跑这2个ds蒸馏的模型。
虽然这两个模型实际上都只用了50%不到的显存，但是其他再大参数的模型的显存就不太够，小参数的答案很糟糕，所以劝大家还是往大参数的上

magagop · 帖子由 **magagop** » 2025年 2月 7日 11:01

DIYer 写了： 2025年 2月 6日 15:46 怎么没有AMD得芯片？

這是面向訓練的表，不是量化後的推理

新未名空间