大家有没有用过本地搭建deepseek? 不懂为什么讨论AI在军事版

[Amorphous]

就是一秒能出多少个单词。比如60 tokens/s,我问一个问题，它基本几秒钟就输出完毕了。如果5个token,问一个问题它回答了434个单词，花了1分半种多一点。如果是60tokens/s,只要7秒多就回答完毕了

谢谢

[snowman]

我试过，14b, 32b, 70b, 671b都跑过。
671b只能跑 0.12 token, 也就是8秒钟蹦一个字。
70b 能跑 2-3 token
32b 4.5 token
14b 的能跑 60 token.
问题是DS的小模型烂的和屎一样，几乎完全不能用！小模型Mistral-small 22b 比 DS 32b 的强不少。如果想装小点的模型，强烈建议试试这个。

你电脑什么配置？

[windy]

CPU: AMD 9700X
Memory: 96GB
GPU: 4080 Super
Disk: 4 SSD RAID 5

你电脑什么配置？

[snowman]

CPU: AMD 9700X
Memory: 96GB
GPU: 4080 Super
Disk: 4 SSD RAID 5

这个配置跑成这样彻底打消了叔在本地run 32b以上版本的打算。

叔分别测试过1.5b,7b,和14b.

觉得还行，并不是很烂

[happens]

这个配置跑成这样彻底打消了叔在本地run 32b以上版本的打算。

叔分别测试过1.5b,7b,和14b.

觉得还行，并不是很烂

把显卡换成7900xtx就可以了

[snowman]

把显卡换成7900xtx就可以了

AMD的显卡优化和架构还是比不了女大的卡

[happens]

AMD的显卡优化和架构还是比不了女大的卡

你又不是拿来做训练，做推理的话，a卡说不定比n卡还快。

[snowman]

你又不是拿来做训练，做推理的话，a卡说不定比n卡还快。

你拿你的7900测试一下DS各版本跟上面的对比就行了。

叔就是想做本地化训练的

[windy]

瓶颈在内存。显存够的话跑很快，一旦用到内存就慢多了，要用到虚拟内存那就慢得无法忍受。

我跑mistral-small 22b, 我的显存16G刚好放得下，刚试了一下，45 tokens.
mistral-small 24b, 刚好放不下，用了1.6G的shared Vram, 只有16 tokens.

24GB 可能能流畅的跑32b的模型

把显卡换成7900xtx就可以了