#21 Re: 大家有没有用过本地搭建deepseek? 不懂为什么讨论AI在军事版
发表于 ： 2025年 2月 19日 23:22
谢谢windy 写了： 2025年 2月 19日 23:19 就是一秒能出多少个单词。比如60 tokens/s,我问一个问题，它基本几秒钟就输出完毕了。如果5个token,问一个问题它回答了434个单词，花了1分半种多一点。如果是60tokens/s,只要7秒多就回答完毕了
谢谢windy 写了： 2025年 2月 19日 23:19 就是一秒能出多少个单词。比如60 tokens/s,我问一个问题，它基本几秒钟就输出完毕了。如果5个token,问一个问题它回答了434个单词，花了1分半种多一点。如果是60tokens/s,只要7秒多就回答完毕了
你电脑什么配置？windy 写了： 2025年 2月 19日 23:11 我试过，14b, 32b, 70b, 671b都跑过。
671b只能跑 0.12 token, 也就是8秒钟蹦一个字。
70b 能跑 2-3 token
32b 4.5 token
14b 的能跑 60 token.
问题是DS的小模型烂的和屎一样，几乎完全不能用！小模型Mistral-small 22b 比 DS 32b 的强不少。如果想装小点的模型，强烈建议试试这个。
这个配置跑成这样彻底打消了叔在本地run 32b以上版本的打算。
把显卡换成7900xtx就可以了
AMD的显卡优化和架构还是比不了女大的卡
你又不是拿来做训练，做推理的话，a卡说不定比n卡还快。