试着把Deepseek R1装在本地机器（2成功1失败）

[ahvy]

试着把Deepseek R1最近发布的distilled 版本装在家用电脑上，2台成功 1台失败

第一台成功的是2019年的iMAC，有一个自带的Radeon Pro 575X GPU， 64G内存。能够成功运行8B的model，响应速度也还可以。连续问几个问题后能听到系统的风扇会想起来

第二台成功的是算力比较强的台式机 有RTX 4090. 能够成功运行32B的model，响应速度很快

失败的是一台Mac M1的macbook air. 试着安装8B的model， 安装成功后响应很慢 不能用。 没有试更小的1.5B model。

本地机器还是个很有用的功能，不再担心data泄漏 和被AI重新用去retraining

[ldy]

我的m3 mbp可以运行32B，但是很慢。

[fyou]

这能说明啥？
本地运行大模型早就有了吧。。。。。。
买他的喇嘛模型不是早开源了，可以down下来本地运行

[ahvy]

就是提供一个硬件情况 大家都可以试一试。本地部署也许还可以微调 或者用自己的文件继续train model，然后真的可以simulate自己的写作 和思维风格？

就我的实验来看，没看出来和chatgpt的差距。

[netflix]

就是提供一个硬件情况 大家都可以试一试。本地部署也许还可以微调 或者用自己的文件继续train model，然后真的可以simulate自己的写作 和思维风格？

就我的实验来看，没看出来和chatgpt的差距。

安装程序需要多大空间？

[ahvy]

32B也只有15G多一点，空间不太大

[netflix]

32B也只有15G多一点，空间不太大

难以置信啊，这么大一个知识库，可以回答各种问题，只需要15G？人类的知识用十几个G就能装下了？

[windy]

装个oolama,有好几十个模型可以跑。

我现在机器上装的：

NAME ID SIZE MODIFIED
deepseek-r1:32b 38056bbcbb2d 19 GB 37 minutes ago
llama3.2-vision:latest 085a1fdae525 7.9 GB About an hour ago
deepseek-r1:14b ea35dfe18182 9.0 GB About an hour ago
deepseek-r1:latest 0a8c26691023 4.7 GB About an hour ago
phi4:latest ac896e5b8b34 9.1 GB 8 days ago
qwen2.5-coder:latest 2b0496514337 4.7 GB 8 days ago
gemma2:latest ff02c3702f32 5.4 GB 8 days ago
gemma:latest a72c7f4d0a15 5.0 GB 8 days ago
llama3.2:latest a80c4f17acd5 2.0 GB 8 days ago
llama3.1:latest 46e0c10c039e 4.9 GB 8 days ago

[huangchong]

难以置信啊，这么大一个知识库，可以回答各种问题，只需要15G？人类的知识用十几个G就能装下了？

大部分答案都很肤浅。不能真的当知识库看待

[verdelite]

难以置信啊，这么大一个知识库，可以回答各种问题，只需要15G？人类的知识用十几个G就能装下了？

我老告诉你们多年，世人皆傻，大脑不大。我做出这个发现长于10年，在BBS上宣传约2017。比马斯克的“世界是一个草台班子”早7年以上。

我做出这样的发现，才能在2015准确预测2025年AGI要实现，比脑科学专家的Aliasmith的预测准确5倍。

我还在7年前准确预测了量子计算永远也不可能实现，还有世界上没有光子。你们现在看不到，等几年你们能看到了。

等你明白了世人皆傻，你也能有这样的洞察力。

[alps5241]

我老告诉你们多年，世人皆傻，大脑不大。我做出这个发现长于10年，在BBS上宣传约2017。

我做出这样的发现，才能在2015准确预测2025年AGI要实现，比脑科学专家的Aliasmith的预测准确5倍。

我还在7年前准确预测了量子计算永远也不可能实现，还有世界上没有光子。你们现在看不到，等几年你们能看到了。

等你明白了世人皆傻，你也能有这样的洞察力。

股神，你炒股吗？

[redot]

专用模型用FPGA卡，效率更高，

[verdelite]

股神，你炒股吗？

我如果炒股，现在是3000万富翁。我在2015年，2017年，2020年三次告诉女同事，炒AI要买NVDA。
可是我没炒，因为廉颇是拖后腿的。昨天我告诉她如果我买了NVDA则涨了三百倍。她说：脚踏实地吧，不要有赌博心态。如果这次川普改革你丢了工作，去当个物理家教吧。当年如果我要买股票，她一定不批钱。想到这里我当时做出了不去尝试的决定。

[rtscts]

我如果炒股，现在是3000万富翁。我在2015年，2017年，2020年三次告诉女同事，炒AI要买NVDA。
可是我没炒，因为廉颇是拖后腿的。昨天我告诉她如果我买了NVDA则涨了三百倍。她说：脚踏实地吧，不要有赌博心态。如果这次川普改革你丢了工作，去当个物理家教吧。当年如果我要买股票，她一定不批钱。想到这里我当时做出了不去尝试的决定。

属实，廉颇都是负资产。

[xiaoju]

chatGPT对于稍微涉及细节的问题，都要做RAG，即搜来答案后再汇总

难以置信啊，这么大一个知识库，可以回答各种问题，只需要15G？人类的知识用十几个G就能装下了？

[xiaoju]

所以说你根本不懂量子效应

假如你穿越回去全仓nvidia，那现在业界用的是AMD的GPU，nvidia已经破产了

我如果炒股，现在是3000万富翁。我在2015年，2017年，2020年三次告诉女同事，炒AI要买NVDA。
可是我没炒，因为廉颇是拖后腿的。昨天我告诉她如果我买了NVDA则涨了三百倍。她说：脚踏实地吧，不要有赌博心态。如果这次川普改革你丢了工作，去当个物理家教吧。当年如果我要买股票，她一定不批钱。想到这里我当时做出了不去尝试的决定。

[wanmeishijie]

这能说明啥？
本地运行大模型早就有了吧。。。。。。
买他的喇嘛模型不是早开源了，可以down下来本地运行

问题是喇嘛不好用啊

[verdelite]

属实，廉颇都是负资产。

我早就认识到世人皆傻的真理，我根本不和廉颇吵架。男女有别，在古代男的如果成功，他可以纳妾生10个儿子。而女人只有她自己生的子女。这导致他们的策略不同：男的愿意去创业、拼搏。他也有一点赌性。而女的，最佳策略是绑住老公，让他只给女方的子女付出，做饭洗衣，挣一份死不死活不活的工资。少了不好，多了也不好。这就是为什么廉颇总是拖后腿。

我老认识到世人皆傻的真理后，就有了洞察力，就有了每10年一次的发财机会。上一次NVDA我完美错过，我还有一次机会。这次机会我一定会好好抓住，根本不会被廉颇捆住。

另外我说的，量子计算永远不能成功，这个我不知道要买什么股票。你们自己去研究吧。我也不敢短量子股，我怕short squeeze。你们想出来你们自己发财。

[verdelite]

所以说你根本不懂量子效应

假如你穿越回去全仓nvidia，那现在业界用的是AMD的GPU，nvidia已经破产了

世界上根本没有什么量子效应。你现在学习世人皆傻的真理还不晚，学完了你就有了和我一样的洞察力。

[noid2]

能回答明天股票是跌还是降吗？