新未名空间

试着把Deepseek R1最近发布的distilled 版本装在家用电脑上，2台成功 1台失败

第一台成功的是2019年的iMAC，有一个自带的Radeon Pro 575X GPU， 64G内存。能够成功运行8B的model，响应速度也还可以。连续问几个问题后能听到系统的风扇会想起来

第二台成功的是算力比较强的台式机 有RTX 4090. 能够成功运行32B的model，响应速度很快

失败的是一台Mac M1的macbook air. 试着安装8B的model， 安装成功后响应很慢 不能用。 没有试更小的1.5B model。

本地机器还是个很有用的功能，不再担心data泄漏 和被AI重新用去retraining

我的m3 mbp可以运行32B，但是很慢。

这能说明啥？
本地运行大模型早就有了吧。。。。。。
买他的喇嘛模型不是早开源了，可以down下来本地运行

就是提供一个硬件情况 大家都可以试一试。本地部署也许还可以微调 或者用自己的文件继续train model，然后真的可以simulate自己的写作 和思维风格？

就我的实验来看，没看出来和chatgpt的差距。

ahvy 写了： 2025年 1月 26日 18:09 就是提供一个硬件情况 大家都可以试一试。本地部署也许还可以微调 或者用自己的文件继续train model，然后真的可以simulate自己的写作 和思维风格？

就我的实验来看，没看出来和chatgpt的差距。

安装程序需要多大空间？

32B也只有15G多一点，空间不太大

ahvy 写了： 2025年 1月 26日 18:13 32B也只有15G多一点，空间不太大

难以置信啊，这么大一个知识库，可以回答各种问题，只需要15G？人类的知识用十几个G就能装下了？

装个oolama,有好几十个模型可以跑。

我现在机器上装的：

NAME ID SIZE MODIFIED
deepseek-r1:32b 38056bbcbb2d 19 GB 37 minutes ago
llama3.2-vision:latest 085a1fdae525 7.9 GB About an hour ago
deepseek-r1:14b ea35dfe18182 9.0 GB About an hour ago
deepseek-r1:latest 0a8c26691023 4.7 GB About an hour ago
phi4:latest ac896e5b8b34 9.1 GB 8 days ago
qwen2.5-coder:latest 2b0496514337 4.7 GB 8 days ago
gemma2:latest ff02c3702f32 5.4 GB 8 days ago
gemma:latest a72c7f4d0a15 5.0 GB 8 days ago
llama3.2:latest a80c4f17acd5 2.0 GB 8 days ago
llama3.1:latest 46e0c10c039e 4.9 GB 8 days ago

netflix 写了： 2025年 1月 26日 18:15 难以置信啊，这么大一个知识库，可以回答各种问题，只需要15G？人类的知识用十几个G就能装下了？

大部分答案都很肤浅。不能真的当知识库看待

netflix 写了： 2025年 1月 26日 18:15 难以置信啊，这么大一个知识库，可以回答各种问题，只需要15G？人类的知识用十几个G就能装下了？

我老告诉你们多年，世人皆傻，大脑不大。我做出这个发现长于10年，在BBS上宣传约2017。比马斯克的“世界是一个草台班子”早7年以上。

我做出这样的发现，才能在2015准确预测2025年AGI要实现，比脑科学专家的Aliasmith的预测准确5倍。

我还在7年前准确预测了量子计算永远也不可能实现，还有世界上没有光子。你们现在看不到，等几年你们能看到了。

等你明白了世人皆傻，你也能有这样的洞察力。

verdelite 写了： 2025年 1月 26日 19:01 我老告诉你们多年，世人皆傻，大脑不大。我做出这个发现长于10年，在BBS上宣传约2017。

我做出这样的发现，才能在2015准确预测2025年AGI要实现，比脑科学专家的Aliasmith的预测准确5倍。

我还在7年前准确预测了量子计算永远也不可能实现，还有世界上没有光子。你们现在看不到，等几年你们能看到了。

等你明白了世人皆傻，你也能有这样的洞察力。

股神，你炒股吗？

专用模型用FPGA卡，效率更高，

alps5241 写了： 2025年 1月 26日 19:02 股神，你炒股吗？

我如果炒股，现在是3000万富翁。我在2015年，2017年，2020年三次告诉女同事，炒AI要买NVDA。
可是我没炒，因为廉颇是拖后腿的。昨天我告诉她如果我买了NVDA则涨了三百倍。她说：脚踏实地吧，不要有赌博心态。如果这次川普改革你丢了工作，去当个物理家教吧。当年如果我要买股票，她一定不批钱。想到这里我当时做出了不去尝试的决定。

verdelite 写了： 2025年 1月 26日 19:05 我如果炒股，现在是3000万富翁。我在2015年，2017年，2020年三次告诉女同事，炒AI要买NVDA。
可是我没炒，因为廉颇是拖后腿的。昨天我告诉她如果我买了NVDA则涨了三百倍。她说：脚踏实地吧，不要有赌博心态。如果这次川普改革你丢了工作，去当个物理家教吧。当年如果我要买股票，她一定不批钱。想到这里我当时做出了不去尝试的决定。

属实，廉颇都是负资产。

chatGPT对于稍微涉及细节的问题，都要做RAG，即搜来答案后再汇总

netflix 写了： 2025年 1月 26日 18:15 难以置信啊，这么大一个知识库，可以回答各种问题，只需要15G？人类的知识用十几个G就能装下了？

所以说你根本不懂量子效应

假如你穿越回去全仓nvidia，那现在业界用的是AMD的GPU，nvidia已经破产了

verdelite 写了： 2025年 1月 26日 19:05 我如果炒股，现在是3000万富翁。我在2015年，2017年，2020年三次告诉女同事，炒AI要买NVDA。
可是我没炒，因为廉颇是拖后腿的。昨天我告诉她如果我买了NVDA则涨了三百倍。她说：脚踏实地吧，不要有赌博心态。如果这次川普改革你丢了工作，去当个物理家教吧。当年如果我要买股票，她一定不批钱。想到这里我当时做出了不去尝试的决定。

fyou 写了： 2025年 1月 26日 18:04 这能说明啥？
本地运行大模型早就有了吧。。。。。。
买他的喇嘛模型不是早开源了，可以down下来本地运行

问题是喇嘛不好用啊

rtscts 写了： 2025年 1月 26日 19:07 属实，廉颇都是负资产。

我早就认识到世人皆傻的真理，我根本不和廉颇吵架。男女有别，在古代男的如果成功，他可以纳妾生10个儿子。而女人只有她自己生的子女。这导致他们的策略不同：男的愿意去创业、拼搏。他也有一点赌性。而女的，最佳策略是绑住老公，让他只给女方的子女付出，做饭洗衣，挣一份死不死活不活的工资。少了不好，多了也不好。这就是为什么廉颇总是拖后腿。

我老认识到世人皆傻的真理后，就有了洞察力，就有了每10年一次的发财机会。上一次NVDA我完美错过，我还有一次机会。这次机会我一定会好好抓住，根本不会被廉颇捆住。

另外我说的，量子计算永远不能成功，这个我不知道要买什么股票。你们自己去研究吧。我也不敢短量子股，我怕short squeeze。你们想出来你们自己发财。

xiaoju 写了： 2025年 1月 26日 19:09 所以说你根本不懂量子效应

假如你穿越回去全仓nvidia，那现在业界用的是AMD的GPU，nvidia已经破产了

世界上根本没有什么量子效应。你现在学习世人皆傻的真理还不晚，学完了你就有了和我一样的洞察力。

能回答明天股票是跌还是降吗？