什么电脑可以跑基础小模型

[Caravel]

非要GPU么

[uvxy]

模型小到可以完全加载到内存里面去就可以

[irisyuan]

本地部署到底是不是邪路？我觉得以后肯定是趋势，现在还有点太早

[money]

想省心
当然是游戏笔电，rtx4070系往上走
顺便玩玩游戏

[webdriver]

有人了解MLX吗？

https://huggingface.co/prism-ml/Bonsai-8B-mlx-1bit

这个模型据说可以跑在iphone上

[majia]

mac mini

AMD mini PC 估计也可以跑

[behot]

能供模型载入的显存不小于24g吧最好，那些过度量化的小模型真的和智障差不多

[pathdream]

什么东西可以跑小智障

人脑啊

[EmperorPenguin]

非要GPU么

5060ti 16GB is probably the best budget GPU for local small models

it can actually run fairly amount of models with fp4 quantization

[webdriver]

我老买不起5060Ti （16GB），退而求其次搞了两块3060（12GB）一起组24GB的

[bihai]

本地部署到底是不是邪路？我觉得以后肯定是趋势，现在还有点太早

我同事说是5090本地部署了什么Gema。但是高级一点的视频制作还是需要自己调一周以上。

我估摸着得等着显存超过1TB就显然可以本地部署了吧。。

[pathdream]

我同事说是5090本地部署了什么Gema。但是高级一点的视频制作还是需要自己调一周以上。

我估摸着得等着显存超过1TB就显然可以本地部署了吧。。

起码要2tb 起码要2tb

[oxo]

我同事说是5090本地部署了什么Gema。但是高级一点的视频制作还是需要自己调一周以上。

我估摸着得等着显存超过1TB就显然可以本地部署了吧。。

video生成非常耗费资源，本地跑就是顶级消费GPU也慢， 还不能并行scale up.

[牧童]

没啥必要啊。主要是更新太快，即使本地部署了，更新升级都是麻烦事，更别说过段时间可能就跑不起来了。

[eecs_guy]

Mac mini, Macbook Pro?

[longtian]

你这个配置模型问题多呀
首先模型大小还是被一张显卡的内存限制，大部分模型不支持多张卡。第二一般主板只有一个16x pcie,其他的都是8x的，用两张显卡反而更慢，因为速度是慢的那个决定的。第三十电源，两张3080需要600w，保守点你要上1kw的电源，这个一般机箱做不到

我老买不起5060Ti （16GB），退而求其次搞了两块3060（12GB）一起组24GB的

[sporky]

看看本地跑大模型的例子
https://www.phoronix.com/news/Clanker-T ... zen-AI-Max

[sporky]

还有一款是 GMKtec EVO-X2，现在价格3300，刚出来的时候好像是2000

[luobohui]

非要GPU么

花500块买个二手AMD 的Mi50 GPU在ebay上， 32GB显存， 大部分模型都能跑的很溜，大显存是关键