分页: 2 / 2

#21 Re: 其实用cpu硬跑满血LLM是相当可用的啊

发表于 : 2025年 8月 19日 13:43
RobotII
anesthetic 写了: 2025年 8月 19日 13:23

不需要这么麻烦,m3 pro魔改512gb更便宜还更快,还可以stack。

能细节点吗?魔改unified memory?


#22 Re: 其实用cpu硬跑满血LLM是相当可用的啊

发表于 : 2025年 8月 19日 13:52
anesthetic
RobotII 写了: 2025年 8月 19日 13:43

能细节点吗?魔改unified memory?

恩,m3 m4 pro/ultra可改


#23 Re: 其实用cpu硬跑满血LLM是相当可用的啊

发表于 : 2025年 8月 19日 14:00
RobotII
anesthetic 写了: 2025年 8月 19日 13:52

恩,m3 m4 pro/ultra可改

只知道ultra 有512G unified memory 的,但要$10K。不知道居然可以魔改m3 pro.


#24 Re: 其实用cpu硬跑满血LLM是相当可用的啊

发表于 : 2025年 8月 19日 14:41
RobotII

另外Mac Studio的GPU做AI生成video也可以吗?Unified Memory 的memory bandwidth 毕竟还是比VRAM 慢


#25 Re: 其实用cpu硬跑满血LLM是相当可用的啊

发表于 : 2025年 8月 19日 15:24
RobotII
anesthetic 写了: 2025年 8月 19日 13:23

不需要这么麻烦,m3 pro魔改512gb更便宜还更快,还可以stack。

没找到 Mac Studio M3 pro 魔改的link,能否指条明路?


#26 Re: 其实用cpu硬跑满血LLM是相当可用的啊

发表于 : 2025年 8月 19日 15:59
oxo
RobotII 写了: 2025年 8月 19日 14:41

另外Mac Studio的GPU做AI生成video也可以吗?Unified Memory 的memory bandwidth 毕竟还是比VRAM 慢

即使可以,估计也很慢。Video generation非常吃算力,而且失败率挺高,也可能是我技术不好 :D 所以需要反复生成。


#27 Re: 其实用cpu硬跑满血LLM是相当可用的啊

发表于 : 2025年 8月 19日 16:22
RobotII
oxo 写了: 2025年 8月 19日 15:59

即使可以,估计也很慢。Video generation非常吃算力,而且失败率挺高,也可能是我技术不好 :D 所以需要反复生成。

那样的话,用旧server + 大DDR4 + 魔改显卡的方案仍然是最佳性价比的。LLM,AI生图,科学计算,都能轻松驾驭。才$2K。


#28 Re: 其实用cpu硬跑满血LLM是相当可用的啊

发表于 : 2025年 8月 19日 16:25
HouseMD
RobotII 写了: 2025年 8月 19日 16:22

那样的话,用旧server + 大DDR4 + 魔改显卡的方案仍然是最佳性价比的。LLM,AI生图,科学计算,都能轻松驾驭。才$2K。

有条件可以上ddr5,带宽能翻倍


#29 Re: 其实用cpu硬跑满血LLM是相当可用的啊

发表于 : 2025年 8月 19日 17:15
oxo
RobotII 写了: 2025年 8月 19日 16:22

那样的话,用旧server + 大DDR4 + 魔改显卡的方案仍然是最佳性价比的。LLM,AI生图,科学计算,都能轻松驾驭。才$2K。

性价比/可配置/全功能,当然得DIY PC平台。

如果可以接受256GB 内存,配个当前高端消费级PC可能更适合一般人,还能主流游戏。淘二手server+魔改还是有折腾风险,DDR5速度更快。全新主流CPU接口意味着可以升级未来内置NPU的AI芯片。为了省钱,可以用AMD 显卡(折腾),低速CPU(还是比10年旧的快),就是买二手部件老化也要好。还能搞个mATX平台兼顾性能和体积/外观。


#30 Re: 其实用cpu硬跑满血LLM是相当可用的啊

发表于 : 2025年 8月 19日 17:23
RobotII
HouseMD 写了: 2025年 8月 19日 16:25

有条件可以上ddr5,带宽能翻倍

DDR5还是太贵… 价格3X


#31 Re: 其实用cpu硬跑满血LLM是相当可用的啊

发表于 : 2025年 8月 19日 17:32
ferrygao

太阳能屋顶发电实在太多用不完啊


#32 Re: 其实用cpu硬跑满血LLM是相当可用的啊

发表于 : 2025年 8月 19日 17:32
HouseMD
ferrygao 写了: 2025年 8月 19日 17:32

太阳能屋顶发电实在太多用不完啊

狂赞


#33 Re: 其实用cpu硬跑满血LLM是相当可用的啊

发表于 : 2025年 8月 19日 17:32
RobotII
oxo 写了: 2025年 8月 19日 17:15

性价比/可配置/全功能,当然得DIY PC平台。

如果可以接受256GB 内存,配个当前高端消费级PC可能更适合一般人,还能主流游戏。淘二手server+魔改还是有折腾风险,DDR5速度更快。全新主流CPU接口意味着可以升级未来内置NPU的AI芯片。为了省钱,可以用AMD 显卡(折腾),低速CPU(还是比10年旧的快),就是买二手部件老化也要好。还能搞个mATX平台兼顾性能和体积/外观。

高端消费PC没有足够的DRAM channel.10年前的server就有16X DDR 插槽,8X通道,当年就是给大数据量设计的。用16条64G 的DDR4,跟8条128G的DDR5比,带宽是一样的,但价格只要1/4还不到。NPU完全没用,没有软件支持。


#34 Re: 其实用cpu硬跑满血LLM是相当可用的啊

发表于 : 2025年 8月 19日 17:33
ferrygao
HouseMD 写了: 2025年 8月 19日 17:32

狂赞

这耗时医生啊

现在改版了

叫 狂赞 制度优势 发麻了


#35 Re: 其实用cpu硬跑满血LLM是相当可用的啊

发表于 : 2025年 8月 19日 17:37
RobotII

另外,因为有魔改显卡,用这机器打4K 3A游戏, FPS是高于50的,就是费电。


#36 Re: 其实用cpu硬跑满血LLM是相当可用的啊

发表于 : 2025年 8月 19日 18:38
oxo
RobotII 写了: 2025年 8月 19日 17:32

高端消费PC没有足够的DRAM channel.10年前的server就有16X DDR 插槽,8X通道,当年就是给大数据量设计的。用16条64G 的DDR4,跟8条128G的DDR5比,带宽是一样的,但价格只要1/4还不到。NPU完全没用,没有软件支持。

堆内存消费级桌面当然不如服务器。所以说256GB的前提。假设10年前的DDR4是2400的,现在的入门DDR5频率可以做到2.5倍,等效通道2.5X。 NPU是future proof,以后可以少量投资catch up最新的进展。LLM技术一日千里,未来几年可能就有效费比高很多的方案出来。