#21 Re: 其实用cpu硬跑满血LLM是相当可用的啊
能细节点吗?魔改unified memory?
能细节点吗?魔改unified memory?
恩,m3 m4 pro/ultra可改
只知道ultra 有512G unified memory 的,但要$10K。不知道居然可以魔改m3 pro.
另外Mac Studio的GPU做AI生成video也可以吗?Unified Memory 的memory bandwidth 毕竟还是比VRAM 慢
没找到 Mac Studio M3 pro 魔改的link,能否指条明路?
RobotII 写了: 2025年 8月 19日 14:41另外Mac Studio的GPU做AI生成video也可以吗?Unified Memory 的memory bandwidth 毕竟还是比VRAM 慢
即使可以,估计也很慢。Video generation非常吃算力,而且失败率挺高,也可能是我技术不好 所以需要反复生成。
那样的话,用旧server + 大DDR4 + 魔改显卡的方案仍然是最佳性价比的。LLM,AI生图,科学计算,都能轻松驾驭。才$2K。
有条件可以上ddr5,带宽能翻倍
性价比/可配置/全功能,当然得DIY PC平台。
如果可以接受256GB 内存,配个当前高端消费级PC可能更适合一般人,还能主流游戏。淘二手server+魔改还是有折腾风险,DDR5速度更快。全新主流CPU接口意味着可以升级未来内置NPU的AI芯片。为了省钱,可以用AMD 显卡(折腾),低速CPU(还是比10年旧的快),就是买二手部件老化也要好。还能搞个mATX平台兼顾性能和体积/外观。
DDR5还是太贵… 价格3X
太阳能屋顶发电实在太多用不完啊
狂赞
oxo 写了: 2025年 8月 19日 17:15性价比/可配置/全功能,当然得DIY PC平台。
如果可以接受256GB 内存,配个当前高端消费级PC可能更适合一般人,还能主流游戏。淘二手server+魔改还是有折腾风险,DDR5速度更快。全新主流CPU接口意味着可以升级未来内置NPU的AI芯片。为了省钱,可以用AMD 显卡(折腾),低速CPU(还是比10年旧的快),就是买二手部件老化也要好。还能搞个mATX平台兼顾性能和体积/外观。
高端消费PC没有足够的DRAM channel.10年前的server就有16X DDR 插槽,8X通道,当年就是给大数据量设计的。用16条64G 的DDR4,跟8条128G的DDR5比,带宽是一样的,但价格只要1/4还不到。NPU完全没用,没有软件支持。
另外,因为有魔改显卡,用这机器打4K 3A游戏, FPS是高于50的,就是费电。
RobotII 写了: 2025年 8月 19日 17:32高端消费PC没有足够的DRAM channel.10年前的server就有16X DDR 插槽,8X通道,当年就是给大数据量设计的。用16条64G 的DDR4,跟8条128G的DDR5比,带宽是一样的,但价格只要1/4还不到。NPU完全没用,没有软件支持。
堆内存消费级桌面当然不如服务器。所以说256GB的前提。假设10年前的DDR4是2400的,现在的入门DDR5频率可以做到2.5倍,等效通道2.5X。 NPU是future proof,以后可以少量投资catch up最新的进展。LLM技术一日千里,未来几年可能就有效费比高很多的方案出来。