比较了一下Mac和PC跑本地LLM的速度

[windy]

配置：
PC: AMD9700X, 96GB DDR5, 女大 4080 Super (16GB 显存）.
Mac: Macbook Pro, M4 Max, 128GB Memory

Deepseek-r1, Llama Distill, 70b. Mac: 8.3, PC: 1.22 (token/sec,下同）
Llama 3.3 70b: Mac: 6.8, PC. 没装
QWQ 32b: Mac: 15.3, PC：3.18
DS-Llama distill, 8b: Mac 39, PC: 83.5
DS-QWEN distill 7b: Mac: 54.2, PC:83


结论： 在不超过显存的情况下，女大的显卡快很多。
一旦超过，速度就赶不上Mac了。Mac的unified memory看起来还是不错的

[anesthetic]

把4080换成4x3080，反正ds不需要nvlink

[windy]

这个不可能把，主板要能支持4个PCIeX16.

把4080换成4x3080，反正ds不需要nvlink

[anesthetic]

这个不可能把，主板要能支持4个PCIeX16.

Server motherboard 基本都可以，8卡的都有

[magagop]

Server motherboard 基本都可以，8卡的都有

8卡的買來放家裡，然後天天聽噴氣機起飛的噪音？