新未名空间

配置：
PC: AMD9700X, 96GB DDR5, 女大 4080 Super (16GB 显存）.
Mac: Macbook Pro, M4 Max, 128GB Memory

Deepseek-r1, Llama Distill, 70b. Mac: 8.3, PC: 1.22 (token/sec,下同）
Llama 3.3 70b: Mac: 6.8, PC. 没装
QWQ 32b: Mac: 15.3, PC：3.18
DS-Llama distill, 8b: Mac 39, PC: 83.5
DS-QWEN distill 7b: Mac: 54.2, PC:83


结论： 在不超过显存的情况下，女大的显卡快很多。
一旦超过，速度就赶不上Mac了。Mac的unified memory看起来还是不错的

把4080换成4x3080，反正ds不需要nvlink

这个不可能把，主板要能支持4个PCIeX16.

anesthetic 写了： 2025年 3月 7日 13:01 把4080换成4x3080，反正ds不需要nvlink

windy 写了： 2025年 3月 7日 15:47 这个不可能把，主板要能支持4个PCIeX16.

Server motherboard 基本都可以，8卡的都有

anesthetic 写了： 2025年 3月 7日 17:41 Server motherboard 基本都可以，8卡的都有

8卡的買來放家裡，然後天天聽噴氣機起飛的噪音？