新未名空间

redot 写了： 2025年 3月 6日 22:20 有木有人来挑战一下？

一个万元部署满血deepseek的方式
用CPU跑推理也不是不行[微笑R]

以下为一个很火的2K美金硬件方案，满血版常规配置成本非常高，可以参考。
一、硬件配置建议
1. 处理器（CPU）：• 推荐使用 AMD EPYC 7V13 64 核处理器，具有高性能和性价比。
2. 主板：• 建议选择 Gigabyte MZ32-AR0 主板，支持 16 个 DIMM 插槽，可扩展至 1TB 内存，并支持 3200MHz 的 DDR4 ECC 内存。
3. 内存（RAM）：
最低配置：512GB DDR4 ECC 内存（16 条 32GB 内存条）。•
高阶配置：1TB DDR4 ECC 内存（16 条 64GB 内存条）。

注意：建议使用 3200MHz 的内存，以获得更佳性能。
4. 存储：• 1TB NVMe 固态硬盘，例如三星 980 Pro，确保快速的数据读取和写入速度。
5. 电源供应器（PSU）：•
如果仅使用 CPU 进行推理，850W 的电源即可满足需求。
如果计划添加 GPU，建议使用 1500W 或 1600W 的电源，以确保有足够的功率支持
6. 散热系统：
CPU：推荐使用 420mm 的水冷散热器，例如 Corsair H170i Elite Capellix XT，确保处理器在高负载下保持适当的温度。
内存：建议在内存条上方安装 4 个 80mm 的小风扇，防止内存过热导致性能下降
二、成本估算以下是基于上述配置的成本预估（截至 2025 年 1 月 29 日）：•
机架框架：$55•
主板（MZ32-AR0）：$500
CPU 散热器（Corsair H170i Elite Capellix XT）：$170
AMD EPYC 7V13 处理器：$599
512GB 2400MHz DDR4 ECC 内存：$400•
1TB NVMe 固态硬盘（三星 980 Pro）：$75•
850W 电源供应器：$80
总计：约 $1879
如果选择 1TB 内存和更高规格的处理器，整体成本可能上升至约 $2500。

三、注意事项•
主板版本：如果选择 AMD EPYC 7V13 处理器，建议购买 MZ32-AR0 的 V3 版本主板，以确保兼容性。•
内存速度：虽然 2400MHz 的内存可以满足基本需求，但 3200MHz 的内存可以提供更好的性能表现。•
电源选择：如果计划未来添加 GPU，建议提前选购功率更高的电源

YouHi 写了： 2025年 3月 7日 09:36 唷嘻

原来连GPU都不需要？？？

redot 写了： 2025年 3月 6日 22:20 有木有人来挑战一下？

一个万元部署满血deepseek的方式
用CPU跑推理也不是不行[微笑R]

以下为一个很火的2K美金硬件方案，满血版常规配置成本非常高，可以参考。
一、硬件配置建议
1. 处理器（CPU）：• 推荐使用 AMD EPYC 7V13 64 核处理器，具有高性能和性价比。
2. 主板：• 建议选择 Gigabyte MZ32-AR0 主板，支持 16 个 DIMM 插槽，可扩展至 1TB 内存，并支持 3200MHz 的 DDR4 ECC 内存。
3. 内存（RAM）：
最低配置：512GB DDR4 ECC 内存（16 条 32GB 内存条）。•
高阶配置：1TB DDR4 ECC 内存（16 条 64GB 内存条）。

注意：建议使用 3200MHz 的内存，以获得更佳性能。
4. 存储：• 1TB NVMe 固态硬盘，例如三星 980 Pro，确保快速的数据读取和写入速度。
5. 电源供应器（PSU）：•
如果仅使用 CPU 进行推理，850W 的电源即可满足需求。
如果计划添加 GPU，建议使用 1500W 或 1600W 的电源，以确保有足够的功率支持
6. 散热系统：
CPU：推荐使用 420mm 的水冷散热器，例如 Corsair H170i Elite Capellix XT，确保处理器在高负载下保持适当的温度。
内存：建议在内存条上方安装 4 个 80mm 的小风扇，防止内存过热导致性能下降
二、成本估算以下是基于上述配置的成本预估（截至 2025 年 1 月 29 日）：•
机架框架：$55•
主板（MZ32-AR0）：$500
CPU 散热器（Corsair H170i Elite Capellix XT）：$170
AMD EPYC 7V13 处理器：$599
512GB 2400MHz DDR4 ECC 内存：$400•
1TB NVMe 固态硬盘（三星 980 Pro）：$75•
850W 电源供应器：$80
总计：约 $1879
如果选择 1TB 内存和更高规格的处理器，整体成本可能上升至约 $2500。

三、注意事项•
主板版本：如果选择 AMD EPYC 7V13 处理器，建议购买 MZ32-AR0 的 V3 版本主板，以确保兼容性。•
内存速度：虽然 2400MHz 的内存可以满足基本需求，但 3200MHz 的内存可以提供更好的性能表现。•
电源选择：如果计划未来添加 GPU，建议提前选购功率更高的电源

lonelyarcher 写了： 2025年 3月 7日 13:23 CPU 矩阵计算跟GPU差远了
推理一样很多大矩阵运算，肯定快不了
估计没啥实用价值