有人2000刀本地部署了满血DeepSeek,没用GPU
版主: Jack12345
#1 有人2000刀本地部署了满血DeepSeek,没用GPU
有木有人来挑战一下?
一个万元部署满血deepseek的方式
用CPU跑推理也不是不行[微笑R]
以下为一个很火的2K美金硬件方案,满血版常规配置成本非常高,可以参考。
一、硬件配置建议
1. 处理器(CPU):• 推荐使用 AMD EPYC 7V13 64 核处理器,具有高性能和性价比。
2. 主板:• 建议选择 Gigabyte MZ32-AR0 主板,支持 16 个 DIMM 插槽,可扩展至 1TB 内存,并支持 3200MHz 的 DDR4 ECC 内存。
3. 内存(RAM):
最低配置:512GB DDR4 ECC 内存(16 条 32GB 内存条)。•
高阶配置:1TB DDR4 ECC 内存(16 条 64GB 内存条)。
注意:建议使用 3200MHz 的内存,以获得更佳性能。
4. 存储:• 1TB NVMe 固态硬盘,例如三星 980 Pro,确保快速的数据读取和写入速度。
5. 电源供应器(PSU):•
如果仅使用 CPU 进行推理,850W 的电源即可满足需求。
如果计划添加 GPU,建议使用 1500W 或 1600W 的电源,以确保有足够的功率支持
6. 散热系统:
CPU:推荐使用 420mm 的水冷散热器,例如 Corsair H170i Elite Capellix XT,确保处理器在高负载下保持适当的温度。
内存:建议在内存条上方安装 4 个 80mm 的小风扇,防止内存过热导致性能下降
二、成本估算以下是基于上述配置的成本预估(截至 2025 年 1 月 29 日):•
机架框架:$55•
主板(MZ32-AR0):$500
CPU 散热器(Corsair H170i Elite Capellix XT):$170
AMD EPYC 7V13 处理器:$599
512GB 2400MHz DDR4 ECC 内存:$400•
1TB NVMe 固态硬盘(三星 980 Pro):$75•
850W 电源供应器:$80
总计:约 $1879
如果选择 1TB 内存和更高规格的处理器,整体成本可能上升至约 $2500。
三、注意事项•
主板版本:如果选择 AMD EPYC 7V13 处理器,建议购买 MZ32-AR0 的 V3 版本主板,以确保兼容性。•
内存速度:虽然 2400MHz 的内存可以满足基本需求,但 3200MHz 的内存可以提供更好的性能表现。•
电源选择:如果计划未来添加 GPU,建议提前选购功率更高的电源
一个万元部署满血deepseek的方式
用CPU跑推理也不是不行[微笑R]
以下为一个很火的2K美金硬件方案,满血版常规配置成本非常高,可以参考。
一、硬件配置建议
1. 处理器(CPU):• 推荐使用 AMD EPYC 7V13 64 核处理器,具有高性能和性价比。
2. 主板:• 建议选择 Gigabyte MZ32-AR0 主板,支持 16 个 DIMM 插槽,可扩展至 1TB 内存,并支持 3200MHz 的 DDR4 ECC 内存。
3. 内存(RAM):
最低配置:512GB DDR4 ECC 内存(16 条 32GB 内存条)。•
高阶配置:1TB DDR4 ECC 内存(16 条 64GB 内存条)。
注意:建议使用 3200MHz 的内存,以获得更佳性能。
4. 存储:• 1TB NVMe 固态硬盘,例如三星 980 Pro,确保快速的数据读取和写入速度。
5. 电源供应器(PSU):•
如果仅使用 CPU 进行推理,850W 的电源即可满足需求。
如果计划添加 GPU,建议使用 1500W 或 1600W 的电源,以确保有足够的功率支持
6. 散热系统:
CPU:推荐使用 420mm 的水冷散热器,例如 Corsair H170i Elite Capellix XT,确保处理器在高负载下保持适当的温度。
内存:建议在内存条上方安装 4 个 80mm 的小风扇,防止内存过热导致性能下降
二、成本估算以下是基于上述配置的成本预估(截至 2025 年 1 月 29 日):•
机架框架:$55•
主板(MZ32-AR0):$500
CPU 散热器(Corsair H170i Elite Capellix XT):$170
AMD EPYC 7V13 处理器:$599
512GB 2400MHz DDR4 ECC 内存:$400•
1TB NVMe 固态硬盘(三星 980 Pro):$75•
850W 电源供应器:$80
总计:约 $1879
如果选择 1TB 内存和更高规格的处理器,整体成本可能上升至约 $2500。
三、注意事项•
主板版本:如果选择 AMD EPYC 7V13 处理器,建议购买 MZ32-AR0 的 V3 版本主板,以确保兼容性。•
内存速度:虽然 2400MHz 的内存可以满足基本需求,但 3200MHz 的内存可以提供更好的性能表现。•
电源选择:如果计划未来添加 GPU,建议提前选购功率更高的电源
标签/Tags:
#5 Re: 有人2000刀本地部署了满血DeepSeek,没用GPU
推理其实根本不用gpu
redot 写了: 2025年 3月 6日 22:20 有木有人来挑战一下?
一个万元部署满血deepseek的方式
用CPU跑推理也不是不行[微笑R]
以下为一个很火的2K美金硬件方案,满血版常规配置成本非常高,可以参考。
一、硬件配置建议
1. 处理器(CPU):• 推荐使用 AMD EPYC 7V13 64 核处理器,具有高性能和性价比。
2. 主板:• 建议选择 Gigabyte MZ32-AR0 主板,支持 16 个 DIMM 插槽,可扩展至 1TB 内存,并支持 3200MHz 的 DDR4 ECC 内存。
3. 内存(RAM):
最低配置:512GB DDR4 ECC 内存(16 条 32GB 内存条)。•
高阶配置:1TB DDR4 ECC 内存(16 条 64GB 内存条)。
注意:建议使用 3200MHz 的内存,以获得更佳性能。
4. 存储:• 1TB NVMe 固态硬盘,例如三星 980 Pro,确保快速的数据读取和写入速度。
5. 电源供应器(PSU):•
如果仅使用 CPU 进行推理,850W 的电源即可满足需求。
如果计划添加 GPU,建议使用 1500W 或 1600W 的电源,以确保有足够的功率支持
6. 散热系统:
CPU:推荐使用 420mm 的水冷散热器,例如 Corsair H170i Elite Capellix XT,确保处理器在高负载下保持适当的温度。
内存:建议在内存条上方安装 4 个 80mm 的小风扇,防止内存过热导致性能下降
二、成本估算以下是基于上述配置的成本预估(截至 2025 年 1 月 29 日):•
机架框架:$55•
主板(MZ32-AR0):$500
CPU 散热器(Corsair H170i Elite Capellix XT):$170
AMD EPYC 7V13 处理器:$599
512GB 2400MHz DDR4 ECC 内存:$400•
1TB NVMe 固态硬盘(三星 980 Pro):$75•
850W 电源供应器:$80
总计:约 $1879
如果选择 1TB 内存和更高规格的处理器,整体成本可能上升至约 $2500。
三、注意事项•
主板版本:如果选择 AMD EPYC 7V13 处理器,建议购买 MZ32-AR0 的 V3 版本主板,以确保兼容性。•
内存速度:虽然 2400MHz 的内存可以满足基本需求,但 3200MHz 的内存可以提供更好的性能表现。•
电源选择:如果计划未来添加 GPU,建议提前选购功率更高的电源
If printing money would end poverty, printing diplomas would end stupidity.
#9 Re: 有人2000刀本地部署了满血DeepSeek,没用GPU
With 512 GB of RAM, you're limited to running the 671b model at q4km or potentially q5km with a reduced context window. I
find deepseek not to be very useful when using a tiny context window as those used by ollama. Also, hardware configuration details are not
particularly useful without the corresponding tokens per second.
find deepseek not to be very useful when using a tiny context window as those used by ollama. Also, hardware configuration details are not
particularly useful without the corresponding tokens per second.
redot 写了: 2025年 3月 6日 22:20 有木有人来挑战一下?
一个万元部署满血deepseek的方式
用CPU跑推理也不是不行[微笑R]
以下为一个很火的2K美金硬件方案,满血版常规配置成本非常高,可以参考。
一、硬件配置建议
1. 处理器(CPU):• 推荐使用 AMD EPYC 7V13 64 核处理器,具有高性能和性价比。
2. 主板:• 建议选择 Gigabyte MZ32-AR0 主板,支持 16 个 DIMM 插槽,可扩展至 1TB 内存,并支持 3200MHz 的 DDR4 ECC 内存。
3. 内存(RAM):
最低配置:512GB DDR4 ECC 内存(16 条 32GB 内存条)。•
高阶配置:1TB DDR4 ECC 内存(16 条 64GB 内存条)。
注意:建议使用 3200MHz 的内存,以获得更佳性能。
4. 存储:• 1TB NVMe 固态硬盘,例如三星 980 Pro,确保快速的数据读取和写入速度。
5. 电源供应器(PSU):•
如果仅使用 CPU 进行推理,850W 的电源即可满足需求。
如果计划添加 GPU,建议使用 1500W 或 1600W 的电源,以确保有足够的功率支持
6. 散热系统:
CPU:推荐使用 420mm 的水冷散热器,例如 Corsair H170i Elite Capellix XT,确保处理器在高负载下保持适当的温度。
内存:建议在内存条上方安装 4 个 80mm 的小风扇,防止内存过热导致性能下降
二、成本估算以下是基于上述配置的成本预估(截至 2025 年 1 月 29 日):•
机架框架:$55•
主板(MZ32-AR0):$500
CPU 散热器(Corsair H170i Elite Capellix XT):$170
AMD EPYC 7V13 处理器:$599
512GB 2400MHz DDR4 ECC 内存:$400•
1TB NVMe 固态硬盘(三星 980 Pro):$75•
850W 电源供应器:$80
总计:约 $1879
如果选择 1TB 内存和更高规格的处理器,整体成本可能上升至约 $2500。
三、注意事项•
主板版本:如果选择 AMD EPYC 7V13 处理器,建议购买 MZ32-AR0 的 V3 版本主板,以确保兼容性。•
内存速度:虽然 2400MHz 的内存可以满足基本需求,但 3200MHz 的内存可以提供更好的性能表现。•
电源选择:如果计划未来添加 GPU,建议提前选购功率更高的电源