有人2000刀本地部署了满血DeepSeek,没用GPU

电脑,手机,硬件,软件,电子产品等

版主: Jack12345

回复
头像
redot(红薯林)楼主
论坛元老
论坛元老
帖子互动: 491
帖子: 16093
注册时间: 2024年 7月 4日 23:40

#1 有人2000刀本地部署了满血DeepSeek,没用GPU

帖子 redot(红薯林)楼主 »

有木有人来挑战一下?

一个万元部署满血deepseek的方式
用CPU跑推理也不是不行[微笑R]

以下为一个很火的2K美金硬件方案,满血版常规配置成本非常高,可以参考。
一、硬件配置建议
1. 处理器(CPU):• 推荐使用 AMD EPYC 7V13 64 核处理器,具有高性能和性价比。
2. 主板:• 建议选择 Gigabyte MZ32-AR0 主板,支持 16 个 DIMM 插槽,可扩展至 1TB 内存,并支持 3200MHz 的 DDR4 ECC 内存。
3. 内存(RAM):
最低配置:512GB DDR4 ECC 内存(16 条 32GB 内存条)。•
高阶配置:1TB DDR4 ECC 内存(16 条 64GB 内存条)。

注意:建议使用 3200MHz 的内存,以获得更佳性能。
4. 存储:• 1TB NVMe 固态硬盘,例如三星 980 Pro,确保快速的数据读取和写入速度。
5. 电源供应器(PSU):•
如果仅使用 CPU 进行推理,850W 的电源即可满足需求。
如果计划添加 GPU,建议使用 1500W 或 1600W 的电源,以确保有足够的功率支持
6. 散热系统:
CPU:推荐使用 420mm 的水冷散热器,例如 Corsair H170i Elite Capellix XT,确保处理器在高负载下保持适当的温度。
内存:建议在内存条上方安装 4 个 80mm 的小风扇,防止内存过热导致性能下降
二、成本估算以下是基于上述配置的成本预估(截至 2025 年 1 月 29 日):•
机架框架:$55•
主板(MZ32-AR0):$500
CPU 散热器(Corsair H170i Elite Capellix XT):$170
AMD EPYC 7V13 处理器:$599
512GB 2400MHz DDR4 ECC 内存:$400•
1TB NVMe 固态硬盘(三星 980 Pro):$75•
850W 电源供应器:$80
总计:约 $1879
如果选择 1TB 内存和更高规格的处理器,整体成本可能上升至约 $2500。

三、注意事项•
主板版本:如果选择 AMD EPYC 7V13 处理器,建议购买 MZ32-AR0 的 V3 版本主板,以确保兼容性。•
内存速度:虽然 2400MHz 的内存可以满足基本需求,但 3200MHz 的内存可以提供更好的性能表现。•
电源选择:如果计划未来添加 GPU,建议提前选购功率更高的电源

标签/Tags:
头像
HouseMD(黄皮川黑)
著名点评
著名点评
帖子互动: 604
帖子: 4208
注册时间: 2022年 7月 28日 14:44

#2 Re: 有人2000刀本地部署了满血DeepSeek,没用GPU

帖子 HouseMD(黄皮川黑) »

上ddr5可以快很多
图片
头像
YouHi
论坛元老
论坛元老
YouHi 的博客
帖子互动: 2456
帖子: 35130
注册时间: 2022年 7月 22日 22:36

#3 Re: 有人2000刀本地部署了满血DeepSeek,没用GPU

帖子 YouHi »

唷嘻

原来连GPU都不需要???
著名网友名单
🇺🇸 NC CHINESE AMERICANS FOR TRUMP 🛩️
你也是Trump U毕业的吗???
头像
YouHi
论坛元老
论坛元老
YouHi 的博客
帖子互动: 2456
帖子: 35130
注册时间: 2022年 7月 22日 22:36

#4 Re: 有人2000刀本地部署了满血DeepSeek,没用GPU

帖子 YouHi »

功耗多不多?
著名网友名单
🇺🇸 NC CHINESE AMERICANS FOR TRUMP 🛩️
你也是Trump U毕业的吗???
赖美豪中(my pronouns: ha/ha)
论坛元老
论坛元老
2023年度优秀版主
帖子互动: 3532
帖子: 41456
注册时间: 2022年 9月 6日 12:50

#5 Re: 有人2000刀本地部署了满血DeepSeek,没用GPU

帖子 赖美豪中(my pronouns: ha/ha) »

推理其实根本不用gpu
redot 写了: 2025年 3月 6日 22:20 有木有人来挑战一下?

一个万元部署满血deepseek的方式
用CPU跑推理也不是不行[微笑R]

以下为一个很火的2K美金硬件方案,满血版常规配置成本非常高,可以参考。
一、硬件配置建议
1. 处理器(CPU):• 推荐使用 AMD EPYC 7V13 64 核处理器,具有高性能和性价比。
2. 主板:• 建议选择 Gigabyte MZ32-AR0 主板,支持 16 个 DIMM 插槽,可扩展至 1TB 内存,并支持 3200MHz 的 DDR4 ECC 内存。
3. 内存(RAM):
最低配置:512GB DDR4 ECC 内存(16 条 32GB 内存条)。•
高阶配置:1TB DDR4 ECC 内存(16 条 64GB 内存条)。

注意:建议使用 3200MHz 的内存,以获得更佳性能。
4. 存储:• 1TB NVMe 固态硬盘,例如三星 980 Pro,确保快速的数据读取和写入速度。
5. 电源供应器(PSU):•
如果仅使用 CPU 进行推理,850W 的电源即可满足需求。
如果计划添加 GPU,建议使用 1500W 或 1600W 的电源,以确保有足够的功率支持
6. 散热系统:
CPU:推荐使用 420mm 的水冷散热器,例如 Corsair H170i Elite Capellix XT,确保处理器在高负载下保持适当的温度。
内存:建议在内存条上方安装 4 个 80mm 的小风扇,防止内存过热导致性能下降
二、成本估算以下是基于上述配置的成本预估(截至 2025 年 1 月 29 日):•
机架框架:$55•
主板(MZ32-AR0):$500
CPU 散热器(Corsair H170i Elite Capellix XT):$170
AMD EPYC 7V13 处理器:$599
512GB 2400MHz DDR4 ECC 内存:$400•
1TB NVMe 固态硬盘(三星 980 Pro):$75•
850W 电源供应器:$80
总计:约 $1879
如果选择 1TB 内存和更高规格的处理器,整体成本可能上升至约 $2500。

三、注意事项•
主板版本:如果选择 AMD EPYC 7V13 处理器,建议购买 MZ32-AR0 的 V3 版本主板,以确保兼容性。•
内存速度:虽然 2400MHz 的内存可以满足基本需求,但 3200MHz 的内存可以提供更好的性能表现。•
电源选择:如果计划未来添加 GPU,建议提前选购功率更高的电源
If printing money would end poverty, printing diplomas would end stupidity.
头像
YouHi
论坛元老
论坛元老
YouHi 的博客
帖子互动: 2456
帖子: 35130
注册时间: 2022年 7月 22日 22:36

#6 Re: 有人2000刀本地部署了满血DeepSeek,没用GPU

帖子 YouHi »

如果计划添加 GPU,建议使用 1500W 或 1600W 的电源,以确保有足够的功率支持

LOL可以代替暖气了。
著名网友名单
🇺🇸 NC CHINESE AMERICANS FOR TRUMP 🛩️
你也是Trump U毕业的吗???
头像
YouHi
论坛元老
论坛元老
YouHi 的博客
帖子互动: 2456
帖子: 35130
注册时间: 2022年 7月 22日 22:36

#7 Re: 有人2000刀本地部署了满血DeepSeek,没用GPU

帖子 YouHi »

一直想整一个AMD EPYC做proxmox。可惜实在是没有需求啊。
著名网友名单
🇺🇸 NC CHINESE AMERICANS FOR TRUMP 🛩️
你也是Trump U毕业的吗???
Bluesky
论坛支柱
论坛支柱
帖子互动: 741
帖子: 10137
注册时间: 2022年 7月 24日 11:52

#8 Re: 有人2000刀本地部署了满血DeepSeek,没用GPU

帖子 Bluesky »

YouHi 写了: 2025年 3月 7日 09:36 唷嘻

原来连GPU都不需要???
那老黄岂不是要破产了。。。
seymour
知名人士
知名人士
帖子互动: 5
帖子: 76
注册时间: 2022年 8月 4日 00:57

#9 Re: 有人2000刀本地部署了满血DeepSeek,没用GPU

帖子 seymour »

With 512 GB of RAM, you're limited to running the 671b model at q4km or potentially q5km with a reduced context window. I
find deepseek not to be very useful when using a tiny context window as those used by ollama. Also, hardware configuration details are not
particularly useful without the corresponding tokens per second.


redot 写了: 2025年 3月 6日 22:20 有木有人来挑战一下?

一个万元部署满血deepseek的方式
用CPU跑推理也不是不行[微笑R]

以下为一个很火的2K美金硬件方案,满血版常规配置成本非常高,可以参考。
一、硬件配置建议
1. 处理器(CPU):• 推荐使用 AMD EPYC 7V13 64 核处理器,具有高性能和性价比。
2. 主板:• 建议选择 Gigabyte MZ32-AR0 主板,支持 16 个 DIMM 插槽,可扩展至 1TB 内存,并支持 3200MHz 的 DDR4 ECC 内存。
3. 内存(RAM):
最低配置:512GB DDR4 ECC 内存(16 条 32GB 内存条)。•
高阶配置:1TB DDR4 ECC 内存(16 条 64GB 内存条)。

注意:建议使用 3200MHz 的内存,以获得更佳性能。
4. 存储:• 1TB NVMe 固态硬盘,例如三星 980 Pro,确保快速的数据读取和写入速度。
5. 电源供应器(PSU):•
如果仅使用 CPU 进行推理,850W 的电源即可满足需求。
如果计划添加 GPU,建议使用 1500W 或 1600W 的电源,以确保有足够的功率支持
6. 散热系统:
CPU:推荐使用 420mm 的水冷散热器,例如 Corsair H170i Elite Capellix XT,确保处理器在高负载下保持适当的温度。
内存:建议在内存条上方安装 4 个 80mm 的小风扇,防止内存过热导致性能下降
二、成本估算以下是基于上述配置的成本预估(截至 2025 年 1 月 29 日):•
机架框架:$55•
主板(MZ32-AR0):$500
CPU 散热器(Corsair H170i Elite Capellix XT):$170
AMD EPYC 7V13 处理器:$599
512GB 2400MHz DDR4 ECC 内存:$400•
1TB NVMe 固态硬盘(三星 980 Pro):$75•
850W 电源供应器:$80
总计:约 $1879
如果选择 1TB 内存和更高规格的处理器,整体成本可能上升至约 $2500。

三、注意事项•
主板版本:如果选择 AMD EPYC 7V13 处理器,建议购买 MZ32-AR0 的 V3 版本主板,以确保兼容性。•
内存速度:虽然 2400MHz 的内存可以满足基本需求,但 3200MHz 的内存可以提供更好的性能表现。•
电源选择:如果计划未来添加 GPU,建议提前选购功率更高的电源
lonelyarcher
见习点评
见习点评
帖子互动: 120
帖子: 1855
注册时间: 2022年 7月 23日 21:41

#10 Re: 有人2000刀本地部署了满血DeepSeek,没用GPU

帖子 lonelyarcher »

CPU 矩阵计算跟GPU差远了
推理一样很多大矩阵运算,肯定快不了
估计没啥实用价值
windy(文帝)
著名点评
著名点评
帖子互动: 770
帖子: 4247
注册时间: 2023年 2月 7日 18:53

#11 Re: 有人2000刀本地部署了满血DeepSeek,没用GPU

帖子 windy(文帝) »

对,就是玩玩,估计不会超过5 TPS
lonelyarcher 写了: 2025年 3月 7日 13:23 CPU 矩阵计算跟GPU差远了
推理一样很多大矩阵运算,肯定快不了
估计没啥实用价值
一代经典
见习点评
见习点评
帖子互动: 93
帖子: 1475
注册时间: 2024年 12月 8日 22:27

#12 Re: 有人2000刀本地部署了满血DeepSeek,没用GPU

帖子 一代经典 »

我看,我要搞这个,1TB内存那个

预算30000rmb
一代经典
见习点评
见习点评
帖子互动: 93
帖子: 1475
注册时间: 2024年 12月 8日 22:27

#13 Re: 有人2000刀本地部署了满血DeepSeek,没用GPU

帖子 一代经典 »

我看,我要搞这个,1TB内存那个

预算30000rmb
回复

回到 “电脑手机(IT)”