分页: 1 / 4
#1 DeepSeek 训练成本低的真相
发表于 : 2025年 1月 29日 12:40
由 ShuiNi
就是蒸馏(distillation)其他大语言模型,尤其是ChatGPT的数据,掺一些原始数据,然后达到 ChatGPT 的水平,说自己训练成本低。
这相当于直接拿别人炼好的 99.99% 的纯金,和低品位金矿1:1混合之后去炼金,这样的炼金成本当然比从品位 0.0001% 的低品位金矿里炼黄金的成本要低得多。
----
我老还是太学术了,搞了个炼矿的概念,对非业内人士还是不够直接。还是下图通俗易懂。

#2 Re: DeepSeek 训练成本低的真相
发表于 : 2025年 1月 29日 12:41
由 牛河梁
名白人。
#3 Re: DeepSeek 训练成本低的真相
发表于 : 2025年 1月 29日 12:46
由 bigballz
ShuiNi 写了: 2025年 1月 29日 12:40
就是精馏(distillation)其他大语言模型,尤其是ChatGPT的数据,掺一些原始数据,然后达到 ChatGPT 的水平,说自己训练成本低。
这相当于直接拿别人炼好的 99.99% 的纯金,和低品位金矿1:1混合之后去炼金,这样的炼金成本当然比从品位 0.0001% 的低品位金矿里炼黄金的成本要低得多。基本上和亩产万斤放卫星是一个路数。
你丫对ai 理解基本属于文盲级别
纯粹扯尼玛几把蛋
chatgpt 有几把自己的数据吗?
The same OpenAI who allegedly stole content from publications is accusing another AI company of stealing content?

#4 Re: DeepSeek 训练成本低的真相
发表于 : 2025年 1月 29日 12:47
由 Smartguy
1 月 29 日消息,DeepSeek 应用已从意大利的 Google Play 和苹果 App Store 中下架。
虽然确切原因未知,但猜测可能与意大利隐私监管机构 Garante 此前对 DeepSeek 提出的数据隐私问题有关。
据路透社此前报道,当地时间 1 月 28 日,意大利隐私监管机构 Garante 表示,正要求中国人工智能公司 DeepSeek 提供关于个人数据使用问题的解释。
Garante 称,希望能了解 DeepSeek“收集了哪些个人数据、从哪些来源收集、用于什么目的、基于什么法律依据,以及是否存储在中国”。
Garante 在一份声明中称,DeepSeek 及其关联公司有 20 天时间作出答复。
#5 Re: DeepSeek 训练成本低的真相
发表于 : 2025年 1月 29日 12:47
由 maxthon
没这么简单,deepseek还是有一套自己的想法的。但是它的训练数据来源的确有问题,我不相信它可以用低算力就能达到好的训练结果。
ShuiNi 写了: 2025年 1月 29日 12:40
就是精馏(distillation)其他大语言模型,尤其是ChatGPT的数据,掺一些原始数据,然后达到 ChatGPT 的水平,说自己训练成本低。
这相当于直接拿别人炼好的 99.99% 的纯金,和低品位金矿1:1混合之后去炼金,这样的炼金成本当然比从品位 0.0001% 的低品位金矿里炼黄金的成本要低得多。基本上和亩产万斤放卫星是一个路数。
#6 Re: DeepSeek 训练成本低的真相
发表于 : 2025年 1月 29日 12:49
由 wass
bigballz 写了: 2025年 1月 29日 12:46
你丫对ai 理解基本属于文盲级别
纯粹扯尼玛几把蛋
chatgpt 有几把自己的数据吗?
The same OpenAI who allegedly stole content from publications is accusing another AI company of stealing content?
openai也有官司的
#7 Re: DeepSeek 训练成本低的真相
发表于 : 2025年 1月 29日 12:53
由 ShuiNi
bigballz 写了: 2025年 1月 29日 12:46
你丫对ai 理解基本属于文盲级别
纯粹扯尼玛几把蛋
chatgpt 有几把自己的数据吗?
The same OpenAI who allegedly stole content from publications is accusing another AI company of stealing content?
ChatGPT 的数据是从互联网上浩如烟海的数据中拿出来的,原始数据属于谁可以有争议,ChatGPT 该不该无偿使用可以有争议,但人家好歹是从金矿石里面炼金,跟 DeepSeek 直接拿黄金成品炼金有本质区别。
#8 Re: DeepSeek 训练成本低的真相
发表于 : 2025年 1月 29日 12:57
由 jiml
bigballz 写了: 2025年 1月 29日 12:46
你丫对ai 理解基本属于文盲级别
纯粹扯尼玛几把蛋
chatgpt 有几把自己的数据吗?
The same OpenAI who allegedly stole content from publications is accusing another AI company of stealing content?
五毛卵子,"。。。级别"这种骂人话是从侬亲爹那里学的
#9 Re: DeepSeek 训练成本低的真相
发表于 : 2025年 1月 29日 13:00
由 ElonMusk
你的理解是错的。算法本身决定了对数据量的需求,openai的算法,即使用同样蒸馏后的数据,也无法达到目前的水平。
ShuiNi 写了: 2025年 1月 29日 12:40
就是精馏(distillation)其他大语言模型,尤其是ChatGPT的数据,掺一些原始数据,然后达到 ChatGPT 的水平,说自己训练成本低。
这相当于直接拿别人炼好的 99.99% 的纯金,和低品位金矿1:1混合之后去炼金,这样的炼金成本当然比从品位 0.0001% 的低品位金矿里炼黄金的成本要低得多。
#10 Re: DeepSeek 训练成本低的真相
发表于 : 2025年 1月 29日 13:15
由 robot2022
站在巨人肩膀上的意思?
那也行啊
#11 Re: DeepSeek 训练成本低的真相
发表于 : 2025年 1月 29日 13:18
由 hahan
讲这些话p用也没有
Deepseek api定价不到openai的20分之一
效果差不多
给一个要用openai的理由
#12 Re: DeepSeek 训练成本低的真相
发表于 : 2025年 1月 29日 13:19
由 bigballz
robot2022 写了: 2025年 1月 29日 13:15
站在巨人肩膀上的意思?
那也行啊
何况还是开源
尼玛github上让你拔到本地去玩
#13 Re: DeepSeek 训练成本低的真相
发表于 : 2025年 1月 29日 13:20
由 maxthon
你怎么知道?据我所知,正在开发gpt5采用的优化算法,将远超现有水平。即使现在,deepseek也只是在很小范围有比openai表现好一点。
ElonMusk 写了: 2025年 1月 29日 13:00
你的理解是错的。算法本身决定了对数据量的需求,openai的算法,即使用同样蒸馏后的数据,也无法达到目前的水平。
#14 Re: DeepSeek 训练成本低的真相
发表于 : 2025年 1月 29日 13:22
由 bigballz
maxthon 写了: 2025年 1月 29日 13:20
你怎么知道?据我所知,正在开发gpt5采用的优化算法,将远超现有水平。即使现在,deepseek也只是在很小范围有比openai表现好一点。
尼玛 和sora 一样 先来个修图 产品一年后都不见光?
#15 Re: DeepSeek 训练成本低的真相
发表于 : 2025年 1月 29日 13:23
由 ElonMusk
你明显不懂DL,你根本没看明白我的帖子就反驳
maxthon 写了: 2025年 1月 29日 13:20
你怎么知道?据我所知,正在开发gpt5采用的优化算法,将远超现有水平。即使现在,deepseek也只是在很小范围有比openai表现好一点。
#16 Re: DeepSeek 训练成本低的真相
发表于 : 2025年 1月 29日 13:24
由 maxthon
理由很简单,deepseek对全世界构成安全风险,除了中国以外,全部被屏蔽,想用也不能用。
hahan 写了: 2025年 1月 29日 13:18
讲这些话p用也没有
Deepseek api定价不到openai的20分之一
效果差不多
给一个要用openai的理由
#17 Re: DeepSeek 训练成本低的真相
发表于 : 2025年 1月 29日 13:25
由 hahan
maxthon 写了: 2025年 1月 29日 13:24
理由很简单,deepseek对全世界构成安全风险,除了中国以外,全部被屏蔽,想用也不能用。
呵呵
如果就剩这个理由
那美国ai泡泡就完全破了
#18 Re: DeepSeek 训练成本低的真相
发表于 : 2025年 1月 29日 13:26
由 drifter
maxthon 写了: 2025年 1月 29日 13:24
理由很简单,deepseek对全世界构成安全风险,除了中国以外,全部被屏蔽,想用也不能用。
硅谷各大公司一边卖防火墙禁ds
一边自己跑ds
赢两边

#19 Re: DeepSeek 训练成本低的真相
发表于 : 2025年 1月 29日 13:26
由 bigballz
drifter 写了: 2025年 1月 29日 13:26
硅谷各大公司一边卖防火墙禁ds
一边自己跑ds
赢两边
稳了lol
#20 Re: DeepSeek 训练成本低的真相
发表于 : 2025年 1月 29日 13:44
由 maxthon
这和DL有什么关系?而且你说话能不能说清楚一点,可以指出我哪一点说的不对,才能继续讨论。
ElonMusk 写了: 2025年 1月 29日 13:23
你明显不懂DL,你根本没看明白我的帖子就反驳