分页: 1 / 4

#1 DeepSeek 训练成本低的真相

发表于 : 2025年 1月 29日 12:40
ShuiNi
就是蒸馏(distillation)其他大语言模型,尤其是ChatGPT的数据,掺一些原始数据,然后达到 ChatGPT 的水平,说自己训练成本低。

这相当于直接拿别人炼好的 99.99% 的纯金,和低品位金矿1:1混合之后去炼金,这样的炼金成本当然比从品位 0.0001% 的低品位金矿里炼黄金的成本要低得多。
----
我老还是太学术了,搞了个炼矿的概念,对非业内人士还是不够直接。还是下图通俗易懂。 :lol:

图片

#2 Re: DeepSeek 训练成本低的真相

发表于 : 2025年 1月 29日 12:41
牛河梁
名白人。

#3 Re: DeepSeek 训练成本低的真相

发表于 : 2025年 1月 29日 12:46
bigballz
ShuiNi 写了: 2025年 1月 29日 12:40 就是精馏(distillation)其他大语言模型,尤其是ChatGPT的数据,掺一些原始数据,然后达到 ChatGPT 的水平,说自己训练成本低。

这相当于直接拿别人炼好的 99.99% 的纯金,和低品位金矿1:1混合之后去炼金,这样的炼金成本当然比从品位 0.0001% 的低品位金矿里炼黄金的成本要低得多。基本上和亩产万斤放卫星是一个路数。
你丫对ai 理解基本属于文盲级别

纯粹扯尼玛几把蛋

chatgpt 有几把自己的数据吗?

The same OpenAI who allegedly stole content from publications is accusing another AI company of stealing content? 😂

#4 Re: DeepSeek 训练成本低的真相

发表于 : 2025年 1月 29日 12:47
Smartguy
1 月 29 日消息,DeepSeek 应用已从意大利的 Google Play 和苹果 App Store 中下架。

虽然确切原因未知,但猜测可能与意大利隐私监管机构 Garante 此前对 DeepSeek 提出的数据隐私问题有关。

据路透社此前报道,当地时间 1 月 28 日,意大利隐私监管机构 Garante 表示,正要求中国人工智能公司 DeepSeek 提供关于个人数据使用问题的解释。

Garante 称,希望能了解 DeepSeek“收集了哪些个人数据、从哪些来源收集、用于什么目的、基于什么法律依据,以及是否存储在中国”。

Garante 在一份声明中称,DeepSeek 及其关联公司有 20 天时间作出答复。

#5 Re: DeepSeek 训练成本低的真相

发表于 : 2025年 1月 29日 12:47
maxthon
没这么简单,deepseek还是有一套自己的想法的。但是它的训练数据来源的确有问题,我不相信它可以用低算力就能达到好的训练结果。
ShuiNi 写了: 2025年 1月 29日 12:40 就是精馏(distillation)其他大语言模型,尤其是ChatGPT的数据,掺一些原始数据,然后达到 ChatGPT 的水平,说自己训练成本低。

这相当于直接拿别人炼好的 99.99% 的纯金,和低品位金矿1:1混合之后去炼金,这样的炼金成本当然比从品位 0.0001% 的低品位金矿里炼黄金的成本要低得多。基本上和亩产万斤放卫星是一个路数。

#6 Re: DeepSeek 训练成本低的真相

发表于 : 2025年 1月 29日 12:49
wass
bigballz 写了: 2025年 1月 29日 12:46 你丫对ai 理解基本属于文盲级别

纯粹扯尼玛几把蛋

chatgpt 有几把自己的数据吗?

The same OpenAI who allegedly stole content from publications is accusing another AI company of stealing content? 😂
openai也有官司的

#7 Re: DeepSeek 训练成本低的真相

发表于 : 2025年 1月 29日 12:53
ShuiNi
bigballz 写了: 2025年 1月 29日 12:46 你丫对ai 理解基本属于文盲级别

纯粹扯尼玛几把蛋

chatgpt 有几把自己的数据吗?

The same OpenAI who allegedly stole content from publications is accusing another AI company of stealing content? 😂
ChatGPT 的数据是从互联网上浩如烟海的数据中拿出来的,原始数据属于谁可以有争议,ChatGPT 该不该无偿使用可以有争议,但人家好歹是从金矿石里面炼金,跟 DeepSeek 直接拿黄金成品炼金有本质区别。

#8 Re: DeepSeek 训练成本低的真相

发表于 : 2025年 1月 29日 12:57
jiml
bigballz 写了: 2025年 1月 29日 12:46 你丫对ai 理解基本属于文盲级别

纯粹扯尼玛几把蛋

chatgpt 有几把自己的数据吗?

The same OpenAI who allegedly stole content from publications is accusing another AI company of stealing content? 😂
五毛卵子,"。。。级别"这种骂人话是从侬亲爹那里学的

#9 Re: DeepSeek 训练成本低的真相

发表于 : 2025年 1月 29日 13:00
ElonMusk
你的理解是错的。算法本身决定了对数据量的需求,openai的算法,即使用同样蒸馏后的数据,也无法达到目前的水平。
ShuiNi 写了: 2025年 1月 29日 12:40 就是精馏(distillation)其他大语言模型,尤其是ChatGPT的数据,掺一些原始数据,然后达到 ChatGPT 的水平,说自己训练成本低。

这相当于直接拿别人炼好的 99.99% 的纯金,和低品位金矿1:1混合之后去炼金,这样的炼金成本当然比从品位 0.0001% 的低品位金矿里炼黄金的成本要低得多。

#10 Re: DeepSeek 训练成本低的真相

发表于 : 2025年 1月 29日 13:15
robot2022
站在巨人肩膀上的意思?
那也行啊

#11 Re: DeepSeek 训练成本低的真相

发表于 : 2025年 1月 29日 13:18
hahan
讲这些话p用也没有
Deepseek api定价不到openai的20分之一
效果差不多
给一个要用openai的理由

#12 Re: DeepSeek 训练成本低的真相

发表于 : 2025年 1月 29日 13:19
bigballz
robot2022 写了: 2025年 1月 29日 13:15 站在巨人肩膀上的意思?
那也行啊
何况还是开源

尼玛github上让你拔到本地去玩

#13 Re: DeepSeek 训练成本低的真相

发表于 : 2025年 1月 29日 13:20
maxthon
你怎么知道?据我所知,正在开发gpt5采用的优化算法,将远超现有水平。即使现在,deepseek也只是在很小范围有比openai表现好一点。
ElonMusk 写了: 2025年 1月 29日 13:00 你的理解是错的。算法本身决定了对数据量的需求,openai的算法,即使用同样蒸馏后的数据,也无法达到目前的水平。

#14 Re: DeepSeek 训练成本低的真相

发表于 : 2025年 1月 29日 13:22
bigballz
maxthon 写了: 2025年 1月 29日 13:20 你怎么知道?据我所知,正在开发gpt5采用的优化算法,将远超现有水平。即使现在,deepseek也只是在很小范围有比openai表现好一点。
尼玛 和sora 一样 先来个修图 产品一年后都不见光?

#15 Re: DeepSeek 训练成本低的真相

发表于 : 2025年 1月 29日 13:23
ElonMusk
你明显不懂DL,你根本没看明白我的帖子就反驳
maxthon 写了: 2025年 1月 29日 13:20 你怎么知道?据我所知,正在开发gpt5采用的优化算法,将远超现有水平。即使现在,deepseek也只是在很小范围有比openai表现好一点。

#16 Re: DeepSeek 训练成本低的真相

发表于 : 2025年 1月 29日 13:24
maxthon
理由很简单,deepseek对全世界构成安全风险,除了中国以外,全部被屏蔽,想用也不能用。
hahan 写了: 2025年 1月 29日 13:18 讲这些话p用也没有
Deepseek api定价不到openai的20分之一
效果差不多
给一个要用openai的理由

#17 Re: DeepSeek 训练成本低的真相

发表于 : 2025年 1月 29日 13:25
hahan
maxthon 写了: 2025年 1月 29日 13:24 理由很简单,deepseek对全世界构成安全风险,除了中国以外,全部被屏蔽,想用也不能用。
呵呵
如果就剩这个理由
那美国ai泡泡就完全破了

#18 Re: DeepSeek 训练成本低的真相

发表于 : 2025年 1月 29日 13:26
drifter
maxthon 写了: 2025年 1月 29日 13:24 理由很简单,deepseek对全世界构成安全风险,除了中国以外,全部被屏蔽,想用也不能用。
硅谷各大公司一边卖防火墙禁ds
一边自己跑ds
赢两边 😄

#19 Re: DeepSeek 训练成本低的真相

发表于 : 2025年 1月 29日 13:26
bigballz
drifter 写了: 2025年 1月 29日 13:26 硅谷各大公司一边卖防火墙禁ds
一边自己跑ds
赢两边 😄
稳了lol

#20 Re: DeepSeek 训练成本低的真相

发表于 : 2025年 1月 29日 13:44
maxthon
这和DL有什么关系?而且你说话能不能说清楚一点,可以指出我哪一点说的不对,才能继续讨论。
ElonMusk 写了: 2025年 1月 29日 13:23 你明显不懂DL,你根本没看明白我的帖子就反驳