（转载）迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方

[TheMatrix]

此帖转自 C999 在 史海钩沉（History） 的帖子：迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方

来自 加拿大的资深IT从业者，“二姐夫”

[TheMatrix]

此帖转自 C999 在 史海钩沉（History） 的帖子：迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方

来自 加拿大的资深IT从业者，“二姐夫”

这个我看了。讲得确实不错。

[princeton]

ChatGPT应是用Microsoft的搜索引擎Bing得到数据，而DeepSeek没有自已的搜索引擎，也没听说DeepSeek和哪个搜索引擎公司合作， 也许DeepSeek付费给OpenAI来取得数据，这也可能是OpenAI获利的途径之一，也许有很多这样的小公司付费给OpenAI.

[未名空间]

不错

[HouseMD]

tldr: deepseek弯道超车，集合各种工程技术优秀实现下，更低成本实现接近openai的gpt。以他（jeff）的认知，deepseek没可能从openai蒸馏提取知识

[ghnc]

蒸馏别人的就是非法的，等着被搞死吧

[HouseMD]

蒸馏别人的就是非法的，等着被搞死吧

lol 你们是没看视频还是没看懂视频

[司马脱]

卧槽这孙子外号姐夫，意思说得到位，赞一个

[mmking]

围观一下小白

蒸馏别人的就是非法的，等着被搞死吧

[saibaster]

你这通篇都是外行的臆想，卖数据的公司多了去了。公开的数据集也多了去了。谁付费给open AI买数据啊？你从哪里听来的open AI卖自己的数据？

ChatGPT应是用Microsoft的搜索引擎Bing得到数据，而DeepSeek没有自已的搜索引擎，也没听说DeepSeek和哪个搜索引擎公司合作， 也许DeepSeek付费给OpenAI来取得数据，这也可能是OpenAI获利的途径之一，也许有很多这样的小公司付费给OpenAI.

[mmking]

这里有好多门外汉想凭着“常识”指导一切

你这通篇都是外行的臆想，卖数据的公司多了去了。公开的数据集也多了去了。谁付费给open AI买数据啊？你从哪里听来的open AI卖自己的数据？

[liufanghe]

这个太科普了，希望谁提供一些英文的更专业一些的
视频播主其实倾向性蛮强的，
我同意他的说法。

[princeton]

你这通篇都是外行的臆想，卖数据的公司多了去了。公开的数据集也多了去了。谁付费给open AI买数据啊？你从哪里听来的open AI卖自己的数据？

哈哈，本就是外行，只是想问问。DS怎么得到数据？经过Bing还是Google还是别的什么搜索引擎？Bing和Google是公开的，但对DS这样的商业行为还会是free的么？我只是好奇。

[红烛歌楼]

估计地球人的数据，尤其脸部数据，都已经被卖很多次了。至于你的什么学历专业等等从简历里可以随便得到的数据，早都被卖无数次了

[FoxMe]

这不就是传统的有监督（老师）学习吗？只不过这里，GPT是老师，Deepseek是学生，本质上还是函数拟合。

这里的蒸馏和以前transformer里的knowledge distillation有啥区别？

此帖转自 C999 在 史海钩沉（History） 的帖子：迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方

来自 加拿大的资深IT从业者，“二姐夫”

[ccmath]

Distill不是让人想起酿酒就是做包子

其实本质就是, 人类知识是有结构体系的，自然语言文本也是有结构的。通过对结构的理解优化一下算法，做出来只是时间问题。openai 之前一系列的论文 trail, 已经给出了很多优化的可能性。

此帖转自 C999 在 史海钩沉（History） 的帖子：迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方

来自 加拿大的资深IT从业者，“二姐夫”

[ghnc]

傻子不信我等着看deep fuck被fuck up吧

[Fnhdx]

有一点不懂，25万个问题就可以训练一个大模型？那我直接人工标注25万个问题不是更好？

[saibaster]

公开能得到的数据已经是天量了。
我自己的训练都能搞到整个wikipedia 和 twitter的
很多卖数据的公司也就是给你做些数据清洗和标注而已。
OpenAI 训练的数据很多也是自己到处扒下来的。
但 Google 和 OpenAI 自己就在局里，怎么可能卖数据。

哈哈，本就是外行，只是想问问。DS怎么得到数据？经过Bing还是Google还是别的什么搜索引擎？Bing和Google是公开的，但对DS这样的商业行为还会是free的么？我只是好奇。

[saibaster]

自己去做些research 再来夸夸其谈不行吗？怎么都是这种闭着眼睛说胡话的。
你的GPT是指什么？GPT2的话倒是开源，但你用几年前的东西做蒸馏？倒是可以，
你要说把 OpenAI 不开源的东西来“蒸馏”，我建议你先去学习“蒸馏”是什么。

这不就是传统的有监督（老师）学习吗？只不过这里，GPT是老师，Deepseek是学生，本质上还是函数拟合。

这里的蒸馏和以前transformer里的knowledge distillation有啥区别？