分页： 1 / 2
#1 （转载）迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方
发表于 ： 2025年 1月 31日 14:24
由 TheMatrix
#2 Re: （转载）迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方
发表于 ： 2025年 1月 31日 17:47
由 TheMatrix
#3 Re: （转载）迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方
发表于 ： 2025年 1月 31日 17:49
由 princeton
ChatGPT应是用Microsoft的搜索引擎Bing得到数据，而DeepSeek没有自已的搜索引擎，也没听说DeepSeek和哪个搜索引擎公司合作， 也许DeepSeek付费给OpenAI来取得数据，这也可能是OpenAI获利的途径之一，也许有很多这样的小公司付费给OpenAI.
#4 Re: （转载）迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方
发表于 ： 2025年 1月 31日 18:14
由 未名空间
不错
#5 Re: （转载）迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方
发表于 ： 2025年 1月 31日 23:56
由 HouseMD
tldr: deepseek弯道超车，集合各种工程技术优秀实现下，更低成本实现接近openai的gpt。以他（jeff）的认知，deepseek没可能从openai蒸馏提取知识
#6 Re: （转载）迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方
发表于 ： 2025年 2月 1日 03:11
由 ghnc
蒸馏别人的就是非法的，等着被搞死吧
#7 Re: （转载）迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方
发表于 ： 2025年 2月 1日 03:49
由 HouseMD
ghnc 写了： 2025年 2月 1日 03:11
蒸馏别人的就是非法的，等着被搞死吧
lol 你们是没看视频还是没看懂视频
#8 Re: （转载）迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方
发表于 ： 2025年 2月 1日 05:06
由 司马脱
卧槽这孙子外号姐夫，意思说得到位，赞一个
#9 Re: （转载）迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方
发表于 ： 2025年 2月 1日 05:56
由 mmking
围观一下小白
ghnc 写了： 2025年 2月 1日 03:11
蒸馏别人的就是非法的，等着被搞死吧
#10 Re: （转载）迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方
发表于 ： 2025年 2月 1日 06:12
由 saibaster
你这通篇都是外行的臆想，卖数据的公司多了去了。公开的数据集也多了去了。谁付费给open AI买数据啊？你从哪里听来的open AI卖自己的数据？
princeton 写了： 2025年 1月 31日 17:49
ChatGPT应是用Microsoft的搜索引擎Bing得到数据，而DeepSeek没有自已的搜索引擎，也没听说DeepSeek和哪个搜索引擎公司合作， 也许DeepSeek付费给OpenAI来取得数据，这也可能是OpenAI获利的途径之一，也许有很多这样的小公司付费给OpenAI.
#11 Re: （转载）迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方
发表于 ： 2025年 2月 1日 06:25
由 mmking
这里有好多门外汉想凭着“常识”指导一切
saibaster 写了： 2025年 2月 1日 06:12
你这通篇都是外行的臆想，卖数据的公司多了去了。公开的数据集也多了去了。谁付费给open AI买数据啊？你从哪里听来的open AI卖自己的数据？
#12 Re: （转载）迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方
发表于 ： 2025年 2月 1日 06:49
由 liufanghe
这个太科普了，希望谁提供一些英文的更专业一些的
视频播主其实倾向性蛮强的，
我同意他的说法。
#13 Re: （转载）迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方
发表于 ： 2025年 2月 1日 09:20
由 princeton
saibaster 写了： 2025年 2月 1日 06:12
你这通篇都是外行的臆想，卖数据的公司多了去了。公开的数据集也多了去了。谁付费给open AI买数据啊？你从哪里听来的open AI卖自己的数据？
哈哈，本就是外行，只是想问问。DS怎么得到数据？经过Bing还是Google还是别的什么搜索引擎？Bing和Google是公开的，但对DS这样的商业行为还会是free的么？我只是好奇。
#14 Re: （转载）迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方
发表于 ： 2025年 2月 1日 09:53
由 红烛歌楼
估计地球人的数据，尤其脸部数据，都已经被卖很多次了。至于你的什么学历专业等等从简历里可以随便得到的数据，早都被卖无数次了
#15 Re: （转载）迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方
发表于 ： 2025年 2月 1日 10:06
由 FoxMe
这不就是传统的有监督（老师）学习吗？只不过这里，GPT是老师，Deepseek是学生，本质上还是函数拟合。
这里的蒸馏和以前transformer里的knowledge distillation有啥区别？
#16 Re: （转载）迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方
发表于 ： 2025年 2月 1日 11:27
由 ccmath
Distill不是让人想起酿酒就是做包子
其实本质就是, 人类知识是有结构体系的，自然语言文本也是有结构的。通过对结构的理解优化一下算法，做出来只是时间问题。openai 之前一系列的论文 trail, 已经给出了很多优化的可能性。
#17 Re: （转载）迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方
发表于 ： 2025年 2月 1日 13:00
由 ghnc
傻子不信我等着看deep fuck被fuck up吧
#18 Re: （转载）迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方
发表于 ： 2025年 2月 1日 13:55
由 Fnhdx
有一点不懂，25万个问题就可以训练一个大模型？那我直接人工标注25万个问题不是更好？
#19 Re: （转载）迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方
发表于 ： 2025年 2月 1日 13:58
由 saibaster
公开能得到的数据已经是天量了。
我自己的训练都能搞到整个wikipedia 和 twitter的
很多卖数据的公司也就是给你做些数据清洗和标注而已。
OpenAI 训练的数据很多也是自己到处扒下来的。
但 Google 和 OpenAI 自己就在局里，怎么可能卖数据。
princeton 写了： 2025年 2月 1日 09:20
哈哈，本就是外行，只是想问问。DS怎么得到数据？经过Bing还是Google还是别的什么搜索引擎？Bing和Google是公开的，但对DS这样的商业行为还会是free的么？我只是好奇。
#20 Re: （转载）迄今最好的介绍deepseek所谓“蒸馏”，以及可能超越OpenAI的地方
发表于 ： 2025年 2月 1日 14:00
由 saibaster
自己去做些research 再来夸夸其谈不行吗？怎么都是这种闭着眼睛说胡话的。
你的GPT是指什么？GPT2的话倒是开源，但你用几年前的东西做蒸馏？倒是可以，
你要说把 OpenAI 不开源的东西来“蒸馏”，我建议你先去学习“蒸馏”是什么。
FoxMe 写了： 2025年 2月 1日 10:06
这不就是传统的有监督（老师）学习吗？只不过这里，GPT是老师，Deepseek是学生，本质上还是函数拟合。
这里的蒸馏和以前transformer里的knowledge distillation有啥区别？