新未名空间

TheMatrix 写了： 2025年 1月 29日 16:07 没用。

思想是无法保密的。只有技术细节可以保密。

细节是可以堆钱或者996得到

知道用chain of thought是至关紧要的

wass 写了： 2025年 1月 29日 16:12 细节是可以堆钱或者996得到

知道用chain of thought是至关紧要的

但是思想是无法保密的。

TheMatrix 写了： 2025年 1月 29日 16:17 但是思想是无法保密的。

保密协议是干嘛的

TheMatrix 写了： 2025年 1月 29日 13:30

distillation叫提炼，精炼，什么蒸馏，汉语都忘光了？

哦，可能就是别人说的套壳的意思

TheMatrix 写了： 2025年 1月 29日 15:49 数据蒸馏就是直接问ChatGPT问题并取得答案，然后把问题和答案都记录下来，把大量的问答数据记录下来，用以训练自己的模型。

FoxMe 写了： 2025年 1月 30日 13:38 哦，可能就是别人说的套壳的意思

套壳的意思应该是比如你发个问题给Deepseek，它直接把问题发给ChatGPT，从ChatGPT取得答案之后再发回给你，假装是它自己的回答。

Deepseek不是这种情况。首先这一点要搞清楚。

数据蒸馏最合适的类比应该是这样：

ChatGPT相当于一个学科的开创人，它没有任何书可以学习，一切都是从原始资料里总结。它总结了之后写成了一本书，里面都是精炼的知识。DeepSeek相当于从这本书开始学习。学完了之后，两个模型都是回答实际问题，新问题，而不是回答书里的问题。两个模型回答得一样好。

借用@verdelite的话，从书里学，和自己悟，学的一样好。

这个解释很形象。自创武功和师傅教的。

TheMatrix 写了： 2025年 1月 30日 15:48 套壳的意思应该是比如你发个问题给Deepseek，它直接把问题发给ChatGPT，从ChatGPT取得答案之后再发回给你，假装是它自己的回答。

Deepseek不是这种情况。首先这一点要搞清楚。

数据蒸馏最合适的类比应该是这样：

ChatGPT相当于一个学科的开创人，它没有任何书可以学习，一切都是从原始资料里总结。它总结了之后写成了一本书，里面都是精炼的知识。DeepSeek相当于从这本书开始学习。学完了之后，两个模型都是回答实际问题，新问题，而不是回答书里的问题。两个模型回答得一样好。

借用@verdelite的话，从书里学，和自己悟，学的一样好。