五十步和百步罢了,杨植麟估计要跌下神坛了。
微信传言月之暗面的Kimi AI模型项目组已经被带走16个人,包括老大;可能是指杨植麟
-
NativeMan8080(3SQ)
- 等级11:论坛点评
- 帖子互动: 421
- 帖子: 4190
- 注册时间: 2024年 12月 24日 13:42
#42 Re: 微信传言月之暗面的Kimi AI模型项目组已经被带走16个人,包括老大;可能是指杨植麟
看看中国发言人的回答就知道蒸馏行为已经为中国政府背书。技术上也无法禁绝。理解老美的心情,但是这个其实是没有办法的。类似于逆向工程,你卖了产品就挡不住人家学习仿制。人家仿个九成,价格十分之一,这市场怎么打,投资怎么收?估值是靠市场潜力,和道德判断无关。
而且吧,中国模型似乎在某些方向上已经领先了。这个就更难处理了。
-
netspider02
- 等级5:正式写手
- 帖子互动: 21
- 帖子: 206
- 注册时间: 2023年 9月 24日 11:16
#47 Re: 微信传言月之暗面的Kimi AI模型项目组已经被带走16个人,包括老大;可能是指杨植麟
互联网上的数据早就被用完了。现在的训练数据
都是这些公司自己高价买的,或者自己annotated的,
或者是模型产生的synthetic data。
现在训练从基础设施到数据都非常昂贵,前面有新闻
讲OpenAI为了训练AI使用电脑,买了几万台mac mini。
非法蒸馏就是赤裸裸的偷窃。可以想像OpenAI花了海
量资金训练,模型终于会使用电脑了,结果让别人给
蒸馏了出去,这不气得要死。
合法蒸馏很贵的,可以参见苹果和谷歌的deal。
说到底还是没钱硬上,才搞这种非法蒸馏的主意。
#48 Re: 微信传言月之暗面的Kimi AI模型项目组已经被带走16个人,包括老大;可能是指杨植麟
netspider02 写了: 今天 15:34互联网上的数据早就被用完了。现在的训练数据
都是这些公司自己高价买的,或者自己annotated的,
或者是模型产生的synthetic data。现在训练从基础设施到数据都非常昂贵,前面有新闻
讲OpenAI为了训练AI使用电脑,买了几万台mac mini。非法蒸馏就是赤裸裸的偷窃。可以想像OpenAI花了海
量资金训练,模型终于会使用电脑了,结果让别人给
蒸馏了出去,这不气得要死。合法蒸馏很贵的,可以参见苹果和谷歌的deal。
说到底还是没钱硬上,才搞这种非法蒸馏的主意。
你这个“非法”就是污名化,法律上没有禁止这个行为,蒸馏和逆向工程差不多,逆向工程也并不违法。
能违法的是侵犯版权,专利权,但是蒸馏既不侵犯版权又不侵犯专利权
-
GreatCanada
- 等级16:论坛泰斗
- 帖子互动: 1226
- 帖子: 47842
- 注册时间: 2022年 7月 25日 23:54
-
haiwaihuaren
- 等级15:论坛元老
- 帖子互动: 2018
- 帖子: 22813
- 注册时间: 2022年 7月 25日 13:06

