在线策略蒸馏

版主： hci

回复
Caravel楼主
论坛元老
论坛元老
Caravel 的博客
帖子互动： 707
帖子： 27788
注册时间： 2022年 7月 24日 17:21

#1 在线策略蒸馏

帖子 由 Caravel楼主 »

直接用大模型给小模型的每一个token打分

密集反馈

可以有效把大模型能力迁移到到小模型上

估计Google openai都已经用上了

他们的小模型很厉害


+1.00 积分 [版主 hci 发放的奖励]
页首
回复

回到 “葵花宝典（Programming）”