新未名空间

Caravel 写了： 2025年 2月 15日 15:37 除了context，还应该有直接training的，比如一个人做数学题多，不假思索就可以想出思路，估计就是监督学习的结果。

wdong 写了： 2025年 2月 15日 15:39 技术上是没问题的，商业上我没有能力去冲consumer market。可以私下给帐号。

Caravel 写了： 2025年 2月 15日 15:37 除了context，还应该有直接training的，比如一个人做数学题多，不假思索就可以想出思路，估计就是监督学习的结果。

wdong 写了： 2025年 2月 15日 15:48 这条路是主流发展方向啊，所有厂商都在拼命推。

wdong 写了： 2025年 2月 15日 14:43 Hallucination是一个很不好的说法，因为它既没法解决也没必要解决。人类所有的创新全都来自hallucination，因为你既然是创新，就是原来没有的，那么以原来的标准看就是hallucination。目前普遍关于hallucination的理解，其实就是inference的内容有错误。那么LLM要说有任何问题，不就是inference的内容有错误需要提高吗？

Voting这种做法早就有了。实际操作中用处并不大。你们看deepseek的paper，分数都是汇报了@1和@16两个。@16就是做16次voting。当然deepseek的@16种不同的估计是通过随机数产生的差别，这里我觉得有提高的可能。

wdong 写了： 2025年 2月 15日 14:43 Hallucination是一个很不好的说法，因为它既没法解决也没必要解决。人类所有的创新全都来自hallucination，因为你既然是创新，就是原来没有的，那么以原来的标准看就是hallucination。目前普遍关于hallucination的理解，其实就是inference的内容有错误。那么LLM要说有任何问题，不就是inference的内容有错误需要提高吗？

Voting这种做法早就有了。实际操作中用处并不大。你们看deepseek的paper，分数都是汇报了@1和@16两个。@16就是做16次voting。当然deepseek的@16种不同的估计是通过随机数产生的差别，这里我觉得有提高的可能。