大模型的幻觉问题可以解决

[wdong]

除了context，还应该有直接training的，比如一个人做数学题多，不假思索就可以想出思路，估计就是监督学习的结果。

这条路是主流发展方向啊，所有厂商都在拼命推。

[Caravel]

技术上是没问题的，商业上我没有能力去冲consumer market。可以私下给帐号。

了解。

[TheMatrix]

除了context，还应该有直接training的，比如一个人做数学题多，不假思索就可以想出思路，估计就是监督学习的结果。

他的agent是没有training的。

[TheMatrix]

这条路是主流发展方向啊，所有厂商都在拼命推。

但是你的agent是没有training的啊。

[Caravel]

Hallucination是一个很不好的说法，因为它既没法解决也没必要解决。人类所有的创新全都来自hallucination，因为你既然是创新，就是原来没有的，那么以原来的标准看就是hallucination。目前普遍关于hallucination的理解，其实就是inference的内容有错误。那么LLM要说有任何问题，不就是inference的内容有错误需要提高吗？

Voting这种做法早就有了。实际操作中用处并不大。你们看deepseek的paper，分数都是汇报了@1和@16两个。@16就是做16次voting。当然deepseek的@16种不同的估计是通过随机数产生的差别，这里我觉得有提高的可能。

同样的模型做voting意义不大

得问不同的模型，

比如问ChatGPT和deepseek回答说美国总统是同一个人，则比较可靠。

其实这个应该做到跟底层网络的里面，网络有一些layer有一个备份，经过差异化训练，回答不同。

人有时候会有多重人格，是不是底层网络的备份出来了

[macarthur]

Hallucination是一个很不好的说法，因为它既没法解决也没必要解决。人类所有的创新全都来自hallucination，因为你既然是创新，就是原来没有的，那么以原来的标准看就是hallucination。目前普遍关于hallucination的理解，其实就是inference的内容有错误。那么LLM要说有任何问题，不就是inference的内容有错误需要提高吗？

Voting这种做法早就有了。实际操作中用处并不大。你们看deepseek的paper，分数都是汇报了@1和@16两个。@16就是做16次voting。当然deepseek的@16种不同的估计是通过随机数产生的差别，这里我觉得有提高的可能。

可并不是所有场景都需要inference呀？Inference需要有个boundary。。。

[anesthetic]

transformer paper直接都说了llm是基于模式识别的，没有推理能力。说白了你让llm做到乘法体，llm只能靠乘法表去套结果，it根本不知道乘法怎么做的。