Rag CoT都是打补丁吧

[hahan]

就是本来llm 不work
搞一些engineering/masquerading 来维系这个ai hope/promise

[hci]

属实。

Agent也是。

本来是不信LLM是A G I的人的搞法，比如我老，一直就在说agent。

就是本来llm 不work
搞一些engineering/masquerading 来维系这个ai hope/promise

[fantasist]

你先读一下《思考，快与慢》，和几篇开山论文比如let's verify step by step，再来讨论这个问题吧。没有基础知识无法理解现在LLM的发展。

[hahan]

你先读一下《思考，快与慢》，和几篇开山论文比如let's verify step by step，再来讨论这个问题吧。没有基础知识无法理解现在LLM的发展。

LLM甚至ML 还需要什么基础知识吗？
就是 linear regression叠在一起 + some stochastic elements
剩下的不都是些tricks/techniques

你说的这个 let's verify step by step 我还真找来看了
说实在的非常不impressive
process-supervised reward model...
很有点像cargo cult...

[hahan]

属实。

Agent也是。

本来是不信LLM是A G I的人的搞法，比如我老，一直就在说agent。

agent初衷是给LLM操作外界的接口
不过各大厂大搞了1年多了
还是没有能落地甚至能用的东西

[fantasist]

LLM甚至ML 还需要什么基础知识吗？
就是 linear regression叠在一起 + some stochastic elements
剩下的不都是些tricks/techniques

你说的这个 let's verify step by step 我还真找来看了
说实在的非常不impressive
process-supervised reward model...
很有点像cargo cult...

这个世界底层很可能就是随机的，通过自组织形成宏观的复杂pattern，stochastic就是一切的本质，凭啥看不起呢。人类从小学习，提升系统2的能力，一开始是SFT，跟着老师的解题步骤学。然后通过类似的process reward继续加强，比如做数学证明题哪一步错了，改正一下思路，未来能做的更好点。后来researcher们进一步用RL的方式去减少supervision成份，学习过程显得更自然。

到考试的时候，在inference time投入更多算力以提升效果，应对了人类系统2消耗资源远多于系统1的特点。

这些“trick”都是脚踏实地干出来的，每升级一下算法推理能力都有提升。不知道你会被啥impress到，难不成就爱听hci的幻想世界观？

[hahan]

这个世界底层很可能就是随机的，通过自组织形成宏观的复杂pattern，stochastic就是一切的本质，凭啥看不起呢。人类从小学习，提升系统2的能力，一开始是SFT，跟着老师的解题步骤学。然后通过类似的process reward继续加强，比如做数学证明题哪一步错了，改正一下思路，未来能做的更好点。后来researcher们进一步用RL的方式去减少supervision成份，学习过程显得更自然。

到考试的时候，在inference time投入更多算力以提升效果，应对了人类系统2消耗资源远多于系统1的特点。

这些“trick”都是脚踏实地干出来的，每升级一下算法推理能力都有提升。不知道你会被啥impress到，难不成就爱听hci的幻想世界观？

1, 世界的本质是啥不论

2, 但人的学习和ML这种学习显然fundamentally不是一回事

小孩子不需要学习几十亿张桌子的图片才知道什么是桌子然后还可能会把桌子认作别的东西

图灵说的什么walk like duck sound like duck then is a duck 是fundamentally 错误的approach

这也是我老为啥说cargo cult的原因

3， 这些trick提升了啥 比如什么LSTM 也火过一阵 当是也是各种很promising 现在谁还提啊

4， 如果有很好的insight 或者你这个trick很精巧很别开生面 我老当然都会被impressive到 数学里有很多trick/technique都会让人impressive 我老最近看了几片所谓重要的论文 就是很平庸啊 只不过恰好这个东西现在benchmark分数好 于是就牛了