AI reasoning到底是记住了解题步骤，还是真正会思考了？

[TheMatrix]

AI做数学题现在很厉害的。这些题现在都难得很，给人做人也做不出来，包括数学系博士生。因为比如说你只懂分析，给你出一个拓扑题你就做不出来了。

另外你看AI解题的过程，感觉一步一步的分解非常合理，而且每一步都不trivial。

按人的经验，这样的分解不可能是死记硬背的，一定是理解了。但是别忘了AI有大量的解题数据。你以为横空出世的解题步骤，在某个领域里可能是固定套路。一个人掌握不了各领域的固定套路，但是AI能。把固定套路都掌握了，AI就能打90%的问题。

所以这篇论文就是想看看，AI倒是记住了解题套路，还是真正会思考了。

不过说实话，这两个问题被改得挺难。AI虽然做错了，但是也不好说是不是不能思考。

https://zhuanlan.zhihu.com/p/23538617559
https://arxiv.org/html/2502.06453

[changjiang]

AI 模型本质上是不是interpolation? 假设训练数据覆盖了现有人类知识范围，模型基本上能做到无所不知了。

[macarthur]

不是前一阵子有人研究过了么？给它出题的时候故意messing around，东拉西扯加了一大堆不相干的废话，然后AI就彻底乱了阵脚 -- 不明白这些废话跟题目有什么相干性。。。

我是不相信它能真的了解这个世界。。。 熟读唐诗三百首，不会吟诗也会绺。。。 唐诗背得再熟，它也不会理解香炉是个什么东西什么材质形状干什么用的。。。

[duiduilu]

多位数加法，这个没有任何概率分布，除非理解了加法的原理，否则做不出来。

[hahan]

天天讲AI的都是很无语
一个stochastic process
根据概率给出next token
为啥有人会觉得它能解数学题呢

[TheMatrix]

AI 模型本质上是不是interpolation? 假设训练数据覆盖了现有人类知识范围，模型基本上能做到无所不知了。

是。可以打90%的问题。但是不能做open problem。

[TheMatrix]

天天讲AI的都是很无语
一个stochastic process
根据概率给出next token
为啥有人会觉得它能解数学题呢

最大概率next token也可走上最大概率next step。

[TheMatrix]

不是前一阵子有人研究过了么？给它出题的时候故意messing around，东拉西扯加了一大堆不相干的废话，然后AI就彻底乱了阵脚 -- 不明白这些废话跟题目有什么相干性。。。

我是不相信它能真的了解这个世界。。。 熟读唐诗三百首，不会吟诗也会绺。。。 唐诗背得再熟，它也不会理解香炉是个什么东西什么材质形状干什么用的。。。

香炉是multimodal的问题。

但是数学问题恰好是完全的语言问题。

[TheMatrix]

多位数加法，这个没有任何概率分布，除非理解了加法的原理，否则做不出来。

能做。昨天我问deepseek这个乘法：938472*27263。

它能做，只不过很慢。

[hahan]

最大概率next token也可走上最大概率next step。

加减法的解题是一个概率过程？

华尔街对AI的炒作
没几年就来一次
因为实在没啥炒作标的了

看你们在这一本正经的讨论
非常amusing

[duiduilu]

能做。昨天我问deepseek这个乘法：938472*27263。

它能做，只不过很慢。

deepseek那个是假的，调用python api了，我也差点被他骗了。
chatgpt就老老实实说调api了。

[TheMatrix]

加减法的解题是一个概率过程？

华尔街对AI的炒作
没几年就来一次
因为实在没啥炒作标的了

看你们在这一本正经的讨论
非常amusing

说的是工程上下一步的选择。这是一个概率问题。加减法也有步骤，下一步也有选择，最好的选择也是个概率问题。

正确性的证明是另一个问题。

[YouHi]

我觉得还是个fancy next token prediction而已。。。

[hahan]

说的是工程上下一步的选择。这是一个概率问题。加减法也有步骤，下一步也有选择，最好的选择也是个概率问题。

正确性的证明是另一个问题。

这个不叫解
这个叫猜

[Caravel]

AI做数学题现在很厉害的。这些题现在都难得很，给人做人也做不出来，包括数学系博士生。因为比如说你只懂分析，给你出一个拓扑题你就做不出来了。

另外你看AI解题的过程，感觉一步一步的分解非常合理，而且每一步都不trivial。

按人的经验，这样的分解不可能是死记硬背的，一定是理解了。但是别忘了AI有大量的解题数据。你以为横空出世的解题步骤，在某个领域里可能是固定套路。一个人掌握不了各领域的固定套路，但是AI能。把固定套路都掌握了，AI就能打90%的问题。

所以这篇论文就是想看看，AI倒是记住了解题套路，还是真正会思考了。

不过说实话，这两个问题被改得挺难。AI虽然做错了，但是也不好说是不是不能思考。

https://zhuanlan.zhihu.com/p/23538617559
https://arxiv.org/html/2502.06453

是记住了一些较短的套路，然后可以综合运用，所以新题也是可以做出来。

其实人也是类似的，这些东西都是一些条件概率分布。也看见三角函数就想到和差化积这些公司，然后拿来试一试。

如果短线需要不同的技巧，他如果没学过可能就不会。

[TheMatrix]

是记住了一些较短的套路，然后可以综合运用，所以新题也是可以做出来。

其实人也是类似的，这些东西都是一些条件概率分布。也看见三角函数就想到和差化积这些公司，然后拿来试一试。

如果短线需要不同的技巧，他如果没学过可能就不会。

应该是这样。目前open problem还是安全的。

[qxc]

多位数加法，这个没有任何概率分布，除非理解了加法的原理，否则做不出来。

模型额外加个 regex 然后调用计算器就搞定了
你还是不能分辨

[duiduilu]

模型额外加个 regex 然后调用计算器就搞定了
你还是不能分辨

我就直接问chatgpt，他老实说调了python API.

[Caravel]

模型额外加个 regex 然后调用计算器就搞定了
你还是不能分辨

不需要强化学习一下使用tool就可以了

[Caravel]

应该是这样。目前open problem还是安全的。

出一个题目，和以前所有题目需要的思路都不一样，这也很困难啊