评论一下苹果那篇论文

[Caravel]

https://machinelearning.apple.com/resea ... f-thinking

我读了一下，论文很简单，他其实用的测试集是一些类似于程序执行的游戏，比如汉诺塔，这样可以慢慢调控难度，以及验证中间过程的正确性。

很明显的时候，现在的大推理模型在中等复杂度比非推理模型强，但是复杂度超过一定的程度之后准确度都会归0。

我觉得这个实际上指出的是推理模型不会严格执行程序。比如高你给一段简单的loop程序，人是可以慢慢在纸上得到各个循环的正确解读，但是大模型做不到。

这个研究很好，他可能指出了大模型的一个根本短板，是以后改进的方向。

[hci]

大模型是个模式识别机器，怎么可能执行程序？

大模型再怎么折腾，也不会“涌现”出图灵机，“涌现”就是“处女生子”，就这么简单个事，真的不难。

这么简单个道理，这个世界准备花多少钱来学会呢？

这就是问题。

It's just a fucking Perceptron. Stupid.

https://machinelearning.apple.com/resea ... f-thinking

我读了一下，论文很简单，他其实用的测试集是一些类似于程序执行的游戏，比如汉诺塔，这样可以慢慢调控难度，以及验证中间过程的正确性。

很明显的时候，现在的大推理模型在中等复杂度比非推理模型强，但是复杂度超过一定的程度之后准确度都会归0。

我觉得这个实际上指出的是推理模型不会严格执行程序。比如高你给一段简单的loop程序，人是可以慢慢在纸上得到各个循环的正确解读，但是大模型做不到。

这个研究很好，他可能指出了大模型的一个根本短板，是以后改进的方向。

[Caravel]

大模型是个模式识别机器，怎么可能执行程序？

大模型再怎么折腾，也不会“涌现”出图灵机，“涌现”就是“处女生子”，就这么简单个事，真的不难。

这么简单个道理，这个世界准备花多少钱来学会呢？

这就是问题。

It's just a fucking Perceptron. Stupid.

大模型相当于re语言吗？

人的大脑是怎么实现图灵机的？这估计就是下一个突破方向。

明斯基那个证明不是多加一层就破解了。

[hci]

明斯基的证明，还是在模式识别的框里面，他说一层的perceptron，不能识别XOR这种模式，后来加一层，就能识别了，可还是模式识别。

我的意思，是模式识别变不成推理，这是个坎。这是两种不同的任务。就这。

"模式识别等同于推理"，我估计这类似于NP = P。

大部分计算科学家认为NP ！= P。可没人能证明，所以有很大的忽悠空间。现在这个AI就是生存在这个忽悠空间里的。

大模型相当于re语言吗？

人的大脑是怎么实现图灵机的？这估计就是下一个突破方向。

明斯基那个证明不是多加一层就破解了。

[牛河梁]

人是可以慢慢在纸上得到各个循环的正确解读，但是大模型做不到。

给Ai“纸笔”就行。就是LLM + 纸笔的Hybrid模型。

但除非循环很多次。否则更大的模型也可解。

苹果这个所谓的研究没啥意义。

[牛河梁]

明斯基的证明，还是在模式识别的框里面，他说一层的perceptron，不能识别XOR这种模式，后来加一层，就能识别了，可还是模式识别。

我的意思，是模式识别变不成推理，这是个坎。这是两种不同的任务。就这。

"模式识别等同于推理"，我估计这类似于NP = P。

大部分计算科学家认为NP ！= P。可没人能证明，所以有很大的忽悠空间。现在这个AI就是生存在这个忽悠空间里的。

Ai本身思想很简单，就是具体问题具体分析。试试看。学习（研究）。没有大一统的算法（通用图灵机）解决所有问题。

Ai不要求“精确”。本质上和P/NP不一样。无论P是否等于NP，或者说无论是否存在算法能在P解决NP问题，Ai（这一思想）都可以继续生存/忽悠。

[Caravel]

明斯基的证明，还是在模式识别的框里面，他说一层的perceptron，不能识别XOR这种模式，后来加一层，就能识别了，可还是模式识别。

我的意思，是模式识别变不成推理，这是个坎。这是两种不同的任务。就这。

"模式识别等同于推理"，我估计这类似于NP = P。

大部分计算科学家认为NP ！= P。可没人能证明，所以有很大的忽悠空间。现在这个AI就是生存在这个忽悠空间里的。

人类的推理也包含了模式匹配，但是也有loop，跳转这些东西

[hci]

对呀。大模型并没有这些loop啦，跳转啦，这些计算机制呀。

这并不复杂。

一个东西并没有这些机制，妄想somehow，by some magic, 能“涌现”出这些来，这怎么可能，这不就是处女生子么？

而且，关键是，这些机制本来就是计算机会的东西，为啥要去费劲喂数据去让他“涌现”出来？这不是脱裤子放屁，神经病么？

你说这个世界是不是疯了？

人类疯到一定程度，是不是活该被核弹洗地？不冤枉啊。

人类的推理也包含了模式匹配，但是也有loop，跳转这些东西

[Caravel]

对呀。大模型并没有这些loop啦，跳转啦，这些计算机制呀。

这并不复杂。

一个东西并没有这些机制，妄想somehow，by some magic, 能“涌现”出这些来，这怎么可能，这不就是处女生子么？

而且，关键是，这些机制本来就是计算机会的东西，为啥要去费劲喂数据去让他“涌现”出来？这不是脱裤子放屁，神经病么？

你说这个世界是不是疯了？

人类疯到一定程度，是不是活该被核弹洗地？不冤枉啊。

看张祥雨的那个访谈

从非推理大模型到推理大模型

最关键的飞跃就是加进去反思回溯这种pattern

人为加进去反思的材料训练它，它就学会了

现在loop怎么解决，或许也需要标注一些pattern

也许架构也要改

[hci]

模式识别（也就是心理学的“知觉”）可能是一种基本的计算机制，可以用来做比如“类比推理”这种类型的推理。比如王培的师妹Melanie Mitchell的博士论文，题目就叫《类比作为知觉：一个计算模型》。苹果这篇文章其实用她用的那些任务，可能更有说服力，这就是些字符串的类比推理任务，比如：

abc -> abd
cde -> ?

等等。

但类比推理只是一种推理机制，人能干的推理不止类比。

现在这个AI，本质上是几何观点的胜利，但可能几何观点不是唯一的观点。

看张祥雨的那个访谈

从非推理大模型到推理大模型

最关键的飞跃就是加进去反思回溯这种pattern

人为加进去反思的材料训练它，它就学会了

现在loop怎么解决，或许也需要标注一些pattern

也许架构也要改

[pathdream]

人类的推理 大部分人类哪里懂什么推理 我差 比这个不会推理的ai差十万倍 这就是为啥ai的答案比98%人类强多了哦

[hci]

要是不比人强，要它何用呢？车不能跑得比人快，比人载重大，就只是个玩具，就不是大量投资的理由。

现在的问题不是AI能不能比人强的问题，而是它强的地方是我们需要它强的地方么，它强得值不值这个投资的问题。

这些目前都不好下结论。

人类的推理 大部分人类哪里懂什么推理 我差 比这个不会推理的ai差十万倍 这就是为啥ai的答案比98%人类强多了哦

[pathdream]

要是不比人强，要它何用呢？车不能跑得比人快，比人载重大，就只是个玩具，就不是大量投资的理由。

现在的问题不是AI能不能比人强的问题，而是它强的地方是我们需要它强的地方么，它强得值不值这个投资的问题。

这些目前都不好下结论。

骗到钱就赢了

[Caravel]

要是不比人强，要它何用呢？车不能跑得比人快，比人载重大，就只是个玩具，就不是大量投资的理由。

现在的问题不是AI能不能比人强的问题，而是它强的地方是我们需要它强的地方么，它强得值不值这个投资的问题。

这些目前都不好下结论。

一步步的走

我觉得现在大模型缺乏一个Meta thinking的过程

因为大模型就是生成模型，生成完了就结束了

人做完题目，还要回去把过程看一遍，再思考一下做对了没有，做完了没有，这个Meta thinking是跳出原来的生成过程。

也许真正的高级智能需要多个model协同

有了高级Meta过程，loop就很容易实现了，

这感觉根再深一层网络破解明斯基有异曲同工之妙

[hci]

所谓meta thinking，一种就是homoiconicity，lisp那种。

前一阵子有两个欧洲人看了我2018年的talk，跑来请教我，要搞AGI，但我一听他们满嘴什么emergence，就把们打发走了。＂涌现＂这种＂处女生子＂式的说法，专门吸引这种crackpot 。

一步步的走

我觉得现在大模型缺乏一个Meta thinking的过程

因为大模型就是生成模型，生成完了就结束了

人做完题目，还要回去把过程看一遍，再思考一下做对了没有，做完了没有，这个Meta thinking是跳出原来的生成过程。

也许真正的高级智能需要多个model协同

有了高级Meta过程，loop就很容易实现了，

这感觉根再深一层网络破解明斯基有异曲同工之妙

[bihai]

给Ai“纸笔”就行。就是LLM + 纸笔的Hybrid模型。

但除非循环很多次。否则更大的模型也可解。

苹果这个所谓的研究没啥意义。

对啊，就是不懂为什么现在的这些模型不接触纸笔呢？比如给他们一个虚拟机不行吗，可以执行程序，看到结果很难吗？

[牛河梁]

对啊，就是不懂为什么现在的这些模型不接触纸笔呢？比如给他们一个虚拟机不行吗，可以执行程序，看到结果很难吗？

再想一想。为啥现在要搞自动编程。就是为了取代几位码农劳动力？

再深入想想。老牛吹了这么多。买提就只记得牛爸和牛娃妈的TD了。老牛为啥吹（20年前）的几十万行程序一个文件。

这几十万行程序究竟是怎么来的。是不是就是一个“世界模型”。有什么限制了不能几百万几千万乃至几千亿行程序。

[bihai]

再想一想。为啥现在要搞自动编程。就是为了取代几位码农劳动力？

再深入想想。老牛吹了这么多。买提就只记得牛爸和牛娃妈的TD了。老牛为啥吹（20年前）的几十万行程序一个文件。

这几十万行程序究竟是怎么来的。是不是就是一个“世界模型”。有什么限制了不能几百万几千万乃至几千亿行程序。

为啥呢？我要是搞自动编程那纯粹是为了好玩。

[牛河梁]

为啥呢？我要是搞自动编程那纯粹是为了好玩。

不单纯好玩。没有这几十万行程序（后面的技术），老牛还不敢上杠杆买现在的黑屋。

[bihai]

不单纯好玩。没有这几十万行程序（后面的技术），老牛还不敢上杠杆买现在的黑屋。

你写了几十万行？多少年啊？干啥的？