Deep learning引发的AI热潮（突破？革命？）底层是什么，意义呢？

[forecasting]

发的AI热潮（突破？革命？）从来没探究清楚，只浮泛地证明了是图灵完备的（DNN的集合），至于其他，如最后所得到的dnn有什么共同的东西，为什么在语言处理（是语言理解吗？更像是压缩与生成。如果是生成，其机制如何，如何学得！）和图像处理（识别）上会如此成功,都没弄清楚。

尤其是热捧的所谓推理与数学证明/计算的机制。

说Hinton是个工程师，实在不是贬低他，也没贬低他。

实验成功而底层机制不清楚，在计算机与AI历史上，这应该是第一次。

[newguy]

发的AI热潮（突破？革命？）从来没探究清楚，只浮泛地证明了是图灵完备的（DNN的集合），至于其他，如最后所得到的dnn有什么共同的东西，为什么在语言处理（是语言理解吗？更像是压缩与生成。如果是生成，其机制如何，如何学得！）和图像处理（识别）上会如此成功,都没弄清楚。

尤其是热捧的所谓推理与数学证明/计算的机制。

说Hinton是个工程师，实在不是贬低他，也没贬低他。

实验成功而底层机制不清楚，在计算机与AI历史上，这应该是第一次。

我把李飞飞网上的课看了一点，就没明白这种把概率
放矩阵里算来算去咋就解决了这么深奥的问题。

严重怀疑自己一点都没学懂。后来看采访，李飞飞说，总有
一天会有一个新的牛顿，他能解释为啥这些办法会work. 看了以后心里就坦然多了，教母的大局观真不是吹的：）

[verdelite]

发的AI热潮（突破？革命？）从来没探究清楚，只浮泛地证明了是图灵完备的（DNN的集合），至于其他，如最后所得到的dnn有什么共同的东西，为什么在语言处理（是语言理解吗？更像是压缩与生成。如果是生成，其机制如何，如何学得！）和图像处理（识别）上会如此成功,都没弄清楚。

尤其是热捧的所谓推理与数学证明/计算的机制。

说Hinton是个工程师，实在不是贬低他，也没贬低他。

实验成功而底层机制不清楚，在计算机与AI历史上，这应该是第一次。

没啥，其实就是人类智能没什么了不起，机器也能实现。如此而已。

我老10年前就揭示了，人的智能就是把外界事物抽象成概念，然后在概念之间联想。that's it。这是为什么我能在2015年预测2025年AGI能成功。

为啥是语言模型，因为语言和人脑之中的概念最接近。真正智能不需要语言，有概念即可。但是从语言来对接概念，是一个方便的路径。

等你明白了世人皆傻，你就理解了这个世界。你就有了洞察力，创造力和行动力。

[mmking]

就是压缩和解压啦

发的AI热潮（突破？革命？）从来没探究清楚，只浮泛地证明了是图灵完备的（DNN的集合），至于其他，如最后所得到的dnn有什么共同的东西，为什么在语言处理（是语言理解吗？更像是压缩与生成。如果是生成，其机制如何，如何学得！）和图像处理（识别）上会如此成功,都没弄清楚。

尤其是热捧的所谓推理与数学证明/计算的机制。

说Hinton是个工程师，实在不是贬低他，也没贬低他。

实验成功而底层机制不清楚，在计算机与AI历史上，这应该是第一次。

[Caravel]

没啥，其实就是人类智能没什么了不起，机器也能实现。如此而已。

我老10年前就揭示了，人的智能就是把外界事物抽象成概念，然后在概念之间联想。that's it。这是为什么我能在2015年预测2025年AGI能成功。

为啥是语言模型，因为语言和人脑之中的概念最接近。真正智能不需要语言，有概念即可。但是从语言来对接概念，是一个方便的路径。

等你明白了世人皆傻，你就理解了这个世界。你就有了洞察力，创造力和行动力。

自然语言是可以编程，推理的

但是需要大量的context才可以

有了context之后，LLM就可以理解，x是未知数，可以替换成其他的

只不过现在大模型的训练效率不行

需要看过大量文本才能学会

人类效率高几千倍

[harvestt]

I think the breakthrough should be in "Information Theory" field

[zy2024]

Universal approximation theory
任何变量都可以用多层函数拟合
函数无法解但是可以用神经网络解

[wdong]

发的AI热潮（突破？革命？）从来没探究清楚，只浮泛地证明了是图灵完备的（DNN的集合），至于其他，如最后所得到的dnn有什么共同的东西，为什么在语言处理（是语言理解吗？更像是压缩与生成。如果是生成，其机制如何，如何学得！）和图像处理（识别）上会如此成功,都没弄清楚。

尤其是热捧的所谓推理与数学证明/计算的机制。

说Hinton是个工程师，实在不是贬低他，也没贬低他。

实验成功而底层机制不清楚，在计算机与AI历史上，这应该是第一次。

我的理解: 本质上是仿生学。神经网络+attention，其实就是人脑那一套东西，佛学说的攀缘心。我看下去至少到目前为止机制都挺清楚的，清楚到把人脑怎么工作的也给印证了。如果你说非要算法最优化，那肯定不是最优的，世界上不是最优化的东西多了。LLM这一步难的跨过去了，又能往前走好几步，可现在可以做的东西很多了。

当时确实有猜的成分。但是放到整个计算机科学和统计学习的框架下看，猜的部分其实不多。这部分猜的，我感觉其实互联网有点自我觉醒了。在往前走，很难说是人在开发AI还是AI牵着人往前走。

[benadryl]

以前看过一个油管视频解释为啥语言模型最终会通往AGI当时觉得很有道理，但后来怎么也找不到那个视频了，不知道哪位知道类似的视频推荐一下。

[forecasting]

我的理解: 本质上是仿生学。神经网络+attention，其实就是人脑那一套东西，佛学说的攀缘心。我看下去至少到目前为止机制都挺清楚的，清楚到把人脑怎么工作的也给印证了。如果你说非要算法最优化，那肯定不是最优的，世界上不是最优化的东西多了。LLM这一步难的跨过去了，又能往前走好几步，可现在可以做的东西很多了。

当时确实有猜的成分。但是放到整个计算机科学和统计学习的框架下看，猜的部分其实不多。这部分猜的，我感觉其实互联网有点自我觉醒了。在往前走，很难说是人在开发AI还是AI牵着人往前走。

说底层机制是仿生就等于弄清了底层机制？人类大脑的语言机制是DNN所示？至少人类理解的机制跟dnn理解的机制不同机制两者我们都不清楚。

如果人类语言机制和机器语言机制不同，是否两者等价？其实这可以设计实验来检测的，但是目前没人做，也没人有兴趣做。

飞机也可以看作仿生鸟类，但我们知道如何推演或者设计飞机，也知道其背后的原理。dnn的语言机制是仿生人类语言机制，何况我们目前也没法确定那是机器的语言机制，另外，DNN是仿生人类神经元组成的神经网络吗？你是假设人类神经网络是图灵机。

所有以dnn实现agi的说法，都假设了人类智能等价于图灵机。这显然不对。

连佛教的攀缘说都用来说明dnn底层机制，觉得是为通俗吧，但也极为不清楚或模糊

[wdong]

说底层机制是仿生就等于弄清了底层机制？人类大脑的语言机制是DNN所示？至少人类理解的机制跟dnn理解的机制不同机制两者我们都不清楚。

如果人类语言机制和机器语言机制不同，是否两者等价？其实这可以设计实验来检测的，但是目前没人做，也没人有兴趣做。

飞机也可以看作仿生鸟类，但我们知道如何推演或者设计飞机，也知道其背后的原理。dnn的语言机制是仿生人类语言机制，何况我们目前也没法确定那是机器的语言机制，另外，DNN是仿生人类神经元组成的神经网络吗？你是假设人类神经网络是图灵机。

所有以dnn实现agi的说法，都假设了人类智能等价于图灵机。这显然不对。

连佛教的攀缘说都用来说明dnn底层机制，觉得是为通俗吧，但也极为不清楚或模糊

我是engineer思维。可以往下想往下做了，我就认为理解了。
不理解的时候往下做是没有idea的。大家对什么叫理解可能理解不一样。我觉得现在的LLM和做飞机或者做原子弹是一样的。你要说飞机里面一点猜的东西都没有，肯定不是这样的。你现在去做莱特兄弟的飞机，可以做到一点猜的东西都没有。你要做最先进的飞机，肯定是工程领先于基础理论一点。

这个世界早就没有牛顿定律式的理解了。我往大里说，你想要的理解这个东西可能根本就不存在。你可能觉得人类对物理学理解得挺好了。但那只是你觉得有些物理学家理解了。这是宣传给你的错觉。物理学家要真理解了，怎么弦论大会都开不下去了？

人类脑子我觉得没多少东西可以挖掘了。进化出来的东西其实从算法上来说复杂不到哪里去。复杂的东西是基因通路和化学通路怎么支撑这套算法。我估计也有人在研究，但是对于推动AGI我不抱指望。目前AGI没有这些往下做五年一点问题都没有。

[newguy]

我是engineer思维。可以往下想往下做了，我就认为理解了。
不理解的时候往下做是没有idea的。大家对什么叫理解可能理解不一样。我觉得现在的LLM和做飞机或者做原子弹是一样的。你要说飞机里面一点猜的东西都没有，肯定不是这样的。你现在去做莱特兄弟的飞机，可以做到一点猜的东西都没有。你要做最先进的飞机，肯定是工程领先于基础理论一点。

这个世界早就没有牛顿定律式的理解了。我往大里说，你想要的理解这个东西可能根本就不存在。你可能觉得人类对物理学理解得挺好了。但那只是你觉得有些物理学家理解了。这是宣传给你的错觉。物理学家要真理解了，怎么弦论大会都开不下去了？

人类脑子我觉得没多少东西可以挖掘了。进化出来的东西其实从算法上来说复杂不到哪里去。复杂的东西是基因通路和化学通路怎么支撑这套算法。我估计也有人在研究，但是对于推动AGI我不抱指望。目前AGI没有这些往下做五年一点问题都没有。

谢谢大牛澄清。把我模模糊糊揣测的东西说得很明白了。对我这种普通工程师来说，知道三个月内学什么优先就算理解了：）

[牛河梁]

你问了两个不同的方向：

1/ 基于矩阵运算的AI：本质是拟合（一个高维空间）。成功的底层机制可以用简单函数拟合理解。
1a/ 和泰勒展开或傅立叶变换没有本质的不同。
1b/ 拟合出来的函数和训练材料符合得很好，表现出一种记忆能力。
1c/ 拟合出来的函数对训练材料没有的点能给出一个猜测（如插值），表现出一种想象力（脑补）。

2/ 推理和数学证明等是完全不同的方向。理论上神经网络也可以用于逻辑运算。但神经网络用于推理本身效率并不高。

另外，老牛想补充几点：

1/ Circuit（包括神经网络）的计算能力非常强大。理论上甚至能超过某些不可计算的限制；但是这种超能力的后果是可信度下降。因为其结果不能由常规逻辑推导出来。

2/ 这类似于老牛常说的：（不能证明）超光速（不）存在。但超光速现象不能用被光速限制地观察观察出来。类似的还有（连续统/实空间 vs 离散/可数空间）量子计算问题。

3/ 在现实中，Circuit能通过图灵测试。因为随着其规模越来越大性能越来越好，人不可避免地不能分辨其是否非人。

4/ Circuit在寻找问题一个解有用。但保证不了最优解甚至正确解。就像很多人都能给出所谓的P vs NP或哥德巴赫猜想证明一样。这和传统意义上的解决（数学）问题仍有差距。

发的AI热潮（突破？革命？）从来没探究清楚，只浮泛地证明了是图灵完备的（DNN的集合），至于其他，如最后所得到的dnn有什么共同的东西，为什么在语言处理（是语言理解吗？更像是压缩与生成。如果是生成，其机制如何，如何学得！）和图像处理（识别）上会如此成功,都没弄清楚。

尤其是热捧的所谓推理与数学证明/计算的机制。

说Hinton是个工程师，实在不是贬低他，也没贬低他。

实验成功而底层机制不清楚，在计算机与AI历史上，这应该是第一次。

[hahan]

你问了两个不同的方向：

1/ 基于矩阵运算的AI：本质是拟合（一个高维空间）。成功的底层机制可以用简单函数拟合理解。
1a/ 和泰勒展开或傅立叶变换没有本质的不同。
1b/ 拟合出来的函数和训练材料符合得很好，表现出一种记忆能力。
1c/ 拟合出来的函数对训练材料没有的点能给出一个猜测（如插值），表现出一种想象力（脑补）。

2/ 推理和数学证明等是完全不同的方向。理论上神经网络也可以用于逻辑运算。但神经网络用于推理本身效率并不高。

另外，老牛想补充几点：

1/ Circuit（包括神经网络）的计算能力非常强大。理论上甚至能超过某些不可计算的限制；但是这种超能力的后果是可信度下降。因为其结果不能由常规逻辑推导出来。

2/ 这类似于老牛常说的：（不能证明）超光速（不）存在。但超光速现象不能用被光速限制地观察观察出来。类似的还有（连续统/实空间 vs 离散/可数空间）量子计算问题。

3/ 在现实中，Circuit能通过图灵测试。因为随着其规模越来越大性能越来越好，人不可避免地不能分辨其是否非人。

4/ Circuit在寻找问题一个解有用。但保证不了最优解甚至正确解。就像很多人都能给出所谓的P vs NP或哥德巴赫猜想证明一样。这和传统意义上的解决（数学）问题仍有差距。

理论上神经网络也可以用于逻辑运算
How?

[wdong]

理论上神经网络也可以用于逻辑运算
How?

我觉得神经网络你让它自己做运算很难。但是给它草稿纸就能做。现在主流的做法是语言模型产生程序，运行程序产生结果。

BTW，你的艺术形式穷尽的理论我觉得非常好。

[hahan]

发的AI热潮（突破？革命？）从来没探究清楚，只浮泛地证明了是图灵完备的（DNN的集合），至于其他，如最后所得到的dnn有什么共同的东西，为什么在语言处理（是语言理解吗？更像是压缩与生成。如果是生成，其机制如何，如何学得！）和图像处理（识别）上会如此成功,都没弄清楚。

尤其是热捧的所谓推理与数学证明/计算的机制。

说Hinton是个工程师，实在不是贬低他，也没贬低他。

实验成功而底层机制不清楚，在计算机与AI历史上，这应该是第一次。

现在的ai发展
就是it's just engineering 的信念下的活动
我之前有发个过帖子在programming 版
就是认为只要一直engineering incremental improvement 最终就会引发质变
类似于涌现
Which 我老认为是fundamentally wrong 的
图灵说的walk like a duck is a duck本身就是fundamentally wrong
Intellectual endeavor 需要taste/instinct的引导

[牛河梁]

理论上神经网络也可以用于逻辑运算
How?

（与非）门电路可以做逻辑运算。神经网络也可以（被训练成）模拟（任何指定）逻辑电路啊。效率低就是了。

[hahan]

（与非）门电路可以做逻辑运算。神经网络也可以（被训练成）模拟（任何指定）逻辑电路啊。效率低就是了。

门电路的逻辑运算基于物理世界的因果律
神经网络怎么实现因果律

[hahan]

你说的效率低
是说统计意义上的实现
那不能算是实现逻辑运算

否则抛硬币组合也可以实现
只是效率更低而已

[牛河梁]

门电路的逻辑运算基于物理世界的因果律
神经网络怎么实现因果律

这是101。留给其它人回答吧。要不你去问ChatGPT。