Deep learning引发的AI热潮（突破？革命？）底层是什么，意义呢？

[Caravel]

我是engineer思维。可以往下想往下做了，我就认为理解了。
不理解的时候往下做是没有idea的。大家对什么叫理解可能理解不一样。我觉得现在的LLM和做飞机或者做原子弹是一样的。你要说飞机里面一点猜的东西都没有，肯定不是这样的。你现在去做莱特兄弟的飞机，可以做到一点猜的东西都没有。你要做最先进的飞机，肯定是工程领先于基础理论一点。

这个世界早就没有牛顿定律式的理解了。我往大里说，你想要的理解这个东西可能根本就不存在。你可能觉得人类对物理学理解得挺好了。但那只是你觉得有些物理学家理解了。这是宣传给你的错觉。物理学家要真理解了，怎么弦论大会都开不下去了？

人类脑子我觉得没多少东西可以挖掘了。进化出来的东西其实从算法上来说复杂不到哪里去。复杂的东西是基因通路和化学通路怎么支撑这套算法。我估计也有人在研究，但是对于推动AGI我不抱指望。目前AGI没有这些往下做五年一点问题都没有。

过去一般的解释了，就是还原论意义上的，把底层机制搞清楚了就明白了。比如比如水变成水蒸气，用原子分子一解释似乎就明白了。

但是对于强关联体系就不行了，比如超导现在还搞不清楚。人工神经网络的底层再清楚没有了，但是为什么能学习语言，要上了大规模才行。几亿几千个参数相互作用，人现在搞不清楚。

wolfram很久之前就提出复杂科学只能模拟不能还原。他是搞夸克出身，后来发现原胞自动机，费曼也解释不了。他渐渐转而研究复杂系统，几十年没有什么成果。最近他们也是用一种网络来解释物理学。

[hahan]

这是101。留给其它人回答吧。要不你去问ChatGPT。

神经网络实现逻辑运算和硬币组合实现逻辑运算是一个原理吗
我正经科班学过神经网络的
怎么不知道这是101？

[Caravel]

说底层机制是仿生就等于弄清了底层机制？人类大脑的语言机制是DNN所示？至少人类理解的机制跟dnn理解的机制不同机制两者我们都不清楚。

如果人类语言机制和机器语言机制不同，是否两者等价？其实这可以设计实验来检测的，但是目前没人做，也没人有兴趣做。

飞机也可以看作仿生鸟类，但我们知道如何推演或者设计飞机，也知道其背后的原理。dnn的语言机制是仿生人类语言机制，何况我们目前也没法确定那是机器的语言机制，另外，DNN是仿生人类神经元组成的神经网络吗？你是假设人类神经网络是图灵机。

所有以dnn实现agi的说法，都假设了人类智能等价于图灵机。这显然不对。

连佛教的攀缘说都用来说明dnn底层机制，觉得是为通俗吧，但也极为不清楚或模糊

人脑机制如何现在搞不清楚，但是基于某种深层网络应该大差不差。只要能学习概率分布，具体的底层的机制或许并不是那么重要。

[牛河梁]

但是为什么能学习语言，要上了大规模才行。几亿几千个参数相互作用，人现在搞不清楚。

智商问题。或者版大说的，世人皆傻。其实think out of the box再简单不过。

类似的问题，烂笑土本老牛几十年前拿几十万科研房顶时候就想过了。

老牛当时问自己的问题是：

1/ 一个（模拟/实现用户需求的）软件最小能有多小；

2/ 软件开发人员需要问客户多少问题才能写出正确软件。

如果能估计（或给出上下界），那么同样的思路用在神经网络里有什么不同。反正都是黑盒子。

至于语言。不需要很大的模型。老牛出国以后的（获奖）成果表明，只需要很简单的语言模型/算法，计算机理解自然语言就能比行业专家更好。

现在的LLM比多年前老牛的进步在于，它是跨领域genernally适用的。无需一个领域一个领域地微调。或者说一次性把人类所有领域的用语习惯都fit进去了。

[牛河梁]

神经网络实现逻辑运算和硬币组合实现逻辑运算是一个原理吗
我正经科班学过神经网络的
怎么不知道这是101？

老牛不知道（现在正经科班）神经网络教的啥。

也许像隔壁楼里说的如果你一路走来就很清楚。

[forecasting]

我是engineer思维。可以往下想往下做了，我就认为理解了。
不理解的时候往下做是没有idea的。大家对什么叫理解可能理解不一样。我觉得现在的LLM和做飞机或者做原子弹是一样的。你要说飞机里面一点猜的东西都没有，肯定不是这样的。你现在去做莱特兄弟的飞机，可以做到一点猜的东西都没有。你要做最先进的飞机，肯定是工程领先于基础理论一点。

这个世界早就没有牛顿定律式的理解了。我往大里说，你想要的理解这个东西可能根本就不存在。你可能觉得人类对物理学理解得挺好了。但那只是你觉得有些物理学家理解了。这是宣传给你的错觉。物理学家要真理解了，怎么弦论大会都开不下去了？

人类脑子我觉得没多少东西可以挖掘了。进化出来的东西其实从算法上来说复杂不到哪里去。复杂的东西是基因通路和化学通路怎么支撑这套算法。我估计也有人在研究，但是对于推动AGI我不抱指望。目前AGI没有这些往下做五年一点问题都没有。

我们来澄清一下了：造飞机，造电子管乃至IC，我们都知道原理，至少现在很清楚，知道怎么设计，或者设计和工程之间里的gap很小，可能是一些不了解或者不好控制的因素。比如电子管的延迟时间，你可以通过原理计算出来，但未必完全适合，也可以反复试验摸索出来，比如提高真空度，缩短两极距离。两者没gap很小。我们知道为什么要用工程或工程方法更简单。

但Deep learning和它实现的功能之间的gap在几乎所有大的方面大得无法想象或无法理解，图像处理或者识别算好的了，语言处理/生成/理解几乎是没法理解的。顺便说一句，word embedding，我们用非Deep Learning的方法早实现过，但两人都懒于整理，后来Deep Learning的方法出来，被覆盖了。我们的方法很清楚，思想清，技术和思想一致，技术也很清楚。唯一的惊喜就是我担心为简化而做的近似效果不好，但效果好得出奇。

但是dnn和理论的gap太大了，所有DNN的集合相当于所有图灵机的集合/或一台通用图灵机（图灵完备），至于技术实现，你摸索就是，比如中间随机断开全连接等等，你只能含糊地说是仿生，至于生物或人类神经原理，既不清楚，也不符合（我们可以证明）。中间Gap大不说，还有矛盾，或难通之处。

人类智能是辨别真假，图灵机是只能做可证/可计算的事情，连半可计算都难以处理/有情形无法达到要求，甚至因计算复杂度而无法实现。这是扞格难通之处。

语言机制是如dnn所示的那样的实现吗？这成了一种信仰而已，我们无法证明dnn是否实现了语言的生成，更别说理解了。（计算机语义是一种可计算语义，而人类语义经常不可计算，想想Tarski定理）

人类神经元结成的神经网络可以用图灵机或者可计算函数仿生或实现）模拟？这话太夸张，神经科学也只摸到了一点吧，就是所谓激活/抑制那一点，人工神经网络也只模拟了这一点（我怀疑也没模拟全，比如发育过程中两神经元可以连接，还可以断开等等）

[forecasting]

就是压缩和解压啦

AEC是，其他再很宽幅的意义上也是。可空范无意义。

[forecasting]

Universal approximation theory
任何变量都可以用多层函数拟合
函数无法解但是可以用神经网络解

这就空饭的

[Caravel]

我们来澄清一下了：造飞机，造电子管乃至IC，我们都知道原理，至少现在很清楚，知道怎么设计，或者设计和工程之间里的gap很小，可能是一些不了解或者不好控制的因素。比如电子管的延迟时间，你可以通过原理计算出来，但未必完全适合，也可以反复试验摸索出来，比如提高真空度，缩短两极距离。两者没gap很小。我们知道为什么要用工程或工程方法更简单。

但Deep learning和它实现的功能之间的gap在几乎所有大的方面大得无法想象或无法理解，图像处理或者识别算好的了，语言处理/生成/理解几乎是没法理解的。顺便说一句，word embedding，我们用非Deep Learning的方法早实现过，但两人都懒于整理，后来Deep Learning的方法出来，被覆盖了。我们的方法很清楚，思想清，技术和思想一致，技术也很清楚。唯一的惊喜就是我担心为简化而做的近似效果不好，但效果好得出奇。

但是dnn和理论的gap太大了，所有DNN的集合相当于所有图灵机的集合/或一台通用图灵机（图灵完备），至于技术实现，你摸索就是，比如中间随机断开全连接等等，你只能含糊地说是仿生，至于生物或人类神经原理，既不清楚，也不符合（我们可以证明）。中间Gap大不说，还有矛盾，或难通之处。

人类智能是辨别真假，图灵机是只能做可证/可计算的事情，连半可计算都难以处理/有情形无法达到要求，甚至因计算复杂度而无法实现。这是扞格难通之处。

语言机制是如dnn所示的那样的实现吗？这成了一种信仰而已，我们无法证明dnn是否实现了语言的生成，更别说理解了。（计算机语义是一种可计算语义，而人类语义经常不可计算，想想Tarski定理）

人类神经元结成的神经网络可以用图灵机或者可计算函数仿生或实现）模拟？这话太夸张，神经科学也只摸到了一点吧，就是所谓激活/抑制那一点，人工神经网络也只模拟了这一点（我怀疑也没模拟全，比如发育过程中两神经元可以连接，还可以断开等等）

早说了图灵机那套理论，结论都很general，对大模型没有什么指导意义。LLM今天做的东西，并没有跳出图灵机的上限，但是就work了，至少可以学习自然语言。你要的解释性只能说没有简单的原因，因为并不在于单个神经元的行为，而是集体的pattern，这个很难解释。

[forecasting]

你问了两个不同的方向：

1/ 基于矩阵运算的AI：本质是拟合（一个高维空间）。成功的底层机制可以用简单函数拟合理解。
1a/ 和泰勒展开或傅立叶变换没有本质的不同。
1b/ 拟合出来的函数和训练材料符合得很好，表现出一种记忆能力。
1c/ 拟合出来的函数对训练材料没有的点能给出一个猜测（如插值），表现出一种想象力（脑补）。

2/ 推理和数学证明等是完全不同的方向。理论上神经网络也可以用于逻辑运算。但神经网络用于推理本身效率并不高。

另外，老牛想补充几点：

1/ Circuit（包括神经网络）的计算能力非常强大。理论上甚至能超过某些不可计算的限制；但是这种超能力的后果是可信度下降。因为其结果不能由常规逻辑推导出来。

2/ 这类似于老牛常说的：（不能证明）超光速（不）存在。但超光速现象不能用被光速限制地观察观察出来。类似的还有（连续统/实空间 vs 离散/可数空间）量子计算问题。

3/ 在现实中，Circuit能通过图灵测试。因为随着其规模越来越大性能越来越好，人不可避免地不能分辨其是否非人。

4/ Circuit在寻找问题一个解有用。但保证不了最优解甚至正确解。就像很多人都能给出所谓的P vs NP或哥德巴赫猜想证明一样。这和传统意义上的解决（数学）问题仍有差距。

推理和数学证明，计算，语法分析都是一个东西，不同的形式化而已

[forecasting]

我觉得神经网络你让它自己做运算很难。但是给它草稿纸就能做。现在主流的做法是语言模型产生程序，运行程序产生结果。

BTW，你的艺术形式穷尽的理论我觉得非常好。

理论上神经网络也可以用于逻辑运算
How?

Minsky证明早期人工神经网络不能实现异或。第一次人工神经网络热潮就是因为Minsky这篇文章而陷入低潮的，后期做了改进。NN能做到图灵完备，就能实现逻辑运算。

[牛河梁]

推理和数学证明，计算，语法分析都是一个东西，不同的形式化而已

不同的模型对应不同的效率（空间、时间）。不是什么问题都上天顶星大杀器。不是所有的问题都是钉子。具体问题有更简单有效的解决方案。

[forecasting]

不同的模型对应不同的效率（空间、时间）。不是什么问题都上天顶星大杀器。不是所有的问题都是钉子。具体问题有更简单有效的解决方案。

令尊是做历史研究或者人文社科的？老牛你的文科思维色彩真重。

[牛河梁]

令尊是做历史研究或者人文社科的？老牛你的文科思维色彩真重。

都不是。不过他也对人类做了（一点点）贡献。为中国争取了（一点点）荣誉。和老牛不同领域就是了。

[forecasting]

早说了图灵机那套理论，结论都很general，对大模型没有什么指导意义。LLM今天做的东西，并没有跳出图灵机的上限，但是就work了，至少可以学习自然语言。

不是我要的解释，这是一个很大的问题，大家也基本都意识到了，唯有像Hinton那样的工程师不理解，也不知道。Ilya跑BC还是Stanford做演讲，拿Kolmogorov complexity来解释，也不过是无奈之举，不比用Universal Turing Machine解释好到哪里去。

[hahan]

Minsky证明早期人工神经网络不能实现异或。第一次人工神经网络热潮就是因为Minsky这篇文章而陷入低潮的，后期做了改进。NN能做到图灵完备，就能实现逻辑运算。

神经网络可以模拟任何函数
这个只是理论上的

[forecasting]

过去一般的解释了，就是还原论意义上的，把底层机制搞清楚了就明白了。比如比如水变成水蒸气，用原子分子一解释似乎就明白了。

但是对于强关联体系就不行了，比如超导现在还搞不清楚。人工神经网络的底层再清楚没有了，但是为什么能学习语言，要上了大规模才行。几亿几千个参数相互作用，人现在搞不清楚。

wolfram很久之前就提出复杂科学只能模拟不能还原。他是搞夸克出身，后来发现原胞自动机，费曼也解释不了。他渐渐转而研究复杂系统，几十年没有什么成果。最近他们也是用一种网络来解释物理学。

这个问题，我觉得不该用还原论或者涌现解释，应该走的思路是，自然甚或物理过程能否被图灵机模拟。涌现或者还原论像空泛的文科辩论或者神汉思维。

[牛河梁]

Minsky证明早期人工神经网络不能实现异或

有意思。老牛没听说过。看来老牛不够老。老牛4岁的智商还没想到为什么神经网络不能实现比异或更复杂的逻辑，举例说甚至CPU级的计算逻辑。

[forecasting]

有意思。老牛没听说过。看来老牛不够老。老牛4岁的智商还没想到为什么神经网络不能实现比异或更复杂的逻辑，举例说甚至CPU级的计算逻辑。

早期NN

[牛河梁]

早说了图灵机那套理论，结论都很general，对大模型没有什么指导意义。LLM今天做的东西，并没有跳出图灵机的上限，但是就work了，至少可以学习自然语言。你要的解释性只能说没有简单的原因，因为并不在于单个神经元的行为，而是集体的pattern，这个很难解释。

老牛不想特别针对你（们）（发考题们）作评论。不过老牛觉得你（们）没有做过（一线的）AI工作。不了解AI人每一步的挣扎（如另一楼楼主说的），所以也不明白AI现在要这样做，以及目的是什么。说实话，也许对做AI的人而言，可能不明白你想讨论的问题是什么。也许你自己也不清楚自己想说什么。

当然，也可能是老牛老了/out了。

1/ 图灵机是一个理论模型，为了解决特定理论问题提出。当然对大模型甚至冯诺依曼计算机都没有直接的意义。

2/ LLM是一种Circuit。一般认为Circuit等价于图灵机。但这个等价只是宗教信仰。其实两很不一样。就像老牛说的，Circuit可以超过图灵机，但结果就不再确定。你可以认为这是所谓神经网络可以很神奇但又不可理解不可验证的根源。

3/ 老牛用严格的传统的基于自动机的计算机理论设计的算法同样可以理解自然语言并实现超过领域里人类专家的水平。大模型并不特别神奇。

4/ 就像老牛还知道如何（严格的传统的基于自动机的计算机理论）解决今天大模型也不能解决的问题一样。暗示，请自我脑补老牛的几十万行程序梗背后有没有什么没说的故事。

5/ 完全可以用同样的大模型训练集去训练基于严格的传统的基于自动机的模型。老牛活早了几十年。那时候没有这么强大的计算能力，也没有这么多可训练数据。这才是现在和以前的本质区别。而不是LLM真有什么超然之处。事实上，老牛听说Tesla的FSD就不基于LLM。

如果你的问题有限随时间增长也有限，总有一天会被计算机的指数增长追上。根据摩尔定律，现在的单位芯片处理能力是30年前的100万倍。而且现在的人类还疯狂地使用数十万计的这类芯片。也就是训练/思维能力是当年单CPU的几千亿倍。

这是为何今天突然所谓AI有了突破的原因。如果20年前老牛能在单核CPU上超过人类。现在的LLM也好，其它什么模型也好，不能比老牛当年好几亿倍，那拿砖头拍死自己算了。