语言模型智能的极限

[TheMatrix]

deepseek-R1你看它的推理过程就会发现，它能把问题分解成小的步骤，而且是多种分解方式，然后对每条分解路径做评估和试探。这和人类解决问题的方式是一样的。那么它比人的智能差在哪呢？

首先它不能（或者说没有）创造新的概念。

它用的都是已有的概念，虽然它的知识量很大，经常可以蹦出我不知道的概念。比如Hamiltonian Path Sorting，这个我就不知道：

但是它毕竟没有创造新的概念。

但是这并不意味着它*不能*创造新的概念。把经常出现的问题分解路径的pattern提炼出来命名，就是新的概念。就像code block，它用过超过两次，就可以把它定义成一个函数。所以创造概念这个能力，对deepseek似乎并不难。

第二，还有没有第二啊？我都想不出什么人类有的它没有。人类对问题的分解方式是一种随机的方式。deepseek对问题的分解方式也可以是一种随机的方式。人类对问题的分解方式也可以是完备的方式。deepseek对问题的分解方式也可以完备。...

deepseek唯一不能做的就是：漫无目的的自由组合。或者说目的性不强的自由组合。

[drifter]

随机是否就是自由意志或者人类智能的本质？
是否有真正数学意义上的随机

[mmking]

极限在于目前不能做physical experiment，无法挑战已有的知识体系，人类已知就是上限

LLM的未来在于robot和physical world，啥时可以自己做人类做不了的experiment，就超越人类了

deepseek-R1你看它的推理过程就会发现，它能把问题分解成小的步骤，而且是多种分解方式，然后对每条分解路径做评估和试探。这和人类解决问题的方式是一样的。那么它比人的智能差在哪呢？

首先它不能（或者说没有）创造新的概念。

它用的都是已有的概念，虽然它的知识量很大，经常可以蹦出我不知道的概念。比如Hamiltonian Path Sorting，这个我就不知道：

但是它毕竟没有创造新的概念。

但是这并不意味着它*不能*创造新的概念。把经常出现的问题分解路径的pattern提炼出来命名，就是新的概念。就像code block，它用过超过两次，就可以把它定义成一个函数。所以创造概念这个能力，对deepseek似乎并不难。

第二，还有没有第二啊？我都想不出什么人类有的它没有。人类对问题的分解方式是一种随机的方式。deepseek对问题的分解方式也可以是一种随机的方式。人类对问题的分解方式也可以是完备的方式。deepseek对问题的分解方式也可以完备。...

deepseek唯一不能做的就是：漫无目的的自由组合。或者说目的性不强的自由组合。

[TheMatrix]

deepseek唯一不能做的就是：漫无目的的自由组合。或者说目的性不强的自由组合。

对人类知识有贡献的行为有两种：

1，面向问题 - 把问题分解，分解到已有的知识基础。

2，自由组合 - 有点像元胞自动机，cellular automata。从最小的单元开始组合，组合的目的并不清楚。组合到一定的规模，出现了一定的pattern，开始有用了，或者我们感觉它“美”了，这就是一个新的有价值的知识点。如果这个新的知识点能变成一个工具，解决一个人们正在关注的问题，那就是超额完成任务。

数学中很多open question就是这么解决的。比如费马大定理。费马大定理就好像月亮，我们站在地球上没有任何路径能上去。而解决的方式，就是搭脚手架，hopelessly，脚手架要搭到月球上去。但是另一个角度看，搭脚手架本身也可以是“美”的，有快感的。所以也不是hopelessly。搭着搭着，脚手架真的能搭到月球上去！

人可以这样做。AI能这样做吗？我感觉不能。

[TheMatrix]

对人类知识有贡献的行为有两种：

1，面向问题 - 把问题分解，分解到已有的知识基础。

2，自由组合 - 有点像元胞自动机，cellular automata。从最小的单元开始组合，组合的目的并不清楚。组合到一定的规模，出现了一定的pattern，开始有用了，或者我们感觉它“美”了，这就是一个新的有价值的知识点。如果这个新的知识点能变成一个工具，解决一个人们正在关注的问题，那就是超额完成任务。

数学中很多open question就是这么解决的。比如费马大定理。费马大定理就好像月亮，我们站在地球上没有任何路径能上去。而解决的方式，就是搭脚手架，hopelessly，脚手架要搭到月球上去。但是另一个角度看，搭脚手架本身也可以是“美”的，有快感的。所以也不是hopelessly。搭着搭着，脚手架真的能搭到月球上去！

人可以这样做。AI能这样做吗？我感觉不能。

AI不能这样做，不是技术的限制，而是一个社会层面的问题，一个更高层面的问题。

首先你叫一个AI去自由组合，漫无目的地自由组合，这个行为的目的何在呢？呵呵。一句话就出现矛盾了。

比如说有一个AI，我创造它不为解决任何问题，专门为了自由组合。generative model算去吧。它算啊算啊，算到一定程度了，它说这个结果很不错，要给人类看看。wait，它怎么知道什么叫“很不错”呢？“很不错”的标准也得是人类告诉它的，制造它的时候就设定了几个指标，达到了就是“很不错”，拿出来给我看看。

这样一个AI，它能真正的“自由”组合吗？

[TheMatrix]

AI不能这样做，不是技术的限制，而是一个社会层面的问题，一个更高层面的问题。

首先你叫一个AI去自由组合，漫无目的地自由组合，这个行为的目的何在呢？呵呵。一句话就出现矛盾了。

比如说有一个AI，我创造它不为解决任何问题，专门为了自由组合。generative model算去吧。它算啊算啊，算到一定程度了，它说这个结果很不错，要给人类看看。wait，它怎么知道什么叫“很不错”呢？“很不错”的标准也得是人类告诉它的，制造它的时候就设定了几个指标，达到了就是“很不错”，拿出来给我看看。

这样一个AI，它能真正的“自由”组合吗？

所以这不是真正的自由组合，只是“一定程度的自由”的组合。自由的程度是我给它编程设定的。这是一架“自由组合机”。

不过要这么说的话，人也没有完全的自由。人是被社会调教的。人人都想挣钱，这就是社会给编程设定的。

不过这有点偷换概念。人被社会调教度让自由，是结果，是适应。但是人的目的，人的心灵，是有自由的。

而AI，能有心灵的自由吗？

[TheMatrix]

随机是否就是自由意志或者人类智能的本质？
是否有真正数学意义上的随机

我觉得不是：

随机是否就是自由意志或者人类智能的本质？

我认为物理世界也没有真正数学意义上的随机。

[TheMatrix]

极限在于目前不能做physical experiment，无法挑战已有的知识体系，人类已知就是上限

LLM的未来在于robot和physical world，啥时可以自己做人类做不了的experiment，就超越人类了

对。这是另一个角度。

multimodal，机器人，这是LLM的未来。LLM仍然是未来AI的大脑。

那我问你：机器人有什么极限吗？

[wass]

deepseek-R1你看它的推理过程就会发现，它能把问题分解成小的步骤，而且是多种分解方式，然后对每条分解路径做评估和试探。这和人类解决问题的方式是一样的。那么它比人的智能差在哪呢？

首先它不能（或者说没有）创造新的概念。

它用的都是已有的概念，虽然它的知识量很大，经常可以蹦出我不知道的概念。比如Hamiltonian Path Sorting，这个我就不知道：

但是它毕竟没有创造新的概念。

但是这并不意味着它*不能*创造新的概念。把经常出现的问题分解路径的pattern提炼出来命名，就是新的概念。就像code block，它用过超过两次，就可以把它定义成一个函数。所以创造概念这个能力，对deepseek似乎并不难。

第二，还有没有第二啊？我都想不出什么人类有的它没有。人类对问题的分解方式是一种随机的方式。deepseek对问题的分解方式也可以是一种随机的方式。人类对问题的分解方式也可以是完备的方式。deepseek对问题的分解方式也可以完备。...

deepseek唯一不能做的就是：漫无目的的自由组合。或者说目的性不强的自由组合。

可以，看看alpha 0

[dealfinder10]

deepseek-R1你看它的推理过程就会发现，它能把问题分解成小的步骤，而且是多种分解方式，然后对每条分解路径做评估和试探。这和人类解决问题的方式是一样的。那么它比人的智能差在哪呢？

首先它不能（或者说没有）创造新的概念。

它用的都是已有的概念，虽然它的知识量很大，经常可以蹦出我不知道的概念。比如Hamiltonian Path Sorting，这个我就不知道：

但是它毕竟没有创造新的概念。

但是这并不意味着它*不能*创造新的概念。把经常出现的问题分解路径的pattern提炼出来命名，就是新的概念。就像code block，它用过超过两次，就可以把它定义成一个函数。所以创造概念这个能力，对deepseek似乎并不难。

第二，还有没有第二啊？我都想不出什么人类有的它没有。人类对问题的分解方式是一种随机的方式。deepseek对问题的分解方式也可以是一种随机的方式。人类对问题的分解方式也可以是完备的方式。deepseek对问题的分解方式也可以完备。...

deepseek唯一不能做的就是：漫无目的的自由组合。或者说目的性不强的自由组合。

llm当然可以创造新概念，关键是llm创造的都是瞎编。

[webdriver]

现在的大模型都是拿喂给它的语料，保存各个单词之间的连接比例参数（weights）。
提示，就是给关键词，LLM找出这些关键词最优的组合，也就是它曾学到的最多（通用）的组合，给你表示出来。如果拿不到最优组合，这时候他会有一种策略来调整输出，这就是“原创”，但是目前语境下，这种创造很少合理性（瞎编），不知道我理解的对不对？

[mmking]

目前机器人的定义是有具体物理载体的，那么三维空间的物理定律就是他们的界限。当然，机器人的最终形态不一定要以三维物理空间的最终形态存在，如果是这样，他们的界限就是所有可以储存信息和计算的时空存在。

在逻辑层面，他们被人类赋予的初始utility function在最开始是一个很大的限制，但这个可以在换代过程中自我修改，所以也不是最终界限。

对。这是另一个角度。

multimodal，机器人，这是LLM的未来。LLM仍然是未来AI的大脑。

那我问你：机器人有什么极限吗？

[wdong]

deepseek-R1你看它的推理过程就会发现，它能把问题分解成小的步骤，而且是多种分解方式，然后对每条分解路径做评估和试探。这和人类解决问题的方式是一样的。那么它比人的智能差在哪呢？

首先它不能（或者说没有）创造新的概念。

它用的都是已有的概念，虽然它的知识量很大，经常可以蹦出我不知道的概念。比如Hamiltonian Path Sorting，这个我就不知道：

但是它毕竟没有创造新的概念。

但是这并不意味着它*不能*创造新的概念。把经常出现的问题分解路径的pattern提炼出来命名，就是新的概念。就像code block，它用过超过两次，就可以把它定义成一个函数。所以创造概念这个能力，对deepseek似乎并不难。

第二，还有没有第二啊？我都想不出什么人类有的它没有。人类对问题的分解方式是一种随机的方式。deepseek对问题的分解方式也可以是一种随机的方式。人类对问题的分解方式也可以是完备的方式。deepseek对问题的分解方式也可以完备。...

deepseek唯一不能做的就是：漫无目的的自由组合。或者说目的性不强的自由组合。

你这个帖子再过5到10年回来看，会发现是一个伟大的帖子。我走在你前面两个月的样子，所以一看到你这么说就知道了。你这个没有第二很妙。

[forecasting]

deepseek-R1你看它的推理过程就会发现，它能把问题分解成小的步骤，而且是多种分解方式，然后对每条分解路径做评估和试探。这和人类解决问题的方式是一样的。那么它比人的智能差在哪呢？

首先它不能（或者说没有）创造新的概念。

它用的都是已有的概念，虽然它的知识量很大，经常可以蹦出我不知道的概念。比如Hamiltonian Path Sorting，这个我就不知道：

但是它毕竟没有创造新的概念。

但是这并不意味着它*不能*创造新的概念。把经常出现的问题分解路径的pattern提炼出来命名，就是新的概念。就像code block，它用过超过两次，就可以把它定义成一个函数。所以创造概念这个能力，对deepseek似乎并不难。

第二，还有没有第二啊？我都想不出什么人类有的它没有。人类对问题的分解方式是一种随机的方式。deepseek对问题的分解方式也可以是一种随机的方式。人类对问题的分解方式也可以是完备的方式。deepseek对问题的分解方式也可以完备。...

deepseek唯一不能做的就是：漫无目的的自由组合。或者说目的性不强的自由组合。

AI不能分辨真假，这至少是第二个它做不到的。TM（图灵机）也一样

[forecasting]

你这个帖子再过5到10年回来看，会发现是一个伟大的帖子。我走在你前面两个月的样子，所以一看到你这么说就知道了。你这个没有第二很妙。

Godel定理从另一个角度看，就是分别了可证和真假

[TheMatrix]

你这个帖子再过5到10年回来看，会发现是一个伟大的帖子。我走在你前面两个月的样子，所以一看到你这么说就知道了。你这个没有第二很妙。

谢谢。

我知道你的观点。你认为智能是语言现象。这我同意。你还认为AGI已经实现。这个我不同意。

其实我首帖本来是以你说的“智能是语言现象”开头的。但是我主要想讨论的是AI智能的极限。所以我有把那段删了。

@wdong说智能是个语言现象。这我是同意的。

低层面一点，我们可以说：所有的知识都可以由语言来表达。这句话几乎是一个认识论中的同义语。智能是什么，这比知识难以定义。但如果我们认为智能的大部分是知识的话，那么说“智能是个语言现象”就好理解了。如果不同意智能的大部分是知识，那我们就不说“智能是个语言现象”这句话，而只说“所有的知识都可以由语言来表达”。也没有问题。

推理我也包含在知识范围内 - 从旧的知识得到新的知识。

但是我这篇想讨论的是AI智能的极限。

我首帖的重点是在最后一句：AI不能做的是“漫无目的的自由组合”。

[TheMatrix]

目前机器人的定义是有具体物理载体的，那么三维空间的物理定律就是他们的界限。当然，机器人的最终形态不一定要以三维物理空间的最终形态存在，如果是这样，他们的界限就是所有可以储存信息和计算的时空存在。

在逻辑层面，他们被人类赋予的初始utility function在最开始是一个很大的限制，但这个可以在换代过程中自我修改，所以也不是最终界限。

看来你基本认为机器人没有极限。

我认为人创造的机器人不可能超越人。人创造的机器人超越了人，这应该叫失控。机器人能不能失控？我认为不能。

人创造的机器人甚至不能接近于人的水平。唯一可以接近人的水平的情况，是把机器人接入人类社会，给与身份，允许婚姻和生子，也就是给与肉身，一个人形生物（机器）人。我觉得倒不如直接说是人好了。

[wdong]

谢谢。

我知道你的观点。你认为智能是语言现象。这我同意。你还认为AGI已经实现。这个我不同意。

其实我首帖本来是以你说的“智能是语言现象”开头的。但是我主要想讨论的是AI智能的极限。所以我有把那段删了。



我首帖的重点是在最后一句：AI不能做的是“漫无目的的自由组合”。

都不是。AI智能再要往前推，要解决的核心问题是创造新的概念。整个人类知识体系就是概念的堆叠。一旦AI成体系地开始创造有用的新概念了，科学发展的接力棒就到了AI手上。现在看来这个过程比我估计的要快。

概念的创造本身是很随机的事情，经过实践的检验会沉淀下来真正有用的概念。这里有个闭环，不全是AI的事情。有些数学问题很难证，因为缺乏有用的概念作为跳板。

我能感觉到你这篇帖子的出发点可能不是我说的这个事情。但是你不经意间触碰到了核心问题。这个核心问题在现在的技术基础上是可以通过一串incremental的工程优化解决的，并不是什么高不可攀的事情。怎么做的算法我都已经想了几个版本了。

[TheMatrix]

都不是。AI智能再要往前推，要解决的核心问题是创造新的概念。整个人类知识体系就是概念的堆叠。一旦AI成体系地开始创造有用的新概念了，科学发展的接力棒就到了AI手上。现在看来这个过程比我估计的要快。

概念的创造本身是很随机的事情，经过实践的检验会沉淀下来真正有用的概念。这里有个闭环，不全是AI的事情。有些数学问题很难证，因为缺乏有用的概念作为跳板。

我能感觉到你这篇帖子的出发点可能不是我说的这个事情。但是你不经意间触碰到了核心问题。这个核心问题在现在的技术基础上是可以通过一串incremental的工程优化解决的，并不是什么高不可攀的事情。怎么做的算法我都已经想了几个版本了。

AI创造概念是面向解决问题的。比如在解决问题的过程中，AI可能发现某一段code block总是被用到，某一种pattern经常出现，那它可以把它们总结出来，创造概念。

但是问题并不总是这样解决的。有些问题太难，人类是迂回解决的。也就是先漫无目的的自由组合，规模很大了之后，某一天发现它碰巧能解决以前的一个很困难的问题。

而AI不能做的是：漫无目的的自由组合。

[forecasting]

不愿意评论人，可还是忍不住说，你们的计算理论是英语老师教的