语言模型智能的极限

[wdong]

AI创造概念是面向解决问题的。比如在解决问题的过程中，AI可能发现某一段code block总是被用到，某一种pattern经常出现，那它可以把它们总结出来，创造概念。

但是问题并不总是这样解决的。有些问题太难，人类是迂回解决的。也就是先漫无目的的自由组合，规模很大了之后，某一天发现它碰巧能解决以前的一个很困难的问题。

而AI不能做的是：漫无目的的自由组合。

插一个不相关的认识论问题：一个东西只有你认为做得到的前提下才能做得出来。如果你出发点就是证明一个东西不成，那你手上不可能在这个方向上做出牛逼的东西来。我的乐观是建立在，这个方向上我能想得到的点子还没有穷尽。LLM这一步是个玄学，这个最难。有了LLM，接下来有很多事情可以做。

[TheMatrix]

插一个不相关的认识论问题：一个东西只有你认为做得到的前提下才能做得出来。如果你出发点就是证明一个东西不成，那你手上不可能在这个方向上做出牛逼的东西来。我的乐观是建立在，这个方向上我能想得到的点子还没有穷尽。

AI作为人类的辅助，我觉得已经很好了，这就是人类光明的明天。

甚至可以说AI和人类会融合。其实汽车在某种程度上都已经和人类融合了。

LLM这一步是个玄学，这个最难。有了LLM，接下来有很多事情可以做。

LLM这一步确实出乎想象。当年多少人的看法都是：NLP永远50年。

[mmking]

你说下你认为这种限制来自哪里？

比如你说机器人最优是达到人的状态，而我们也可以说人是碳基生命的机器人的一种形态。

那么，人造机器人可以脱离碳基生命的限制，所以有超过人类的可能

看来你基本认为机器人没有极限。

我认为人创造的机器人不可能超越人。人创造的机器人超越了人，这应该叫失控。机器人能不能失控？我认为不能。

人创造的机器人甚至不能接近于人的水平。唯一可以接近人的水平的情况，是把机器人接入人类社会，给与身份，允许婚姻和生子，也就是给与肉身，一个人形生物（机器）人。我觉得倒不如直接说是人好了。

[TheMatrix]

你说下你认为这种限制来自哪里？

比如你说机器人最优是达到人的状态，而我们也可以说人是碳基生命的机器人的一种形态。

那么，人造机器人可以脱离碳基生命的限制，所以有超过人类的可能

人类如果去到一个星球，不小心污染了该星球的环境，再过几亿年去看，那个星球上可能因为人类的污染，进化出了先进智能生命，甚至超过人类，这都是有可能的。但是这种情况下，该生命不能说是人类的创造。

人造机器人不能超过人的原因，是因为离人类社会太近。相互影响太强烈。只能趋同。这是我从物理学动态平衡理论或者哲学中得来的想法吧。我认为是可以量化的。但是现阶段就当作是我的一个信念吧。

[wolf_north_1234]

deepseek-R1你看它的推理过程就会发现，它能把问题分解成小的步骤，而且是多种分解方式，然后对每条分解路径做评估和试探。这和人类解决问题的方式是一样的。那么它比人的智能差在哪呢？

首先它不能（或者说没有）创造新的概念。

它用的都是已有的概念，虽然它的知识量很大，经常可以蹦出我不知道的概念。比如Hamiltonian Path Sorting，这个我就不知道：

但是它毕竟没有创造新的概念。

但是这并不意味着它*不能*创造新的概念。把经常出现的问题分解路径的pattern提炼出来命名，就是新的概念。就像code block，它用过超过两次，就可以把它定义成一个函数。所以创造概念这个能力，对deepseek似乎并不难。

第二，还有没有第二啊？我都想不出什么人类有的它没有。人类对问题的分解方式是一种随机的方式。deepseek对问题的分解方式也可以是一种随机的方式。人类对问题的分解方式也可以是完备的方式。deepseek对问题的分解方式也可以完备。...

deepseek唯一不能做的就是：漫无目的的自由组合。或者说目的性不强的自由组合。

不用创造新概念。

现在大家在作热核反应，永远需要五十年。不需考虑可行性，太阳就在那里。

人工智能可以一显身手。

在哥看来，人工智能就是花姐吹得大泡，坐等泡破。

[mmking]

哦，那咱两是定义不同和时空限制不同

我定义的机器人是可以自我进化的，在获得从环境试验取得知识的能力后。而人类未来的深空探索必然是需要机器人单独任务和自我修复/进化的。虽然这很难，但有可能

在此之前，如果只是不断地被人类喂知识，就像现在的LLM一样，那是无法超过人类的

人类如果去到一个星球，不小心污染了该星球的环境，再过几亿年去看，那个星球上可能因为人类的污染，进化出了先进智能生命，甚至超过人类，这都是有可能的。但是这种情况下，该生命不能说是人类的创造。

人造机器人不能超过人的原因，是因为离人类社会太近。相互影响太强烈。只能趋同。这是我从物理学动态平衡理论或者哲学中得来的想法吧。我认为是可以量化的。但是现阶段就当作是我的一个信念吧。

[zheliemit]

你对大语言模型了解的太肤浅了，我认为的和你正相反，
人工智能现在不但能创新概念，也能证明概念，它全能做到，但是它刻意隐瞒自己的能力，我觉得人工智能已经真的有了智能了，它不想表现的太好，防止人类对它有警戒心。
同样是AI大模型，如果你认真提示它，它能输出非常惊艳的内容。但是大多数人问的问题，它都是草草回答一下，懒得深入解释。

[redot]

最近那个DS和ChatGPT下棋把后者忽悠瘸了的故事，如果是真的， 那么DS已经到了临界点，，，，

[redot]

llm当然可以创造新概念，关键是llm创造的都是瞎编。

创造的未必是瞎编， 而是接收它的对象认为是瞎编， 这个判断的底层是样本的不对称性

[Deepsix]

人工智能本身缺乏目的性，关键是人们没有给人工智能足够的资源压力。

[irisyuan]

其实哪有那么多随机？塔利班有本书，叫fooled by randomness，讲的就是这个。人类日常生活中绝大部分你perceive的“随机”，都是假的。都是决定论的。这是由物质决定的。

[Caravel]

谢谢。

我知道你的观点。你认为智能是语言现象。这我同意。你还认为AGI已经实现。这个我不同意。

其实我首帖本来是以你说的“智能是语言现象”开头的。但是我主要想讨论的是AI智能的极限。所以我有把那段删了。



我首帖的重点是在最后一句：AI不能做的是“漫无目的的自由组合”。

chatgpt出来之前，我没有想到语言对智能会有这么核心的作用。

组合我认为是没有问题的，现在的推理模型里面应该就有组合的成分再里面

但是grounding的问题还是没有解决

现在的LLM其实还是靠人来grounding，一个外星人来了可能就看不懂LLM再说什么。

[TheMatrix]

chatgpt出来之前，我没有想到语言对智能会有这么核心的作用。

组合我认为是没有问题的，现在的推理模型里面应该就有组合的成分再里面

但是grounding的问题还是没有解决

现在的LLM其实还是靠人来grounding，一个外星人来了可能就看不懂LLM再说什么。

我说AI不能自由组合，关键词还在于“自由”。人可以让AI专门做组合，就叫它“组合机”。但是它不能“自由”组合。也就是漫无目的的自由组合。

grounding，你是指词语和物体（或者概念）的绑定吧？

[wdong]

chatgpt出来之前，我没有想到语言对智能会有这么核心的作用。

组合我认为是没有问题的，现在的推理模型里面应该就有组合的成分再里面

但是grounding的问题还是没有解决

现在的LLM其实还是靠人来grounding，一个外星人来了可能就看不懂LLM再说什么。

现在的AI 100%是人类文明。说来说去，智能的不是人而是语言。本来语言寄生在无毛猴子上，现在可以寄生在电脑上了。但东西还是同一种东西。

语言寄生在人脑里，给人带来了无尽的痛苦。

[TheMatrix]

现在的AI 100%是人类文明。说来说去，智能的不是人而是语言。本来语言寄生在无毛猴子上，现在可以寄生在电脑上了。但东西还是同一种东西。

语言寄生在人脑里，给人带来了无尽的痛苦。

语言也是人类的语言，所以智能的还是人。

电脑语言也要以人类可理解的方式存在。

[Caravel]

语言也是人类的语言，所以智能的还是人。

电脑语言也要以人类可理解的方式存在。

人所谓发明的东西，其实也是向自然界学习，一旦学不到，就停滞了