AI的真正的未来是代码/语言本身

[wdong]

很难。

看你怎么要求了。

如果说一个函数，40行的小程序，那么AI写一个肯定又快又好。超过人类可能已经实现了。

但是超过300行的“大程序”，AI写出来能运行，但是结果不对啊。

人类tester如果只是指出结果错处要求AI改正的话，它不是这错就是那错。它不做regression test。

这里面存在好几个本质的问题没法解决：

1，这可能本质上是个交互的过程。那么人类和AI怎么沟通？我告诉它：别的都不变，就改这。别的包含哪些？我要全都告诉它吗？

2，它能记住多少？300行的程序，每次写出来都不一样。它是神经网络的工作方式，它不是精确的工作方式。

3，自顶向下设计？divide and conquer？设计过程存在大量的沟通。还是存在前面两个问题。

你看眼我贴的那个benchmark的link。 从头一次性写对300行以上的程序很难。但是fix issue并不是这么难。这个benchmark里所有的项目都是现实的重要项目，比如django。目前AI fix issue的成功率已经>50%了。

Google几个月前就声称新程序中AI的比例已经很高了。你把世上所有的程序看成一个整体，甚至你可以再用这些程序目前消耗的能源加权，AI占比肯定是越来越高。哪天AI fix issue > 90%，AI就会大规模优化已有的程序，而不仅仅是生成新程序了。这时候有效程序的总量应该是会减少的。

[Caravel]

我想说的正好相反。我觉得latent space（内化）有其先天的局限性，是现在人用编程语言写不出来AI时的一个不得已的办法。但人写不出来不等于不存在，也不等于AI写不出来。AI的功能以后会越来越外化(比如，对应于目前prompt部分相对于模型本身的大小会越来越大）。这个外化用的语言应该是现在所有自然语言和编程语言合起来的超集，而且超的部分会趋近无穷大。而且这个语言的效率会越来越高，最后肯定就是人看不懂的二进制机器代码。

那你这种二进制prompt谁来写？让另外一个大模型来写吗？

[wdong]

那你这种二进制prompt谁来写？让另外一个大模型来写吗？

对啊。我目前在卷的那个架构就是人和agent一起产生prompt。光用人肯定不行。我今天小红书看到一个特别好的argument。就是一个框架如果本身AI不参与，那这个框架肯定不是一个好的AI框架。

我说的connectionism确实不对。因为往prompt里加embedding vector有现成的方法。所以prompt还真不就一定是symbolism的。但你说的“外化”是一个很好的说法。

我感觉symbolism vs connectionism之争最终会以失去意义结束。反正人都看不懂了。

[Caravel]

对啊。我目前在卷的那个架构就是人和agent一起产生prompt。光用人肯定不行。我今天小红书看到一个特别好的argument。就是一个框架如果本身AI不参与，那这个框架肯定不是一个好的AI框架。

我说的connectionism确实不对。因为往prompt里加embedding vector有现成的方法。所以prompt还真不就一定是symbolism的。但你说的“外化”是一个很好的说法。

我感觉symbolism vs connectionism之争最终会以失去意义结束。反正人都看不懂了。

压缩应该是可以的，最简单的，如果老干同一个事情，就不需要那么长思维链再思考一遍，可以把这个结论用某种形式压缩一下存下来，后面agent越跑越快

[弃婴千枝]

码农很搞笑

语言本质上是个category theory，不含动力学，更不含非线性动力学

语言本身无论怎么折腾都不会产生智力

智力是个动力学过程，而且是个非线性动力学过程，神经网络就是这样一个非线性动力学过程，码农到今天还认识不到这一点

所以我认为智能比照相变现象，物理学搞了上百年都没搞明白，真正的人工智能估计也要上百年

[wdong]

码农很搞笑

语言本质上是个category theory，不含动力学，更不含非线性动力学

语言本身无论怎么折腾都不会产生智力

智力是个动力学过程，而且是个非线性动力学过程，神经网络就是这样一个非线性动力学过程，码农到今天还认识不到这一点

所以我认为智能比照相变现象，物理学搞了上百年都没搞明白，真正的人工智能估计也要上百年

自动机的状态转移就是动力学，你非要说的话，只不过是离散的。方程就是 new_state, output_token = f (old_state, input_token)。
你把output_token作为input_token输进去，就动起来了。不是AI没有动力学，是动力学研究不出来AI。

[Caravel]

码农很搞笑

语言本质上是个category theory，不含动力学，更不含非线性动力学

语言本身无论怎么折腾都不会产生智力

智力是个动力学过程，而且是个非线性动力学过程，神经网络就是这样一个非线性动力学过程，码农到今天还认识不到这一点

所以我认为智能比照相变现象，物理学搞了上百年都没搞明白，真正的人工智能估计也要上百年

语言好比相空间，大模型就是在里面划出一道trace，这不就是动力学过程？

人工智能我认为永远“理解”不了，因为这就是一种涌现的多体现象，这种东西是没有办法用还原论理解的。高温超导搞了几十年还是没有什么头绪。

[弃婴千枝]

语言好比相空间，大模型就是在里面划出一道trace，这不就是动力学过程？

人工智能我认为永远“理解”不了，因为这就是一种涌现的多体现象，这种东西是没有办法用还原论理解的。高温超导搞了几十年还是没有什么头绪。

你这是线性关系
emergent是相变，非线性的
神经网络就是ising模型，已知可以模拟相变

[Caravel]

你这是线性关系
emergent是相变，非线性的
神经网络就是ising模型，已知可以模拟相变

语言本身没有智能，有智能的是语言描述的知识