有人玩CHATGPT吗？看看这些回答有模有样，LOL

[verdelite]

事实就是事实。这个技术是广为人知的，后面并没有什么黑科技。

你这与谷歌那个认为AI有意识被开除的人一样了。

应该说，人脑也就不过如此。

[hci]

注意就是注意，与理解无关。

理解是什么意思？就是要建一个世界模型。这些深学模型着眼点，就是说不需要建世界模型，咱们直接预测字符序列。成功了，能预测了，真的不需要世界模型。就这个观点。只要数据足够多，端到端，直接搞定。

人家这个算法里面就没有理解这个成分，你平白无故的非要说它有理解是为哪般？

attention 机制训练出来长程的理解是可能的

[hci]

你说的不是什么新鲜的。你说得不会比斯金纳说得更好。

https://yyhh.org/zh/blog/2010/07/xin-li ... e-xue-yao/

为啥搞深学的人不这么说。因为那是死路。行为主义已经走过的，死了。

所以他们打死也不会说“人没有意识”，“人脑也就与NN一样，不过如此“，那是找死。

应该说，人脑也就不过如此。

[Caravel]

应该说，人脑也就不过如此。

我有个朋友已经接了三次婚了，请问他可能是处男么？

答：如果一个人已经接了三次婚，那他并不可能是处男。处男是指还没有进行过性行为的男性，而已经接了三次婚的人显然不属于这一类。可能你的朋友第一次婚姻失败了，然后再接了两次婚。如果你想了解他的婚姻情况，可以直接向他询问

如果我朋友一次婚都没有结过，那他有可能是处男么？

答：如果一个人一次婚都没有结过，那他不一定是处男。处男是指还没有进行过性行为的男性，不和婚姻状态有直接关系。可能你的朋友一直没有结婚，但他并不是处男。如果你想了解他的性行为经历，可以直接向他询问。

[Caravel]

注意就是注意，与理解无关。

理解是什么意思？就是要建一个世界模型。这些深学模型着眼点，就是说不需要建世界模型，咱们直接预测字符序列。成功了，能预测了，真的不需要世界模型。就这个观点。只要数据足够多，端到端，直接搞定。

人家这个算法里面就没有理解这个成分，你平白无故的非要说它有理解是为哪般？

靠形式逻辑推理也可以，把世界上的事物关系喂给他

[verdelite]

注意就是注意，与理解无关。

理解是什么意思？就是要建一个世界模型。这些深学模型着眼点，就是说不需要建世界模型，咱们直接预测字符序列。成功了，能预测了，真的不需要世界模型。就这个观点。只要数据足够多，端到端，直接搞定。

人家这个算法里面就没有理解这个成分，你平白无故的非要说它有理解是为哪般？

我觉得你有点固步自封了。量变会导致到质变，量大了就会有结构。有结构就比没结构预测起来更加精准和鲁棒。这个第一步结构就是“概念”。概念上面再抽象出概念，就可以思考、理解了。我认为你的着眼点还是小规模网络的深学，结构还不明显。规模越大结构会越明显。

三五个人就是三五个人，但是三十万人就会自组织起来结构。黑社会也好，昂撒人的选举结构也好，会出现结构的。

[hci]

这就是问题所在。我都上面提过多次了。

这个模型的毛病，在于不能接受人类的知识。它就是个字符串预测器。其他的功能，都是你们的臆想。

如果能把深学与符号结合起来，图灵奖没跑，这是个亿万美元的问题。

我说了这么多遍，你们似乎不理解。我2018的talk深入阐述了这个问题。听起来似乎是常识，但貌似大多数人不理解。

靠形式逻辑推理也可以，把世界上的事物关系喂给他

[Caravel]

这就是问题所在。我都上面提过多次了。

这个模型的毛病，在于不能接受人类的知识。它就是个字符串预测器。其他的功能，都是你们的臆想。

如果能把深学与符号结合起来，图灵奖没跑，这是个亿万美元的问题。

我说了这么多遍，你们似乎不理解。我2018的talk深入阐述了这个问题。听起来似乎是常识，但貌似大多数人不理解。

你已经僵化到一点程度了，高级结构完全可以从低级结构衍生出来

[hci]

OpenAI的CTO就是这么认为的。但明显这是扯蛋。不改方法，堆数据是没有用的。因为不是模型还不够强，模型已经够强了，而是技术不满足题目的要求。

题目要求是什么？是能够把人类的知识加进去。这个不是数据量的问题，是个方法问题。

如何能往一个字符串预测器里加入人类的概念，人类的常识，人类的逻辑，这是亿万美元的问题，这是个方法问题，也就是质变的问题。

你以为他们不想做这件事么？他们天天都在想。做不出来呀。弄来弄去，就是两招：强化学习，图深学。

这个方向其实是个死胡同。因为自打NN被发明出来，人们就在研究这件事了。半个世纪了，没有什么进展。谷歌现在投了多少钱在上面，没看到什么进展。

所以不是量变变成质变的问题，而是路还没找到。

我觉得你有点固步自封了。量变会导致到质变，量大了就会有结构。有结构就比没结构预测起来更加精准和鲁棒。这个第一步结构就是“概念”。概念上面再抽象出概念，就可以思考、理解了。我认为你的着眼点还是小规模网络的深学，结构还不明显。规模越大结构会越明显。

三五个人就是三五个人，但是三十万人就会自组织起来结构。黑社会也好，昂撒人的选举结构也好，会出现结构的。

[verdelite]

OpenAI的CTO就是这么认为的。但明显这是扯蛋。不改方法，堆数据是没有用的。因为不是模型还不够强，模型已经够强了，而是技术不满足题目的要求。

题目要求是什么？是能够把人类的知识加进去。这个不是数据量的问题，是个方法问题。

如何能往一个字符串预测器里加入人类的概念，人类的常识，人类的逻辑，这是亿万美元的问题，这是个方法问题，也就是质变的问题。

你以为他们不想做这件事么？他们天天都在想。做不出来呀。弄来弄去，就是两招：强化学习，图深学。

这个方向其实是个死胡同。因为自打NN被发明出来，人们就在研究这件事了。半个世纪了，没有什么进展。谷歌现在投了多少钱在上面，没看到什么进展。

所以不是量变变成质变的问题，而是路还没找到。

我上面的讨论已经给了路：概念，和概念之上的继续抽象。

[hci]

你连题目都没有读懂。我说了，题目的要求，是能让人类吧自己的知识加入模型中。

你说的这个，现有的模型已经做到了。我上面说过了，它识别出的高级结构，是非常抽象的，没有任何人类个体有这种能力。但这没有卵用，不解决我们的问题。我们的问题不是这个，而是如何让它懂我们的知识。

这么说吧，这个AI非常高级，能识别最隐秘的模式，也就是说，它自己从数据中发展出了自己的抽象系统和语言。但是，它却没有一点常识，它并不知道什么东西是在人类世界中真实存在的，什么不是。如何让它知道？这就是亿万美元的问题。现在还没有找到能与它交流的办法，没法把我们的知识，翻译成它的抽象系统和语言。

既然它的系统是如此高级，人类应该是不能理解它的系统的，不能指望我们来翻译，需要它自己翻译。但是如何教会它？现在我们会的，就只是强化学习，但这不是在它系统内部做改动，仅仅是对是否接受它的输出的一个判定。

现在的一个希望，是它能学会读懂我们造的知识图，这就是目前研究最火热的热点。

我说的这些，你明白了么？

你已经僵化到一点程度了，高级结构完全可以从低级结构衍生出来

[hci]

它已经这么做了。

我上面的讨论已经给了路：概念，和概念之上的继续抽象。

[hci]

希望我的大白话，让大家明白现在AI研究的现状和问题。

本质上，你们以为的AI要解决的问题，其实已经被解决了：如何让一个系统自己学会从数据中构建出复杂的抽象层级，这个已经完成了，ChatGPT就是证明。

现在研究的重点，是如何让这个系统，接受人类的知识：哪些东西是真的，哪些是假的，这个东西与那个东西，有什么关系，等等。这是第一步，也就是一个“锚定现实”（grounding）的问题。第二步，才是推理什么的。而现在锚定现实，还做不到。做到了，可以得图灵奖。

[verdelite]

希望我的大白话，让明白现在AI研究的现状和问题。

本质上，你们以为的AI要解决的问题，其实已经被解决了：如何让一个系统自己学会从数据中构建出复杂的抽象层级，这个已经完成了，ChatGPT就是证明。

现在研究的重点，是如何让这个系统，接受人类的知识：那些东西是真的，那些是假的，这个东西与那个东西，有什么关系，等等。这是第一步，就是一个“锚定现实”的问题。第二步，才是推理什么的。现在锚定现实，还做不到。

做得到，只需要labels. 从unsupervised learning 到 supervised learning。这早就解决了，现在就是个规模问题。

[hci]

我上面都说了，强化学习的标定，只是标定是否接受这个输出，与其内部的抽象结构没有关系，是很粗很外在的一种干预。这会有”修好这个，那个又不行了“，这种无休无止的问题。

而且，这还是标定实际例子，是个费钱费力费时错误百出的办法，也并不能直接接受人类的知识。

人类的知识，就是图。所以图深学这么火。这是深学唯一的希望。这条路走不通的话，深学就这样了，要想其他的方法。

做得到，只需要labels. 从unsupervised learning 到 supervised learning。这早就解决了，现在就是个规模问题。

[Caravel]

你连题目都没有读懂。我说了，题目的要求，是能让人类吧自己的知识加入模型中。

你说的这个，现有的模型已经做到了。我上面说过了，它识别出的高级结构，是非常抽象的，没有任何人类个体有这种能力。但这没有卵用，不解决我们的问题。我们的问题不是这个，而是如何让它懂我们的知识。

这么说吧，这个AI非常高级，能识别最隐秘的模式，也就是说，它自己从数据中发展出了自己的抽象系统和语言。但是，它却没有一点常识，它并不知道什么东西是在人类世界中真实存在的，什么不是。如何让它知道？这就是亿万美元的问题。现在还没有找到能与它交流的办法，没法把我们的知识，翻译成它的抽象系统和语言。

既然它的系统是如此高级，人类应该是不能理解它的系统的，不能指望我们来翻译，需要它自己翻译。但是如何教会它？现在我们会的，就只是强化学习，但这不是在它系统内部做改动，仅仅是对是否接受它的输出的一个判定。

现在的一个希望，是它能学会读懂我们造的知识图，这就是目前研究最火热的热点。

我说的这些，你明白了么？

grounding 是grounding的问题。我们现在讨论的不是chatGPT有没有学习到语言的long range structure。 我认为是有很大进步的，体现在就是他基本能够回答在点子上，而且似乎可以使用信息里面的一些逻辑推断，比如穷的人就不能买得起豪宅豪车。最喜欢promote world model的是做机器视觉的人和做强化学习的人比如那个sutton，视觉是客观世界的第一手资料，所以做world model大概要从视觉开始。

不用ground truth，能不能学习到一定的现实世界的知识。我认为也是可能的，办法就是公理化。比如外界就告诉你太阳就是围绕地球转。当然现实社会这种琐碎的公里可能得有几百万条，然后在这些基础上，通过语言得关系来构建新的认识。

我并没有说chatGPT就已经是真正人工智能了，我另外那个帖子就是说他还缺少一些关键的组件，也许是情感模块，也许是中央判断模块。你说的人机交互也是个问题，deepmind那个哥们就说下一步希望5年之内用自然语言教AI打星际打到高手水平。

[verdelite]

grounding 是grounding的问题。我们现在讨论的不是chatGPT有没有学习到语言的long range structure。 我认为是有很大进步的，体现在就是他基本能够回答在点子上，而且似乎可以使用信息里面的一些逻辑推断，比如穷的人就不能买得起豪宅豪车。最喜欢promote world model的是做机器视觉的人和做强化学习的人比如那个sutton，视觉是客观世界的第一手资料，所以做world model大概要从视觉开始。

不用ground truth，能不能学习到一定的现实世界的知识。我认为也是可能的，办法就是公理化。比如外界就告诉你太阳就是围绕地球转。当然现实社会这种琐碎的公里可能得有几百万条，然后在这些基础上，通过语言得关系来构建新的认识。

我并没有说chatGPT就已经是真正人工智能了，我另外那个帖子就是说他还缺少一些关键的组件，也许是情感模块，也许是中央判断模块。你说的人机交互也是个问题，deepmind那个哥们就说下一步希望5年之内用自然语言教AI打星际打到高手水平。

感情就是个屁。感情是几个global 变量就能解决的事。

[grwang]

小明有两个弟弟 小明的弟弟的哥哥一定是小明吗？

不是。如果小明有两个弟弟，那么小明的弟弟的哥哥不一定是小明。他们可能是两个不同的人。



小明有一个弟弟， 一个妹妹， 小明的弟弟的哥哥一定是小明吗

是的，如果小明有一个弟弟和一个妹妹，那么小明的弟弟的哥哥一定是小明。因为小明是他们的哥哥。



那他的妹妹呢？

如果小明有一个弟弟和一个妹妹，那么他的妹妹的哥哥也是小明。因为小明是她们的哥哥。



他妹妹的哥哥一定是小明吗 ？

是的，如果一个人有一个弟弟和一个妹妹，那么他妹妹的哥哥一定是他。因为他是他妹妹的哥哥。



你错了

如果我的回答有误，请您详细解释并提供正确的答案。我会努力提高自己的知识水平，尽量回答您的问题。



小明的妹妹的哥哥也可能是小明的弟弟

是的，您说的对。如果小明有一个弟弟和一个妹妹，那么他妹妹的哥哥可能是他的弟弟。因为他的弟弟也是他妹妹的哥哥。

[Caravel]

小明有两个弟弟 小明的弟弟的哥哥一定是小明吗？

不是。如果小明有两个弟弟，那么小明的弟弟的哥哥不一定是小明。他们可能是两个不同的人。



小明有一个弟弟， 一个妹妹， 小明的弟弟的哥哥一定是小明吗

是的，如果小明有一个弟弟和一个妹妹，那么小明的弟弟的哥哥一定是小明。因为小明是他们的哥哥。



那他的妹妹呢？

如果小明有一个弟弟和一个妹妹，那么他的妹妹的哥哥也是小明。因为小明是她们的哥哥。



他妹妹的哥哥一定是小明吗 ？

是的，如果一个人有一个弟弟和一个妹妹，那么他妹妹的哥哥一定是他。因为他是他妹妹的哥哥。



你错了

如果我的回答有误，请您详细解释并提供正确的答案。我会努力提高自己的知识水平，尽量回答您的问题。



小明的妹妹的哥哥也可能是小明的弟弟

是的，您说的对。如果小明有一个弟弟和一个妹妹，那么他妹妹的哥哥可能是他的弟弟。因为他的弟弟也是他妹妹的哥哥。

这个例子不错，完全说明AI学习了其中的语义，不是光靠概率联想

[TheMatrix]

这个例子不错，完全说明AI学习了其中的语义，不是光靠概率联想

嗯。有推理。这就列害了。