Hinton的博士导师

[hci]

研究高维空间上的概率分布，进而研究空间信息论，我看就是很明显的方向。

了解了一下，信息几何就是用微分几何来研究概率，信息等等，感觉是有点用力过度。

比如这个Fisher information,是统计和信息论里的常见概念，怎么就变成黎曼流形的度量了？

https://en.wikipedia.org/wiki/Fisher_information_metric

在多元情况下，Fisher information是一个矩阵。是不是用这个矩阵来定义内积，就变成度量了？

[hci]

人脑是个信息處理系统，这是主流认知心理学思想。

认知心理学走上歧途，是kahleman的诺奖工作導致的，把人说成了非理性的怪物。那个工作我仔細研究过，我认为是个错误的工作。

概率空间弄错了，就全盘皆错，方法结果都是错的。

人是绝对理性的，在他考虑的心理空间之内。心理学的主要任务，是刻畫一个人的心理空间。这个搞明白了，一切问题可解。这就是我的心理学思想。

多谢回答，我要仔细阅读。经典的信息论不考虑人的因素，你的工作把知觉和信息论联系上了，很有意思。

其实信息论的创始人也意识到最终信息要与智能挂钩，提出了三个层次，但是他们只研究了第一层。

https://pure.mpg.de/rest/items/item_238 ... 63/content
Three Levels of Communications Problems
LEVEL A. How accurately can the symbols of communication be transmitted? (The technical problem.)
LEVEL B. How precisely do the transmitted symbols convey the desired meaning? (The semantic problem.)
LEVEL C. How effectively does the received meaning affect conduct in the desired way? (The effectiveness problem.)

第一层的技术问题已经研究得差不多了，第二层的语意信息论是目前需要突破的。

[forecasting]

知觉英文是perception

直觉是intuition

perception是感知。最初的人工神经网络有叫感知机的。

[forecasting]

多谢回答，我要仔细阅读。经典的信息论不考虑人的因素，你的工作把知觉和信息论联系上了，很有意思。

其实信息论的创始人也意识到最终信息要与智能挂钩，提出了三个层次，但是他们只研究了第一层。

https://pure.mpg.de/rest/items/item_238 ... 63/content
Three Levels of Communications Problems
LEVEL A. How accurately can the symbols of communication be transmitted? (The technical problem.)
LEVEL B. How precisely do the transmitted symbols convey the desired meaning? (The semantic problem.)
LEVEL C. How effectively does the received meaning affect conduct in the desired way? (The effectiveness problem.)

第一层的技术问题已经研究得差不多了，第二层的语意信息论是目前需要突破的。

语义，不是语意。

Level B不可能达到，只要信息还是语法意义上的。Kolmogorov Complexity--KC应该包含了语义，就是那程序，但因为程序可能为无限长，就弄得没意义。你想办法解决这个问题吧。理论上KC是度量个体信息的量。

Level C，那帮心理学家都弄不明白，还指望定量描述? 我老很看不起这帮瞎搞的，包括认知，神经，还有AI。他们都在瞎摸索。

[forecasting]

这么说把，深学发展到现在，里面用到的techinique，就没有超出一个认知心理学基础扎实的学生学到的东西的范畴的，都是觉得自然的东西。

深学要在理论上进一步突破，就需要有心理学学生力所不能及的数学，具体我也给你们说了，就是information theory on geometric structures。这个我老碰过，力不能及，走不下去了。我老当年从烂校information science法考题一举跳到CS殿堂级研究机构，就是因为认识到了这个方向，一个talk，就语惊四座，立马给了我一个offer. 这个领域，唯一相关的现有研究，就是日本数学家Amari搞的information geometry（也就LSTM发明人争论的发明backprop的那位日本数学家）。但我觉得他搞得过于复杂了，其实应该反过来，geometric information theory会更简单，也才是我们需要的。但用到的数学工具，应该差不多。我以前请教过一个同事，中国人，数学博士专门研究information geometry的，他说这个很难。既然他都这么说，我就放弃了。他是码工，不过写码很烂，跟我老不能比。他当年被招来的原因，也是因为招他的人，一个印度人，觉得information geometry有前途。这位后来因为发明sentiment analysis这个领域，成了ibm fellow，他也是学数学出身的，其实是数学世家，他的祖辈是最早发现阿马努金，介绍给哈代的。

Information Geometry就是把Fisher matrix当作黎曼度规，然后就定义了一个黎曼流形，于是一个信息论的问题就可以当作几何问题解决。象你这种肚子里只有fart干货的，自然消化不了。

对了，智能就是人类智能，如果人工智能没有七情六欲如恐惧，快乐，思念，愤怒等等，是不可能达到人类智能的。智能和情感，情绪的关联没解决，瞎吹AGI，简直做梦。AI没有突破Church-Turing thesis所定义的可计算性，不可能实现人类智能。都在这里天马行空，妄想，没意思。

[forecasting]

了解了一下，信息几何就是用微分几何来研究概率，信息等等，感觉是有点用力过度。

比如这个Fisher information,是统计和信息论里的常见概念，怎么就变成黎曼流形的度量了？

https://en.wikipedia.org/wiki/Fisher_information_metric

在多元情况下，Fisher information是一个矩阵。是不是用这个矩阵来定义内积，就变成度量了？

不是定义内积，是把Fisher matrix当作黎曼度规，然后就定义了一个黎曼流形，于是一个信息论的问题就可以当作几何问题解决。

[forecasting]

人脑是个信息處理系统，这是主流认知心理学思想。

认知心理学走上歧途，是kahleman的诺奖工作導致的，把人说成了非理性的怪物。那个工作我仔細研究过，我认为是个错误的工作。

概率空间弄错了，就全盘皆错，方法结果都是错的。

人是绝对理性的，在他考虑的心理空间之内。心理学的主要任务，是刻畫一个人的心理空间。这个搞明白了，一切问题可解。这就是我的心理学思想。

你天天空间空间的，知道数学上的空间是啥意思吗？你心理学上的空间简直就是顺口瞎说。

[hci]

数学本身，就是心理的产物。这是主流数学哲学思想，你落伍了。

数学动不动就喜欢把一切变成空间来研究，是心理空间存在的一个證據。

我那个文章说了，心理学里的心理空间说，是把心理空间实在化的一种理论。我的理论属于这种，其他这个领域的心理学家也是。仔细读我那篇文章，这些思想，都有涉及。

当然了，西方数学这个特征更明显，中国数学更喜欢算法，说明认知并不是单一表征的。我的talk也提到了。LLM是纯几何表征，这是不够的。

你天天空间空间的，知道数学上的空间是啥意思吗？你心理学上的空间简直就是顺口瞎说。

[hci]

知觉，这是perception的官方中文翻译，是心理学专业名词。

知觉之下，有感觉，sensation，也是心理学专业名词。

两者的研究方法都不同，是完全不同的专业，发表在完全不同的学术刊物上。

感觉，一般用心理物理学的方法研究，有一套自己的形式化理论。其应用也比较成熟，比如色度学，等等，有些都不在心理学之内了。

知觉，是心理学里的很大的一个研究领域，研究方法也是百花齐放。搞什么的都有。Rosenblatt，Hinton这些人，都是这个领域的，研究方法是建立计算机模型。我上面那个文，虽然是研究动作控制的，也属于知觉研究的大范畴，代表刊物就是journal of experimental psychology： human perception and performance。我的方法是建立数学模型。

知觉之上，是更大的研究领域，统称为认知的：学习，记忆，注意，知识表征，意识，等等，这是大多数认知心理学家工作的领域。

认知之外，有情感，动机，人格，社会，等等，各种专业。

更有生理，神经，等等，与生物相关的专业。

还有方法论的专业，心理测量，数学心理学。

以上，是心理学的基础专业。处在鄙視链的高端。

被鄙视的，是应用心理学专业：工业，临床，教育，等等。工业心理学又分为工程和管理两大类。

学工程心理学的，经常到CS工作，比如我和我的师弟师妹们，也常在工业工程工作，比如我的一个师弟在清华工业工程系任教。

总之，心理学是一级学科，门类众多，干什么的都有，不能一概而论。

perception是感知。最初的人工神经网络有叫感知机的。

[Caravel]

数学本身，就是心理的产物。这是主流数学哲学思想，你落伍了。

数学动不动就喜欢把一切变成空间来研究，是心理空间存在的一个證據。

我那个文章说了，心理学里的心理空间说，是把心理空间实在化的一种理论。我的理论属于这种，其他这个领域的心理学家也是。仔细读我那篇文章，这些思想，都有涉及。

当然了，西方数学这个特征更明显，中国数学更喜欢算法，说明认知并不是单一表征的。我的talk也提到了。LLM是纯几何表征，这是不够的。

数学可能是有一定的主观性。

在讨论物理是有理还是实数的帖子里，我意识到了有理数和实数其实都可能构造一个可以解释物理现象的理论，但是实数理论要简洁优美很多。

[FoxMe]

属实。感觉他根本不上路子，还在这里装蒜。人工智能需要多学科的融合。

数学本身，就是心理的产物。这是主流数学哲学思想，你落伍了。

数学动不动就喜欢把一切变成空间来研究，是心理空间存在的一个證據。

我那个文章说了，心理学里的心理空间说，是把心理空间实在化的一种理论。我的理论属于这种，其他这个领域的心理学家也是。仔细读我那篇文章，这些思想，都有涉及。

当然了，西方数学这个特征更明显，中国数学更喜欢算法，说明认知并不是单一表征的。我的talk也提到了。LLM是纯几何表征，这是不够的。

[forecasting]

属实。感觉他根本不上路子，还在这里装蒜。人工智能需要多学科的融合。

看看自己懂啥，AI不懂，数论没有入门，真的不是装蒜？
反正我不会弄不懂information geometry里的Fisher matrix就是黎曼度量，胡扯什么内积。说出这话来，都没脸见人。
心理学就不被认为是科学，还“多学科融合”。搞笑。Hinton搞的那个叫认知科学或者脑科学，其一条技术路线即是以Artificial Neural Net 或等价的计算机模拟人的智能，没人承认自己是在做心理学。先搞清楚基本知识再来装蒜！

[forecasting]

知觉，这是perception的官方中文翻译，是心理学专业名词。

知觉之下，有感觉，sensation，也是心理学专业名词。

两者的研究方法都不同，是完全不同的专业，发表在完全不同的学术刊物上。

感觉，一般用心理物理学的方法研究，有一套自己的形式化理论。其应用也比较成熟，比如色度学，等等，有些都不在心理学之内了。

知觉，是心理学里的很大的一个研究领域，研究方法也是百花齐放。搞什么的都有。Rosenblatt，Hinton这些人，都是这个领域的，研究方法是建立计算机模型。我上面那个文，虽然是研究动作控制的，也属于知觉研究的大范畴，代表刊物就是journal of experimental psychology： human perception and performance。我的方法是建立数学模型。

知觉之上，是更大的研究领域，统称为认知的：学习，记忆，注意，知识表征，意识，等等，这是大多数认知心理学家工作的领域。

认知之外，有情感，动机，人格，社会，等等，各种专业。

更有生理，神经，等等，与生物相关的专业。

还有方法论的专业，心理测量，数学心理学。

以上，是心理学的基础专业。处在鄙視链的高端。

被鄙视的，是应用心理学专业：工业，临床，教育，等等。工业心理学又分为工程和管理两大类。

学工程心理学的，经常到CS工作，比如我和我的师弟师妹们，也常在工业工程工作，比如我的一个师弟在清华工业工程系任教。

总之，心理学是一级学科，门类众多，干什么的都有，不能一概而论。

Perceptiion在AI就翻译成感知。Artificial Neural Net就是仿生，就像蚁群算法一样，跟心理学有fart关系！blowhard

心理学空间还弄概率空间？你知道啥是概率空间？

[forecasting]

数学本身，就是心理的产物。这是主流数学哲学思想，你落伍了。

数学动不动就喜欢把一切变成空间来研究，是心理空间存在的一个證據。

我那个文章说了，心理学里的心理空间说，是把心理空间实在化的一种理论。我的理论属于这种，其他这个领域的心理学家也是。仔细读我那篇文章，这些思想，都有涉及。

当然了，西方数学这个特征更明显，中国数学更喜欢算法，说明认知并不是单一表征的。我的talk也提到了。LLM是纯几何表征，这是不够的。

你就瞎扯吧，你对比一下数学上的几个空间的概念和你所谓的心理空间看看再来瞎说！前提是你得懂啥是数学里的空间，比如概率空间，函数空间，模空间等等。不然胡扯得无边无际了。
你还理论，你还让 人读你那有fart干货的文章，自我推荐，不羞吗？真好玩。representation是表示，搞什么表征，还LLM是几何表征，啥叫几何表示或者表征，你先弄明白再说！

[forecasting]

数学本身，就是心理的产物。这是主流数学哲学思想，你落伍了。

当然了，西方数学这个特征更明显，中国数学更喜欢算法，说明认知并不是单一表征的。我的talk也提到了。LLM是纯几何表征，这是不够的。

你懂数学哲学或者主流数学哲学思想？你要笑死我，真会拿大词吓唬人。你随便说几个做数学哲学的主要人物或者他们的文章？搞笑！还说别人落伍，你连起码的数学和数学哲学都不懂，竟然说别人落伍。你说相声的吧？

“西方数学这个特征更明显，中国数学更喜欢算法”，连起码的知识都没有，就知道云山雾沼。你读过基本中国数学或者数学史，知道起码的西方数学或者数学史吗？回家去待着！

[hci]

你屁都不懂，就少说两句。

Perceptiion在AI就翻译成感知。Artificial Neural Net就是仿生，就像蚁群算法一样，跟心理学有fart关系！blowhard

心理学空间还弄概率空间？你知道啥是概率空间？

[hci]

我说的都是干货，你连基本名词都一团浆糊，还有脸胡搅蛮缠。表征，知觉，这些都是心理学术语，有固定的翻译方法，你不懂听着就行了。你乱翻译，只能说明你孤陋寡闻。OK？

我出国之后接触到的术语，就不知道应该如何翻译成中文了，所以这些词都写英文，比如configuration space，我不知道国内如何翻译，就不翻译。这才是严谨的态度。

你懂啥？说说看？目前还没发现你懂任何东西。

你就瞎扯吧，你对比一下数学上的几个空间的概念和你所谓的心理空间看看再来瞎说！前提是你得懂啥是数学里的空间，比如概率空间，函数空间，模空间等等。不然胡扯得无边无际了。
你还理论，你还让 人读你那有fart干货的文章，自我推荐，不羞吗？真好玩。representation是表示，搞什么表征，还LLM是几何表征，啥叫几何表示或者表征，你先弄明白再说！

[hci]

AI之所以被认为可能，就是因为图灵机的计算能力就已经涵盖了人的智能所需要的表达力，否则搞人工智能是逻辑不通的。这是一个基本假设，并没有人反对这个。连认知心理学家也是认同的。

只有你这种屁都不懂的在反对。你以为啥情感动机之类就超出图灵机能模拟的范畴了，说明你屁都不懂，连你自己的专业，估计是理论计算机，这个行当是干什么你都不知道。说你蠢，你有什么话说？图灵机之上，还有啥？

人是个能力很低的动物。模拟人的智能并不是要造出个机器来，具有比图灵机更高的表达力，而是要造出具有与人类似能力的机器。

乔姆斯基对GenAI的评论是什么？GenAI能力太强了，什么都能学，学什么都是一样的，**所以**不是真正的AI。

Information Geometry就是把Fisher matrix当作黎曼度规，然后就定义了一个黎曼流形，于是一个信息论的问题就可以当作几何问题解决。象你这种肚子里只有fart干货的，自然消化不了。

对了，智能就是人类智能，如果人工智能没有七情六欲如恐惧，快乐，思念，愤怒等等，是不可能达到人类智能的。智能和情感，情绪的关联没解决，瞎吹AGI，简直做梦。AI没有突破Church-Turing thesis所定义的可计算性，不可能实现人类智能。都在这里天马行空，妄想，没意思。

[randomatrices]

这一句点睛之笔，好，但不见得就正确，但即使人的智能不仅仅是图灵机所能表达的，人工智能还是可以搞的嘛。
人的智能能跳出单纯公理系统之外而得到真理，这点图灵机就不具备。有个名科普作家和学者穷毕生所想认为人的智能意识只是一个strange loop, 但人能跳出loop之外，这一点图灵机不具备。

AI之所以被认为可能，就是因为图灵机的计算能力就已经涵盖了人的智能所需要的表达力，否则搞人工智能是逻辑不通的。这是一个基本假设，并没有人反对这个。连认知心理学家也是认同的。

[hci]

我可没说这个假设是正确的。

但是，这个基本假设是整个AI的基础，是不言的公理。只有forecasting这种知识面狭窄，只知道读死书的不知道。

相反，我认为这个假设是错误的。这就是为啥我信道教，区分元神与识神。元神不是造物，但识神可造。AI的目的就是造出具有识神的机器奴隶，把人从一些劳动中解放出来。元神与识神的根本区别，就是所谓的主观能动性，后者没有。

这一句点睛之笔，好，但不见得就正确，但即使人的智能不仅仅是图灵机所能表达的，人工智能还是可以搞的嘛。
人的智能能跳出单纯公理系统之外而得到真理，这点图灵机就不具备。有个名科普作家和学者穷毕生所想认为人的智能意识只是一个strange loop, 但人能跳出loop之外，这一点图灵机不具备。