新未名空间

hci 写了： 2024年 10月 17日 01:19 我无话可说了，难怪你这么不着边际。

你要针对我，起码也要了解一下我的人设呀，不能无的放矢。

forecasting 写了： 2024年 10月 17日 00:46 就看你这南郭先生兼神棍不顺眼，所以起意歼灭你！其他的就允许他们混口饭吃了，只要诚实不瞎吹就行。
是心理训练，不是学心理学。练习禅定还能提升飞行员素质提高安全性应急能力呢，你咋不说佛学也是飞行专业的必修课？

hci 写了： 2024年 10月 17日 00:48 还是那句老话，你屁都不懂，就少说两句。

搞了半天，你是个信佛的，原来如此。可能是个轮子，了解。

hci 写了： 2024年 10月 16日 23:31 AI之所以被认为可能，就是因为图灵机的计算能力就已经涵盖了人的智能所需要的表达力，否则搞人工智能是逻辑不通的。这是一个基本假设，并没有人反对这个。连认知心理学家也是认同的。

只有你这种屁都不懂的在反对。你以为啥情感动机之类就超出图灵机能模拟的范畴了，说明你屁都不懂，连你自己的专业，估计是理论计算机，这个行当是干什么你都不知道。说你蠢，你有什么话说？图灵机之上，还有啥？

人是个能力很低的动物。模拟人的智能并不是要造出个机器来，具有比图灵机更高的表达力，而是要造出具有与人类似能力的机器。

乔姆斯基对GenAI的评论是什么？GenAI能力太强了，什么都能学，学什么都是一样的，**所以**不是真正的AI。

hci 写了： 2023年 6月 2日 17:08 压缩除了香农信息的概念，还有一种算法压缩的概念，就是看产生这个数据的算法的最小长度，所谓的柯尔莫哥洛夫复杂度。这个的量是可能低于香农信息量的。可惜这只是理论上的，没法具体算，其不可计算性是一个定理。

智能=柯尔莫哥洛夫复杂度，所以，真正的智能，不是造物。不可能造出一个真正具有智能的东西。LeCun, Marcus, Chomsky等人是对的，其他鼓吹AGI的人都是错的。

我老的博文，讲工业界可以如何用GPT赚钱的，被拆成了两个文章，最近要在venturebeat和另一个杂志上发了，也算给AGI泼一点冷水。

forecasting 写了： 2024年 10月 17日 11:15 看看你前后矛盾，四川瓜娃子摆龙门阵的伎俩，还想忽悠人！

Chomsky和Hinton两个人互相攻讦，可瞄准的都不是对方，搞笑。你也鹦鹉学舌！

forecasting 写了： 2024年 10月 17日 11:04 四川瓜娃子hci（给你留点面子，不写出你汉字名字了 ）号称学心理学，竟然不懂得禅定和植物神经之间的关联，它是不是个大忽悠？

https://en.wikipedia.org/wiki/Autonomic_nervous_system

hci 写了： 2024年 10月 17日 11:52 我实名上网，光明磊落，不是你这种阴暗小人能理解的。

你这都那跟那呀？说话不着边际。摇头。

hci 写了： 2024年 10月 17日 11:29 有啥矛盾的。

人的智能分为元神与识神两类，前者自在天生，不是造物，也就是我说的＂真正的智能＂。后者依賴于身体，身死心灭，是可造的，所以＂人工智能＂是可能的。

两者的区别，不在于可计算性这种狹窄的概念，而在于主观能动性。我不认为＂主观能动性＂被形式化了，可能也不能被形式化。道可道，非常道。

不具备主观能动性的，没有意识的人工智能正是我们需要的。而那些号称要搞AGI，要造有意识的AGI的，不是蠢，就是騙，往往是二者皆有。

道行高深人的体验，都说元神是自在活潑的。这不是造物，而是来自太一，宇宙的本质：太一是个意识。

forecasting 写了： 2024年 10月 17日 11:59 这属于心理，你的无知让我惊叹！

forecasting 写了： 2024年 10月 17日 12:01 大家都来看，神汉的本相终于现形了。 。立此存照！

hci 写了： 2024年 10月 17日 11:29 有啥矛盾的。

人的智能分为元神与识神两类，前者自在天生，不是造物，也就是我说的＂真正的智能＂。后者依賴于身体，身死心灭，是可造的，所以＂人工智能＂是可能的。

两者的区别，不在于可计算性这种狹窄的概念，而在于主观能动性。我不认为＂主观能动性＂被形式化了，可能也不能被形式化。道可道，非常道。

不具备主观能动性的，没有意识的人工智能正是我们需要的。而那些号称要搞AGI，要造有意识的AGI的，不是蠢，就是騙，往往是二者皆有。

道行高深人的体验，都说元神是自在活潑的。这不是造物，而是来自太一，宇宙的本质：太一是个意识。

forecasting 写了： 2024年 10月 17日 12:22 让chatGPT来判定hci是不是大忽悠，神汉，截屏贴上来

hci 写了： 2024年 10月 14日 18:30 注意的简单概念，也就是其字面意思：一个特征被用在计算中的被重视程度，那些被提高了重视程度的，权重增加的，就是被注意了，其他的，就没被注意，甚至被压制了。这也是心理学里的注意的意思。

这种增加压制的产生来源，自然就有两种，一种是系统主动产生的，就是内源性注意，目前的AI还不会这个，是很有前途的研究方向，我这个talk也讲了，我也是世界上唯一这么说的。另一种，就是刺激本身带来的注意，外源性注意。transformer实现的，就是这种注意。本质上，这种注意的根源是刺激与刺激内在的相似性，相似性用矢量内积来实现计算。明白这个，基本原理就明白了。其他的都是数字结果规整化的细节，scale啊，softmax啊，等等。Note:不是相似性更大就更受注意，反之也是可能的。比如人类视觉，外源性注意其实主要是反的，相似度高的刺激，反而一般不容易产生外源性注意，就是不出众的东西不会引起注意。

Q是代表当前考察的输入符号在注意上的作用的矢量，与一个代表当前刺激情景的矢量K，两者的内积，在被规整之后的量，就是被选中的注意的索引，然后在代表注意变化量的V中去找到相应的变化量，让一些输入信号被重视，一些被忽视。最后，从这种被注意改变了的输入中，产生输出，这步与其他的多层知觉器一样。那这些QKV从哪里来的？训练的时候学习的，这个体系结构就定义了QKV这些网络层，自然其权重会被学出来。一套QKV， 就叫一个注意头。搞上多个这样的注意头,每个关注输入空间的不同部分，这就有了transformer。

就这。所以为啥说“attention is all you need"，因为transformer真就是这么点特色，没有循环, 没有卷积，比其他的网络结构，什么CNN， LSTM之类，简单多了。

从数学上说，为啥要学QKV这三个矩阵？没有任何道理。但是，从认知心理学角度，道理很清楚，就是我上面说的，这是用来实现外源性注意的一个最简单的机制。如果让人手写注意机制，也会有这么三个东西：当前輸入刺激在注意中的表征，当前场景的表征，当前场景应導致注意改变的量的表征，三者缺一不可。Q，K和V到底哪个是哪个，其实并不重要。所以上面也只是一种解释，也可以有其他说法。

hci 写了： 2024年 10月 17日 12:27 哈哈哈哈。

你太可爱了。我都舍不得暴打你了。

笑死我了。

心智水平还真是个幼儿，被欺負了，哭着找老师。

找的老师还是个机器人。哈哈哈。

博士了，博导了，心智发育水平还在幼儿园階段。这就是大问题。没有我老这样的来揭開真相，什么可能找到解决办法？

所以我说我在積陰德嘛。

FoxMe 写了： 2024年 10月 18日 16:30 “相似性用矢量内积来实现计算”：大致弄明白了，把相关程度高的放到一起，就是attention.

"不是相似性更大就更受注意，反之也是可能的": 这是transformer不具备的吗？

hci 写了： 2024年 10月 18日 16:57 tranformer也可以。

hci 写了： 2024年 10月 18日 16:57 tranformer也可以。

FoxMe 写了： 2024年 10月 18日 17:33 “反之也是可能的”：transformer怎么做的？展开说说。应该不是内积

forecasting 写了： 2024年 10月 18日 17:47 李洪志到！

hci 写了： 2024年 10月 18日 18:32 只用一层隐藏神经元就已经是universal function approximator了，transfomer里面那么多层，

forecasting 写了： 2024年 10月 18日 23:01 你这个神棍，连复述已有的结论都搞错，你自己再回头自己去看论文，古董级别的结论，你都不明白。真丢人！