这波AI技术有职业门槛，当前的码工老工人看不懂、学不会，只能被开除😩

[heteroclinic]

书觉得当代数学的进步就是用分析发现理解解释
非线性混沌鸡点等问题
据书所知的数论几百年不变扣那点东西
以至于瞎比们连吉布斯函数都咩支

[弃婴千枝]

矩阵数值计算换个名而已

还有稳定性理论，吸引子理论，，，，，

有些玩意，数学上一定要出现某种形式，才能发展出一套理论

唉

根文科生说不明白

[verdelite]

赋予AI突飞猛进的attention机制是什么时候提出来的？

你不要脸地自称老司机，又提出过什么AI新算法？

你不就是那种AI发达了就厚着脸皮往上凑的不要脸吗？

这破玩意儿，我老在2017年左右就提出来过。
方法：拿人脑和当时的pattern recognition比较一下，就能得出结论，AI需要attention。

[verdelite]

你该听听立党老师的课。ai基本上已经和统计与数学没什么关系了。

对。从2014年开始，就没关系了。

[弃婴千枝]

这破玩意儿，我老在2017年左右就提出来过。
方法：拿人脑和当时的pattern recognition比较一下，就能得出结论，AI需要attention。

属实

我佬早说了，智能就是关注细节的能力

[starbox]

attention是个心理学概念，有超过一百年历史了。我老的硕士论文就是做这个题目的，得了中国心理学会最佳毕业论文奖。attention是试图理解意识的关键，所以认知心理学教科书上，attention and consciousness总是放同一章节。

deep learning里面，用到attention也很久了。LSTM里面就有。transformer并不是发明attention的。

如我老的talk里面讲的一样，现在transformer里面实现的attention，是一种bottom-up attention，就是所谓的外源性注意。但更重要的一类注意，是内源性的，也就是从上至下的。现在的ML没有人做内源性注意。我老给大家提示一下，做这个，才会有突破。等我老的公司exit了，我也许会去找个教职来做这个。你们谁有兴趣的，也可以做。这个提示，算我积阴德。

原来你是搞心理学的文科生，那一切都解释通了。

不是制造八卦搬弄是非，

就是拿几个名词牵强附会

[starbox]

你该听听立党老师的课。ai基本上已经和统计与数学没什么关系了。

立党是你们这群被开除码工老工人的精神领袖？

看来垃圾有自聚集效应

[弃婴千枝]

你妈

中国的什么奖就是这么回事，你老板权力大而已

attention是个心理学概念，有超过一百年历史了。我老的硕士论文就是做这个题目的，得了中国心理学会最佳毕业论文奖。attention是试图理解意识的关键，所以认知心理学教科书上，attention and consciousness总是放同一章节。

deep learning里面，用到attention也很久了。LSTM里面就有。transformer并不是发明attention的。

如我老的talk里面讲的一样，现在transformer里面实现的attention，是一种bottom-up attention，就是所谓的外源性注意。但更重要的一类注意，是内源性的，也就是从上至下的。现在的ML没有人做内源性注意。我老给大家提示一下，做这个，才会有突破。等我老的公司exit了，我也许会去找个教职来做这个。你们谁有兴趣的，也可以做。这个提示，算我积阴德。

[hci]

这也太牽強了。

哈哈。碰瓷这个碰法，我老也是牛顿的第16代直傳第子。从数学心理学那支追遡上去的。可没有什么意义。

还是有关的。里边的微分是牛顿发明的

[hci]

是呀。可我要没做出点东西，我老板权力大也没用呀。

我说这个，是想说我对注意这个话题很熟，有独到见解而已。

比如我老一眼看出transformers 实现的是一种外源性注意，全世界没有第二个人这么说的。因为没有人有我这背景。有这个见解，下一步如何突破，就是显而易见的了。在读的CS博主生，可以与我讨论。

你妈

中国的什么奖就是这么回事，你老板权力大而已

[hci]

你不服有用么？

你就一文科生

[starbox]

碰瓷这个碰法，我老也是牛顿的第16代直傳第子。从数学心理学那支追遡上去的。可没有什么意义。

文科生碰瓷，就靠不要脸

[hci]

哈哈，你也不服？也没用呀。

文科生碰瓷，就靠不要脸

[coltzhao]

不是吧，这波AI虽然需要的数学有点，但是一点都不难。。。

一般的职位也就大一大二理工科水平。。。
又不是真的要你高维优化，设计根本的底层神经网络算法。。。

就是做一点局部的小优化而已。

[hci]

可不是么。这儿也就是几个生物和物理千老以为AI深不可测，笑死我了。

都说了，现在这波AI就是心理系写R的那些人的水平。

我的一个UIUC心理系毕业的写R的实习生，小留，男生，现在在John Hopkins计算机系作AP，就靠赶上这波AI。

你们不服也没有用呀。

Rosenbalt是学心理学的，Hinton也是学心理学的，都是你们眼里的文科生，你们理科生情何以堪？

哈哈。

藤校计算机系毕业的哀嚎找不到工作，心理系小留黄皮男反而作了计算机系发考题了。世界观有没有崩塌？哈哈。

我老上网，主要就是要开拓大家的视野，不要小圈子自嗨，哈哈。

不是吧，这波AI虽然需要的数学有点，但是一点都不难。。。

也就大一大二理工科水平。。。

[Caravel]

扯。

Walter Pitts是个天才，中学都没有读完的。但在同一个讨论班上，Von Neuman都像个白痴，不过Von Neuman会写文章，又有权势，把讨论的内容自己发了文章，所以我们现在的计算机叫von Neuman体系结构。

所以，说这些人不知道自己的理论进展会带来什么革命是鬼扯。搞反了。他们其实是过高估计了自己的理论的革命性。Walter Pitts通过生物实验，发现自己的理论假设是错的，达不到真正的生物的复杂度。最后郁郁寡欢，醺酒而死。

神经网络的单体原理都很简单，但是more is different, 现在的神经网络的尺度和以前完全不是一回事了。对于这种emergent物理学也没有什么办法

[Caravel]

有屁的技术门槛，500行SQL的事。

真正的门槛是电费。

还真是，Kaparthy的纯c++的llm只有2000来行，不需要depend on pytorch这些lib，速度能到一半左右。可以复现GPT2

[hci]

现在就是在胡吹什么emergent，与神学也没多大区别。说起来就是用电用多了就修炼出了神通一样，是不是？哈哈。

说神通都不信的，emergent倒信了，是不是也是世人皆傻的表现？

神经网络的单体原理都很简单，但是more is different, 现在的神经网络的尺度和以前完全不是一回事了。对于这种emergent物理学也没有什么办法

[starbox]

哈哈，你也不服？也没用呀。

文科生不要脸，天下无敌

[Caravel]

现在就是在胡吹什么emergent，与神学也没多大区别。说起来就是用电用多了就修炼出了神通一样，是不是？哈哈。

说神通都不信的，emergent倒信了，是不是也是世人皆傻的表现？

就是解释不了，目前的大模型还是不行，没有痛苦感和快感，有这些才能定义general cost function，是不是就是弗洛伊德的学说