其实我讲的这些，对心理系的同学，大都是符合他们理解的常理的。当时我讲完，我的师姐（其实是与我同年心理所硕士入学的，同一个导师，她是武大数学系本科，但她年龄比我大很多，所以我叫她师姐），现在是心理所的党委书记，说她唯一从我这学到的，是总算听我讲明白了“attention is all your need"一文里面的attention到底是啥意思。她说她问了计算所的很多人，都没讲明白，我一讲，她就明白了，原来就是心理学里面的attention，只不过是外源性的那种。我老的硕士论文，就是研究内源性和外源性注意在视觉中的作用的，题目就叫《内源性和外源性视觉选择性注意》，哈哈。所以我一读transformer这个文，就看清楚了它的本质。而学计算机的人只知道公式，不知道那到底是在干什么，用处是什么，所以也不能给别人讲明白，哈哈。我老的厉害之处，就在于总能把复杂的技术问题，用简单的语言讲得让一个聪明人茅塞顿开。我的清华学霸老婆，当年是我助教班上的学生，就是这么看上我的。哈哈。所以我坚信，一个东西，如果不能给一个聪明人讲明白，说明自己还不明白。其实“明白”的本意，就是化繁为简。老子曰，大道至简。
深学要在理论上进一步突破，就需要有心理学学生力所不能及的数学，具体我也给你们说了，就是information theory on geometric structures。这个我老碰过，力不能及，走不下去了。我老当年从烂校information science法考题一举跳到CS殿堂级研究机构，就是因为认识到了这个方向，一个talk，就语惊四座，立马给了我一个offer. 这个领域，唯一相关的现有研究，就是日本数学家Amari搞的information geometry（也就LSTM发明人争论的发明backprop的那位日本数学家）。但我觉得他搞得过于复杂了，其实应该反过来，geometric information theory会更简单，也才是我们需要的。但用到的数学工具，应该差不多。我以前请教过一个同事，中国人，数学博士专门研究information geometry的，他说这个很难。既然他都这么说，我就放弃了。他是码工，不过写码很烂，跟我老不能比。他当年被招来的原因，也是因为招他的人，一个印度人，觉得information geometry有前途。这位后来因为发明sentiment analysis这个领域，成了ibm fellow，他也是学数学出身的，其实是数学世家，他的祖辈是最早发现阿马努金，介绍给哈代的。
其实我讲的这些，对心理系的同学，大都是符合他们理解的常理的。当时我讲完，我的师姐（其实是与我同年心理所硕士入学的，同一个导师，她是武大数学系本科，但她年龄比我大很多，所以我叫她师姐），现在是心理所的党委书记，说她唯一从我这学到的，是总算听我讲明白了“attention is all your need"一文里面的attention到底是啥意思。她说她问了计算所的很多人，都没讲明白，我一讲，她就明白了，原来就是心理学里面的attention，只不过是外源性的那种。我老的硕士论文，就是研究内源性和外源性注意在视觉中的作用的，题目就叫《内源性和外源性视觉选择性注意》，哈哈。所以我一读transformer这个文，就看清楚了它的本质。而学计算机的人只知道公式，不知道那到底是在干什么，用处是什么，所以也不能给别人讲明白，哈哈。我老的厉害之处，就在于总能把复杂的技术问题，用简单的语言讲得让一个聪明人茅塞顿开。我的清华学霸老婆，当年是我助教班上的学生，就是这么看上我的。哈哈。所以我坚信，一个东西，如果不能给一个聪明人讲明白，说明自己还不明白。其实“明白”的本意，就是化繁为简。老子曰，大道至简。
深学要在理论上进一步突破，就需要有心理学学生力所不能及的数学，具体我也给你们说了，就是information theory on geometric structures。这个我老碰过，力不能及，走不下去了。我老当年从烂校information science法考题一举跳到CS殿堂级研究机构，就是因为认识到了这个方向，一个talk，就语惊四座，立马给了我一个offer. 这个领域，唯一相关的现有研究，就是日本数学家Amari搞的information geometry（也就LSTM发明人争论的发明backprop的那位日本数学家）。但我觉得他搞得过于复杂了，其实应该反过来，geometric information theory会更简单，也才是我们需要的。但用到的数学工具，应该差不多。我以前请教过一个同事，中国人，数学博士专门研究information geometry的，他说这个很难。既然他都这么说，我就放弃了。他是码工，不过写码很烂，跟我老不能比。他当年被招来的原因，也是因为招他的人，一个印度人，觉得information geometry有前途。这位后来因为发明sentiment analysis这个领域，成了ibm fellow，他也是学数学出身的，其实是数学世家，他的祖辈是最早发现阿马努金，介绍给哈代的。
其实我讲的这些，对心理系的同学，大都是符合他们理解的常理的。当时我讲完，我的师姐（其实是与我同年心理所硕士入学的，同一个导师，她是武大数学系本科，但她年龄比我大很多，所以我叫她师姐），现在是心理所的党委书记，说她唯一从我这学到的，是总算听我讲明白了“attention is all your need"一文里面的attention到底是啥意思。她说她问了计算所的很多人，都没讲明白，我一讲，她就明白了，原来就是心理学里面的attention，只不过是外源性的那种。我老的硕士论文，就是研究内源性和外源性注意在视觉中的作用的，题目就叫《内源性和外源性视觉选择性注意》，哈哈。所以我一读transformer这个文，就看清楚了它的本质。而学计算机的人只知道公式，不知道那到底是在干什么，用处是什么，所以也不能给别人讲明白，哈哈。我老的厉害之处，就在于总能把复杂的技术问题，用简单的语言讲得让一个聪明人茅塞顿开。我的清华学霸老婆，当年是我助教班上的学生，就是这么看上我的。哈哈。所以我坚信，一个东西，如果不能给一个聪明人讲明白，说明自己还不明白。其实“明白”的本意，就是化繁为简。老子曰，大道至简。
深学要在理论上进一步突破，就需要有心理学学生力所不能及的数学，具体我也给你们说了，就是information theory on geometric structures。这个我老碰过，力不能及，走不下去了。我老当年从烂校information science法考题一举跳到CS殿堂级研究机构，就是因为认识到了这个方向，一个talk，就语惊四座，立马给了我一个offer. 这个领域，唯一相关的现有研究，就是日本数学家Amari搞的information geometry（也就LSTM发明人争论的发明backprop的那位日本数学家）。但我觉得他搞得过于复杂了，其实应该反过来，geometric information theory会更简单，也才是我们需要的。但用到的数学工具，应该差不多。我以前请教过一个同事，中国人，数学博士专门研究information geometry的，他说这个很难。既然他都这么说，我就放弃了。他是码工，不过写码很烂，跟我老不能比。他当年被招来的原因，也是因为招他的人，一个印度人，觉得information geometry有前途。这位后来因为发明sentiment analysis这个领域，成了ibm fellow，他也是学数学出身的，其实是数学世家，他的祖辈是最早发现阿马努金，介绍给哈代的。
https://pure.mpg.de/rest/items/item_238 ... 63/content
Three Levels of Communications Problems
LEVEL A. How accurately can the symbols of communication be transmitted? (The technical problem.)
LEVEL B. How precisely do the transmitted symbols convey the desired meaning? (The semantic problem.)
LEVEL C. How effectively does the received meaning affect conduct in the desired way? (The effectiveness problem.)
Selective attention in humans had been well studied in neuroscience and cognitive psychology.[3] In 1953, Colin Cherry studied selective attention in the context of audition, known as the cocktail party effect.[4]
其实我讲的这些，对心理系的同学，大都是符合他们理解的常理的。当时我讲完，我的师姐（其实是与我同年心理所硕士入学的，同一个导师，她是武大数学系本科，但她年龄比我大很多，所以我叫她师姐），现在是心理所的党委书记，说她唯一从我这学到的，是总算听我讲明白了“attention is all your need"一文里面的attention到底是啥意思。她说她问了计算所的很多人，都没讲明白，我一讲，她就明白了，原来就是心理学里面的attention，只不过是外源性的那种。我老的硕士论文，就是研究内源性和外源性注意在视觉中的作用的，题目就叫《内源性和外源性视觉选择性注意》，哈哈。所以我一读transformer这个文，就看清楚了它的本质。而学计算机的人只知道公式，不知道那到底是在干什么，用处是什么，所以也不能给别人讲明白，哈哈。我老的厉害之处，就在于总能把复杂的技术问题，用简单的语言讲得让一个聪明人茅塞顿开。我的清华学霸老婆，当年是我助教班上的学生，就是这么看上我的。哈哈。所以我坚信，一个东西，如果不能给一个聪明人讲明白，说明自己还不明白。其实“明白”的本意，就是化繁为简。老子曰，大道至简。
深学要在理论上进一步突破，就需要有心理学学生力所不能及的数学，具体我也给你们说了，就是information theory on geometric structures。这个我老碰过，力不能及，走不下去了。我老当年从烂校information science法考题一举跳到CS殿堂级研究机构，就是因为认识到了这个方向，一个talk，就语惊四座，立马给了我一个offer. 这个领域，唯一相关的现有研究，就是日本数学家Amari搞的information geometry（也就LSTM发明人争论的发明backprop的那位日本数学家）。但我觉得他搞得过于复杂了，其实应该反过来，geometric information theory会更简单，也才是我们需要的。但用到的数学工具，应该差不多。我以前请教过一个同事，中国人，数学博士专门研究information geometry的，他说这个很难。既然他都这么说，我就放弃了。他是码工，不过写码很烂，跟我老不能比。他当年被招来的原因，也是因为招他的人，一个印度人，觉得information geometry有前途。这位后来因为发明sentiment analysis这个领域，成了ibm fellow，他也是学数学出身的，其实是数学世家，他的祖辈是最早发现阿马努金，介绍给哈代的。
