Diffusion Model 最近很火，谁谈谈？技术层面，哲学层面？

[弃婴千枝]

其实量子隧穿和经典隧穿的数学是一模一样

区别只是噪声起源

量子力学模棱两可地认为噪声是内禀产生的

fokker planck认为噪声是外界强加的

就这点区别，别的毫无差异

不存在量子隧穿。

经典隧穿就是大量粒子的统计动力学。

[hci]

原生力，次生力，有意思的说法。

不过人类的智能可能就是原生力。这符合意本论。

人工智能，要实现类似的功能，可能也只能用几何方法来描述题目要求。用几何方法来描述智能，自打逻辑被赶下智能的神坛，应该算是学界主流思维了，这不是什么新事物。

至于实现，倒不一定要用几何方法。

他们说的conformal，也是属于题目要求。因为智能如果被认为是反映现实才能工作，那内部表征就需要保持现实的invariant，conformal就这样出来了。

看到没有，心理比物理复杂，因为心理有两个世界，物理只有一个。

你还知道bundle，它们连bundle都不知道，

另外，几何方法适合于原生力，不适合次生力，好多人吐沫横飞唠叨了半天，还不明白这个道理

套用最近流行的观点，叫做emergent

原生力是干净的，emergent是脏的，不可能用简洁的几何方法，什么conformal field更是胡说八道，即使最纯净的原生力---电磁场，都不是conformal的，世界上根本就没有conformal的玩意

关于emergent，比如最纯粹的牛顿流体力学，就不能用几何的方法来导出，流体力学跟几何毫无关系

[FoxMe]

我手头这本，书名就叫Probabilities on Algebraic Stuctures, by Ulf Grenander. first published in 1963.

多谢。噢，是研究李群，巴拿赫空间之类的概率论。Haar measure是一个例子。其实布朗运动应该用函数空间上的概率论来研究，但是一般书上只用R^n马马虎虎对付。这个方向是对的。

[TheMatrix2]

它的解释是正确的，

80年代在非线性领域有大量研究，fokker planck方程外加噪声驱动，即使噪声的最大振幅小于势垒，粒子也有可能跳出势垒

这叫经典隧穿，对应量子隧穿

你的主场是物理，啥都往物理里拉。:)

[TheMatrix2]

你还知道bundle，它们连bundle都不知道，

另外，几何方法适合于原生力，不适合次生力，好多人吐沫横飞唠叨了半天，还不明白这个道理

套用最近流行的观点，叫做emergent

原生力是干净的，emergent是脏的，不可能用简洁的几何方法，什么conformal field更是胡说八道，即使最纯净的原生力---电磁场，都不是conformal的，世界上根本就没有conformal的玩意

关于emergent，比如最纯粹的牛顿流体力学，就不能用几何的方法来导出，流体力学跟几何毫无关系

原生力简单，物体少，可以用n体的方法研究。emergence复杂，背景是稠密，局部是emergence，要用场来研究，场可以看成一个稠密的东西。

不过这些和人工智能关系不大。

[Caravel]

原生力简单，物体少，可以用n体的方法研究。emergence复杂，背景是稠密，局部是emergence，要用场来研究，场可以看成一个稠密的东西。

不过这些和人工智能关系不大。

big model vs small model，so far科学的成功在于把现象reduce成一个几个参数的模型，牛二定律3个参数，很简洁，但是现代物理越来越复杂，标准模型19个参数。AI则开启了一个新的天地，现在的大语言模型，有上千亿个参数，就算可以简化一点那也要billion级别，说明要表征自然语言这样的复杂现象，需要大量的参数，不是一个简化的20参数个模型可以刻画的。

顾险峰也好，hci也好，想搞一个简单的模型就把AI描述了，我认为是不可能的。

[弃婴千枝]

属实

完全不可能，

都是瞎套现代数学物理方法，却而忘记了现代数学物理方法的应用场景

就是最简单的问题，

丫的伟大理论为啥要选用{x,y}=iz而不是[x,y]=iz？

谁也不知道

big model vs small model，so far科学的成功在于把现象reduce成一个几个参数的模型，牛二定律3个参数，很简洁，但是现代物理越来越复杂，标准模型19个参数。AI则开启了一个新的天地，现在的大语言模型，有上千亿个参数，就算可以简化一点那也要billion级别，说明要表征自然语言这样的复杂现象，需要大量的参数，不是一个简化的20参数个模型可以刻画的。

顾险峰也好，hci也好，想搞一个简单的模型就把AI描述了，我认为是不可能的。

[xy18]

边界清晰，就是卷积的结果，ML就擅长这个，这有啥奇怪的，
跟小孩见了大人鸡巴似的，

嗯，是这样的。

它能得到边界清晰的图像，你不觉得神奇吗？

[TheMatrix2]

big model vs small model，so far科学的成功在于把现象reduce成一个几个参数的模型，牛二定律3个参数，很简洁，但是现代物理越来越复杂，标准模型19个参数。AI则开启了一个新的天地，现在的大语言模型，有上千亿个参数，就算可以简化一点那也要billion级别，说明要表征自然语言这样的复杂现象，需要大量的参数，不是一个简化的20参数个模型可以刻画的。

顾险峰也好，hci也好，想搞一个简单的模型就把AI描述了，我认为是不可能的。

我同意。

数学分两种，一种是抽象简化助记的数学，比如把麦克斯韦四个方程写成两个，符号不超过10个字符。这就是简化抽象助记的数学。

还有一种是帮助计算的数学，复杂到人算不了的，它帮你算，它帮你近似，帮你粗粒化，帮你找出主要成分。AI如果需要新数学应该是这种。

[hci]

不要以为现在这些大模型就是对的。这些模型，都是sequence to sequence的mapping，其实是记忆机制。并没有理解在其中。其实用价值，和投入比起来，很微不足道。而且这些东西，都是一出来就很快被白菜化，不能成为商业上的抓手。

上面我都说了，现在的实用项目，都还是要以人类知识为主，因为里面有真正的理解，可以灵活使用。而人们以为是AI的东西，其实不能很好用，只能起辅助作用。这些大模型，目前主要有两个用处，一个是用来做传统建模的特征，二是用来做相似度搜索。这就是工业界的现实，我希望小朋友们不要被误导了，会影响找工作。不要上来就说“我对深学算法很有兴趣， blah blah“， 这会大大降低你的求职成功率，除非你是在NIPS发了很多文章的。但需要那样人的地方，其实很少。切记。

认为自然语言很复杂，其实也是错误的。自然语言的单个概念，都是很简单的，心理学里面所谓的mental model，都是很简单的模型，不用很多参数。很多场景叠加在一起，也不过是简单重复而已，并不增加什么复杂度。以前以为逻辑就够了，逻辑是不够，几何也许可以。概念之间的关系，也不是那么复杂。你看看任何知识图，里面的attribute，就那么多个，绝不会上billion级别。这就已经告诉我们，现在这些模型是很wasteful的。

这么说吧，如果Vannevar Bush还在世，他在上一个AI冬天干掉AI用的的理由，其实他现在可以照样再说一遍："It is just clever programming"， 也就是“滚，这儿哪有什么智能，不要来骗老子的钱”。哈哈。可惜，美帝衰落了，那样靠谱的管理者，现在已不存在。现在的管理者，是屁精交通部长这种。哈哈。

big model vs small model，so far科学的成功在于把现象reduce成一个几个参数的模型，牛二定律3个参数，很简洁，但是现代物理越来越复杂，标准模型19个参数。AI则开启了一个新的天地，现在的大语言模型，有上千亿个参数，就算可以简化一点那也要billion级别，说明要表征自然语言这样的复杂现象，需要大量的参数，不是一个简化的20参数个模型可以刻画的。

顾险峰也好，hci也好，想搞一个简单的模型就把AI描述了，我认为是不可能的。

[xy18]

基本同意你的观点，现在很多搞ML的都不懂很多数学，更不懂物理，
但是现代ML取得的成果，也不应该贬低，it's much more than clever programming，

不要以为现在这些大模型就是对的。这些模型，都是sequence to sequence的mapping，其实是记忆机制。并没有理解在其中。其实用价值，和投入比起来，很微不足道。而且这些东西，都是一出来就很快被白菜化，不能成为商业上的抓手。

上面我都说了，现在的实用项目，都还是要以人类知识为主，因为里面有真正的理解，可以灵活使用。而人们以为是AI的东西，其实不能很好用，只能起辅助作用。这些大模型，目前主要有两个用处，一个是用来做传统建模的特征，二是用来做相似度搜索。这就是工业界的现实，我希望小朋友们不要被误导了，会影响找工作。不要上来就说“我对深学算法很有兴趣， blah blah“， 这会大大降低你的求职成功率，除非你是在NIPS发了很多文章的。但需要那样人的地方，其实很少。切记。

认为自然语言很复杂，其实也是错误的。自然语言的单个概念，都是很简单的，心理学里面所谓的mental model，都是很简单的模型，不用很多参数。很多场景叠加在一起，也不过是简单重复而已，并不增加什么复杂度。以前以为逻辑就够了，逻辑是不够，几何也许可以。概念之间的关系，也不是那么复杂。你看看任何知识图，里面的attribute，就那么多个，绝不会上billion级别。这就已经告诉我们，现在这些模型是很wasteful的。

这么说吧，如果Vannevar Bush还在世，他在上一个AI冬天干掉AI用的的理由，其实他现在可以照样再说一遍："It is just clever programming"， 也就是“滚，这儿哪有什么智能，不要来骗老子的钱”。哈哈。可惜，美帝衰落了，那样靠谱的管理者，现在已不存在。现在的管理者，是屁精交通部长这种。哈哈。

[hci]

其实真没有太多变化。ANN都多少年历史了，尼玛也是民科发明的。人家发明这个是为了证明逻辑学很牛，可以理解智能，结果被自己的生物实验打脸了，郁郁而终。

现在有啥新的？哦，我们可以训练更多更多层了。哦，我们可以用很多很多很多参数了。为了让这么多东西不崩，我们琢磨出了很多很多技巧，但不知道这些技巧为啥work，不过没关系，我们很有钱了，可以继续研究出更多技巧，弄更多更多更多参数。如果参数足够多，我们就造出意识来了。

上面这个描述，没啥大问题吧？

基本同意你的观点，现在很多搞ML的都不懂很多数学，更不懂物理，
但是现代ML取得的成果，也不应该贬低，it's much more than clever programming，

[xy18]

现代ML的基础之一：mathematical optimization，
这个就much more than clever programming，
凭马工自己，连dual theorem这层次的东西都搞不出，再怎么clever也不行，
所以说 it's much more than clever programming,

ML并没有在人类既有知识体系上走出很远，但是也不必特别否定，

其实真没有太多变化。ANN都多少年历史了，尼玛也是民科发明的。人家发明这个是为了证明逻辑学很牛，可以理解智能，结果被自己的生物实验打脸了，郁郁而终。

现在有啥新的？哦，我们可以训练更多更多层了。哦，我们可以用很多很多很多参数了。为了让这么多东西不崩，我们琢磨出了很多很多技巧，但不知道这些技巧为啥work，不过没关系，我们很有钱了，可以继续研究出更多技巧，弄更多更多更多参数。如果参数足够多，我们就造出意识来了。

上面这个描述，没啥大问题吧？

[hci]

我觉得ML学到的最大的技巧，就是会取名字了。"deep learning", “transformer”，"attention", "diffusion", "long short-term memory", "gan", 尼玛都很高大上，让尔等摸门不着。

这个技巧得学着点。

其实真没有太多变化。ANN都多少年历史了，尼玛也是民科发明的。人家发明这个是为了证明逻辑学很牛，可以理解智能，结果被自己的生物实验打脸了，郁郁而终。

现在有啥新的？哦，我们可以训练更多更多层了。哦，我们可以用很多很多很多参数了。为了让这么多东西不崩，我们琢磨出了很多很多技巧，但不知道这些技巧为啥work，不过没关系，我们很有钱了，可以继续研究出更多技巧，弄更多更多更多参数。如果参数足够多，我们就造出意识来了。

上面这个描述，没啥大问题吧？

[hci]

深学与mathematical optimization没啥关系吧。

你那mathematical optimization哪有人鸟。不要想蹭人家DL的热度。呵呵。

你们得换个好名，不要太实诚了。你们mathematical optimization里面随便什么技巧，都给整一个振聋发聩，石破天惊的好名，这才行的。学着点。

现代ML的基础之一：mathematical optimization，
这个就much more than clever programming，
凭马工自己，连dual theorem这层次的东西都搞不出，再怎么clever也不行，
所以说 it's much more than clever programming,

ML并没有在人类既有知识体系上走出很远，但是也不必特别否定，

[xy18]

如果你不知道其中关系说明你学的太浅，
mit有个教授叫什么名字来着，还得过danzig奖，也去清华讲过课，
他的书你可以看看，

深学与mathematical optimization没啥关系吧。

你那mathematical optimization哪有人鸟。不要想蹭人家DL的热度。呵呵。

得换个好名，不要太实诚了。

[hci]

有关系也是蹭热度蹭出来的吧。优化就优化，其实蛮好的，自动化看家本事，用得蛮多的，其实真不必趟ML这滩浑水。

如果你不知道其中关系说明你学的太浅，
mit有个教授叫什么名字来着，还得过danzig奖，也去清华讲过课，
他的书你可以看看，

[xy18]

优化并没有去蹭热度，本身技术就摆在那里，哎，不和你说了，

有关系也是蹭热度蹭出来的吧。优化就优化，其实蛮好的，自动化看家本事，用得蛮多的，其实真不必趟这滩浑水。

[hci]

数学优化是个成熟的学科，一般也不被认为属于机器学习的范畴。

结果你在举例说明机器学习的进步的时候，以数学优化为例，故引来我的“蹭热度”评论。

我搞错了什么吗？

难道你的意思是，“机器学习进步了，知道使用数学优化了”？ 这个用来做机器学习进步的例子，是不是有点弱呀？

优化并没有去蹭热度，本身技术就摆在那里，哎，不和你说了，

[verdelite]

你们口若悬河，过瘾了是过瘾了，可有一个落地（theMatrix语）的道路？然而我有。

啊，我要赋诗一首，

AI马上要实现，
就在那2025年。
灵魂意识是假象，
来自机械神经元。

索男四十不疑惑，
深耕民科整十年。
十年努力无寒暑，
细流汇成三贡献。

世人皆傻为指导，
AI抽象新概念。
外加光子从没有，
不存量子无纠缠。

AI马上要成功，
就在那2025冬。
或许索男蚍蜉力，
换得人类全剧终。