Diffusion Model 最近很火，谁谈谈？技术层面，哲学层面？

[TheMatrix2]

最简单的描述：假设W(t)是布朗运动，那么可以用随机微分方程表示diffusion model

前向过程：dX(t) = dW(t), 初值X(0)是一幅图
反向过程：dX(t) = -score dt + dW’(t)，初值是噪声

这里score = log(p_t(X(t)))的梯度。就这么简单，前向过程是布朗运动，反向过程基本是个朗之万方程，从纯噪声开始反演，到达初始概率分布，得到另一副图。这里要用个神经网络去非线性拟合score。所以我没看到智能在哪里。只是学习了一个概率分布，本质上是个随机数产生器，当然如果你要说是智能也可以。

W’是什么？

p_t是什么？

[TheMatrix2]

最简单的描述：假设W(t)是布朗运动，那么可以用随机微分方程表示diffusion model

前向过程：dX(t) = dW(t), 初值X(0)是一幅图
反向过程：dX(t) = -score dt + dW’(t)，初值是噪声

这里score = log(p_t(X(t)))的梯度。就这么简单，前向过程是布朗运动，反向过程基本是个朗之万方程，从纯噪声开始反演，到达初始概率分布，得到另一副图。这里要用个神经网络去非线性拟合score。所以我没看到智能在哪里。只是学习了一个概率分布，本质上是个随机数产生器，当然如果你要说是智能也可以。

被你这么一说好像智能的确没了。

但是也不矛盾，智能就是有这个特点，从外部看，不可完全预测。打开一看，规模很大，很复杂 - 这么说吧，你想要手算那算不了。一步一步的也不难，但是规模很大，步数很多。你只能接受结果。

[FoxMe]

它是模仿一种画风。diffusion model的理论早就存在，但是在AI绘画中确实无法手算，因为维数太高。

W ' 是另一个布朗运动。

p_t是t时刻X(t)的概率分布。

[FoxMe]

前向过程的熵H(t)增加，反向过程的熵减小。Diffusion过程应该是遍历的。

可以证明前向过程dH(t)/dt>0, 反向过程的熵的导数是 - dH(t)/dt<0. 这是因为score = log(p_t(X(t)))带来的熵率刚好是-2dH(t)/dt，1 - 2 = -1, 所以不违背热力学第二定律。

这么解释可能学物理的人能够接受。

[TheMatrix2]

前向过程的熵H(t)增加，反向过程的熵减小。Diffusion过程应该是遍历的。

可以证明前向过程dH(t)/dt>0, 反向过程的熵的导数是 - dH(t)/dt<0. 这是因为score = log(p_t(X(t)))带来的熵率刚好是-2dH(t)/dt，1 - 2 = -1, 所以不违背热力学第二定律。

这么解释可能学物理的人能够接受。多讨论，少吹牛，吹得越玄乎越容易露馅。

这是瞎解释。熵增熵减，根本不存在的问题。打个比喻，一个路桥限高10米，你开着Sedan过桥，问会不会过不去，差不多就是这个意思。

[弃婴千枝]

你的自我感觉太良好了

你妈，跟nasa的非洲人scientist似的

前向过程的熵H(t)增加，反向过程的熵减小。Diffusion过程应该是遍历的。

可以证明前向过程dH(t)/dt>0, 反向过程的熵的导数是 - dH(t)/dt<0. 这是因为score = log(p_t(X(t)))带来的熵率刚好是-2dH(t)/dt，1 - 2 = -1, 所以不违背热力学第二定律。

这么解释可能学物理的人能够接受。多讨论，少吹牛，吹得越玄乎越容易露馅。

[FoxMe]

这是瞎解释。熵增熵减，根本不存在的问题。打个比喻，一个路桥限高10米，你开着Sedan过桥，问会不会过不去，差不多就是这个意思。

什么意思？这个看法不是你自己认可的吗？

“lahei 写了： ↑9月 9, 2022, 5:25 pm
目测有可行性，反向学习的过程注入了知识，也就是搞入了负熵”

“这个看法不错。”

[FoxMe]

如果觉得熵增熵减是瞎解释，可以看看薛定谔的《生命是什么？》。负熵是生命的特征，生命体从食物中获取能量，但更重要的是负熵；否则就是熵增，走向灭亡。这本小书还专门提到了diffusion，作为从无序到有序的例子。

那么可以推出，负熵是人工智能的特征之一。在Diffusion model中，SDE是常规的，所以我觉得：如果有智能，只能来自学习score的神经网络，所以它的负熵是非常关键的。

显然Diffusion model无法通过图灵测试，我觉得它更接近于薛定谔的思想。薛定谔还写过《Mind and Matter》，不知道在人工智能领域有没有得到重视？

[TheMatrix2]

什么意思？这个看法不是你自己认可的吗？

“lahei 写了： ↑9月 9, 2022, 5:25 pm
目测有可行性，反向学习的过程注入了知识，也就是搞入了负熵”

“这个看法不错。”

可能有误会。态度方面我写了一段说明，但是删掉了。以礼待人，慢慢来。

diffusion model的意义肯定是很大的，可以和前面几个比一比的，比如CNN，attention，transformer。它的意义到底在什么我也说不清楚，但是不要轻易dismiss。肯定不止热力学熵增熵减这么点东西。熵增熵减这个事情，就像我比喻的10米路桥一样，是很外围很外围的问题。如果有人提，可能一下觉得是个有意思的问题，解释一下，也有点意思。但是不能认为这个解释完了diffusion model就没东西了。

[TheMatrix2]

可能是关注的层面不一样，我知道你一直困惑“什么是智能”这个问题，所以熵增熵减的回答就很对你的问题。我也有这个困惑，但是在这个贴里搁置了，主要讨论技术哲学方面。

如果觉得熵增熵减是瞎解释，可以看看薛定谔的《生命是什么？》。负熵是生命的特征，生命体从食物中获取能量，但更重要的是负熵；否则就是熵增，走向灭亡。这本小书还专门提到了diffusion，作为从无序到有序的例子。

那么可以推出，负熵是人工智能的特征之一。在Diffusion model中，SDE是常规的，所以我觉得：如果有智能，只能来自学习score的神经网络，所以它的负熵是非常关键的。

显然Diffusion model无法通过图灵测试，我觉得它更接近于薛定谔的思想。薛定谔还写过《Mind and Matter》，不知道在人工智能领域有没有得到重视？

[FoxMe]

嗯，有道理，大家意见不同是好事。我原来对机器学习有点怀疑，但是看了diffusion model之后，觉得其数学理论是严格成立的。前面有人提到信息论，我感觉可以从熵增熵减的角度来解释，再高的哲学层次我不懂。

“多讨论，少吹牛，吹得越玄乎越容易露馅。”我不是说你（从技术和哲学层次来讨论是很好的），而是有些人扯一些不着边际的东西，有意拔高自己。

弃婴的水平是很高的，但是数学显然不是他（她）的专长。

[TheMatrix2]

嗯，有道理，大家意见不同是好事。我原来对机器学习有点怀疑，但是看了diffusion model之后，觉得其数学理论是严格成立的。前面有人提到信息论，我感觉可以从熵增熵减的角度来解释，再高的哲学层次我不懂。

“多讨论，少吹牛，吹得越玄乎越容易露馅。”我不是说你（从技术和哲学层次来讨论是很好的），而是有些人扯一些不着边际的东西，有意拔高自己。

弃婴的水平是很高的，但是数学显然不是他（她）的专长。

我说有误会也是这个地方。“多讨论，少吹牛，吹得越玄乎越容易露馅。”。看来的确是我误会。不好意思。我是在乎态度的，主要是自己人的态度。我们之间应该以士礼相待。

[FoxMe]

是是。

不管怎么说，这是一个难有的好贴，大家能参加讨论难能可贵，瞎扯也行。我收回“多讨论，少吹牛，吹得越玄乎越容易露馅”这句话，如有得罪，多多包涵。

[hci]

说一下我的观点。我说人工智能目前还不是科学，两个方面。

一方面，这个行业的实践，还没有使用严格的科学方法。搞计算机的没有科学方法的训练。有个笑话，学科名字里带＂科学＂二字的，不是科学，有一定道理。cs这种会议文章的文化，需要改变，业内大家都在吐槽，实际改变基本没有。统计都不会用，实验设计啥的就不要提了。也不重视evaluation ，满脑子算法。其实不过是小打小鬧东改西改，练丹而己。diffusion，attention，whatever，不过是不同的丹石而已。

二是理论，没有什么进展。牛顿还没出来。牛顿与微积分同来。智能的牛顿，可能也需要与新的数学同来。上面我说的可能方向，是在信息论与微分几何的结合。智能，据定义，当然是在做熵减的工作，本质是压缩，所以信息论必然有关，这个不算什么insight。高维的流形，也在其中，也不是什么insight。两者结合，关键要有能算出东西来的工具，这个还没有。information geometry这个数学，好像方向不太对，不应该是分布的几何，应该搞几何上的分布，这样的数学，现在还没有。我上面提到的几何代数，可能是个起点。

[hci]

你们天天做题，有那个时间，研究一下新数学不香么？天天在别人的框架里面做题，就是个小镇做题家。从小镇做题家到牛顿，可能就是一步之遥。这一步，就是思想上的解放。

信伏羲教，小镇做题家变牛顿。哈哈。如此传教，会不会很灵？

说一下我的观点。我说人工智能目前还不是科学，两个方面。

一方面，这个行业的实践，还没有使用严格的科学方法。搞计算机的没有科学方法的训练。有个笑话，学科名字里带＂科学＂二字的，不是科学，有一定道理。cs这种会议文章的文化，需要改变，业内大家都在吐槽，实际改变基本没有。统计都不会用，实验设计啥的就不要提了。也不重视evaluation ，满脑子算法。其实不过是小打小鬧东改西改，练丹而己。diffusion，attention，whatever，不过是不同的丹石而已。

二是理论，没有什么进展。牛顿还没出来。牛顿与微积分同来。智能的牛顿，可能也需要与新的数学同来。上面我说的可能方向，是在信息论与微分几何的结合。智能，据定义，当然是在做熵减的工作，本质是压缩，所以信息论必然有关，这个不算什么insight。高维的流形，也在其中，也不是什么insight。两者结合，关键要有能算出东西来的工具，这个还没有。information geometry这个数学，好像方向不太对，不应该是分布的几何，应该搞几何上的分布，这样的数学，现在还没有。我上面提到的几何代数，可能是个起点。

[hci]

有兴趣的话，搞个几何代数学习小组如何？

你们天天做题，有那个时间，研究一下新数学不香么？天天在别人的框架里面做题，就是个小镇做题家。从小镇做题家到牛顿，可能就是一步之遥。这一步，就是思想上的解放。

信伏羲教，小镇做题家变牛顿。哈哈。如此传教，会不会很灵？

[cangyoujiacuo]

说一下我的观点。我说人工智能目前还不是科学，两个方面。

一方面，这个行业的实践，还没有使用严格的科学方法。搞计算机的没有科学方法的训练。有个笑话，学科名字里带＂科学＂二字的，不是科学，有一定道理。cs这种会议文章的文化，需要改变，业内大家都在吐槽，实际改变基本没有。统计都不会用，实验设计啥的就不要提了。也不重视evaluation ，满脑子算法。其实不过是小打小鬧东改西改，练丹而己。diffusion，attention，whatever，不过是不同的丹石而已。

二是理论，没有什么进展。牛顿还没出来。牛顿与微积分同来。智能的牛顿，可能也需要与新的数学同来。上面我说的可能方向，是在信息论与微分几何的结合。智能，据定义，当然是在做熵减的工作，本质是压缩，所以信息论必然有关，这个不算什么insight。高维的流形，也在其中，也不是什么insight。两者结合，关键要有能算出东西来的工具，这个还没有。information geometry这个数学，好像方向不太对，不应该是分布的几何，应该搞几何上的分布，这样的数学，现在还没有。我上面提到的几何代数，可能是个起点。

我觉得hci讲得很好，“人工智能”这一行近年来发展得很好，尤其是图像处理领域，里面的主要问题是骗子太多。“人工智能”本来概念可以很清晰，正如hci指出的，就是不同层次的高级自动化，怎奈搞学术的觉得这样的称呼太低档，为了求关注，求经费，一直在把它和像人一样思考，意识之类的联系起来，智能（Strong AI）都没搞清楚咋回事就坚信意识很快能实现，逻辑确实不通，弄得一些文人都在担心机器人统治生物人的伦理问题了。概念很重要，我一直问别人，如果爱因斯坦没有发现质能方程，人类有多大的概率，仅靠实验，搞出原子弹。我觉得概率很小，搞出来的东西，也不会叫原子弹，可能叫巨威弹什么的。现在“人工智能”实现意识的搞法，就是在没有质能方程的情况下，造巨威弹。

“人工智能”的一些学者，和政治骗子用的策略是一样的，小的地方做不好或没进展，就画个大的远景，如政客提的全球变暖。因为小的东西行不行很好验证，大的东西不好验证，他于是就得到了话语权。如果“人工智能”近期能实现完全帮助老人日常移动，就算产品和房价一样贵，买的人都会很多。

生命现象很多都是天生（DNA）的，其中很多是物理、化学机制的高级反应，用0、1为基础的二进制虚拟世界去模拟、认知真实世界（比如人的大脑），没问题，但认为那就是本源，真理，就完全颠倒了，我观察过，儿子刚出娘胎，试了3次就学会了吃奶，要什么学习？这就是天生的。当然你如果楞说那三次是学习，我也没办法，机制上讲，学三次就会，和现在的AI学上千万、亿才“会”是一个机制吗？那个“会”是“会”吗？其实是某种数学上的特征如收敛，最终还是要人解释的。

[弃婴千枝]

clifford本身没啥意思，就是个graded algebra，也没人干这个，
数学家也不感兴趣

历史上先有关于量子化的李代数[x,p]=ih, 这里[x,p]=xp-px
然后研究电子自旋发现了自旋有类似李代数的另外一种代数结构｛x,y}=iz,
这里{x,y}=xy+yx,就差一个符号
后来有了自旋的γ矩阵的spinor表达，然后有了关于spinor的许多发展，
后来很多年后才明白过来{x,y}=iz就是clifford algebra，
这才把clifford algebra作为一个学科分支供上神台

所以目前关注点是clifford的复表示(spinor),以及spinor组成的field的lie导数，
联络，曲率，etc，如果你熟悉群论，学习cliffod本身也就不到1个小时的课程，
也就是把李代数括号[,]换成{,}而已，一般都是上课提一下而已

一句话，李代数就是[x,y]=iz,clifford就是{x,y}=iz

有兴趣的话，搞个几何代数学习小组如何？

[hci]

你这么牛叉的话，应该可以做到我上面指出的方向。哈哈。从几何代数出发建立微分几何已经有人弄了，你现在需要在这个基础上，把高维流形上面的概率分布弄一下，建立一门几何信息论。做到以后图灵奖，菲尔兹随便拿。信不信？哈哈。

说来说去，你还是个小镇做题家。跳不出别人的框框。我老指出了方向，你不以为然，还还等着别人来搭这个框，搭好了你再来在里面做题。

格局问题。没有信仰，格局就小。信伏羲教可解。

人们说牛顿老了才天天弄神神叨叨的事，其实是本末倒置，他要不是个神神叨叨的人，能成牛顿么？哈哈。

clifford本身没啥意思，就是个graded algebra，也没人干这个，
数学家也不感兴趣

历史上先有关于量子化的李代数[x,p]=ih, 这里[x,p]=xp-px
然后研究电子自旋发现了自旋有类似李代数的另外一种代数结构｛x,y}=iz,
这里{x,y}=xy+yx,就差一个符号
后来有了自旋的γ矩阵的spinor表达，然后有了关于spinor的许多发展，
后来很多年后才明白过来{x,y}=iz就是clifford algebra，
这才把clifford algebra作为一个学科分支供上神台

所以目前关注点是clifford的复表示(spinor),以及spinor组成的field的lie导数，
联络，曲率，etc，如果你熟悉群论，学习cliffod本身也就不到1个小时的课程，
也就是把李代数括号[,]换成{,}而已，一般都是上课提一下而已

一句话，李代数就是[x,y]=iz,clifford就是{x,y}=iz

[hci]

给你们说过我自己的经历，侧面印证我老说的这个方向是靠谱的。

很多人对于我这个学心理学的，如何就进了高大上计算机研究院做研究员，非常的不满。以前老买买提有一些宵小，知道我是谁，天天追着我骂。这些宵小不知道的是，我老当年到高大上研究院访问的时候，给了个talk，那个talk的思想，就包括上面说的一些。当时我的想法还没有现在这么成熟，还没有听说过几何代数这个玩意。我当时只是用了一些初等的几何和信息论概念，从理论上推出了心理学里面的一些定量关系。然后人们都被惊到了，感觉到了把心理学变成物理学的可能性，直接就给了我一个研究员的位置。这样我就从烂校非CS的AP，直接就成了高大上研究院的CS研究员，就这样。

所以你们不服，我可以理解，但这是没有用的。你们要格局大点，不要做小镇做题家，要思考点大问题。即使做不成，掉下来，也比一般人要好点。当然了，还是要聪明一点，要会找挂得比较低的果子去摘，不要好高骛远。

弃婴这种，就是胆子不够大，也可能是没有眼光，白白辛苦学了很多东西，最后一事无成。

总之要胆大心细。大家共勉。胆大，就是要认识到“世人皆傻”，所谓牛人，其实傻逼的地方很多，所以我们的机会不少。心细，就是不要太自大，不要有成见，虚心学习各种知识，涉猎要广，才能找到能做出东西的地方。

你这么牛叉的话，应该可以做到我上面指出的方向。哈哈。从几何代数出发建立微分几何已经有人弄了，你现在需要在这个基础上，把高维流形上面的概率分布弄一下，建立一门几何信息论。做到以后图灵奖，菲尔兹随便拿。信不信？哈哈。

说来说去，你还是个小镇做题家。跳不出别人的框框。我老指出了方向，你不以为然，还还等着别人来搭这个框，搭好了你再来在里面做题。

格局问题。没有信仰，格局就小。信伏羲教可解。

人们说牛顿老了才天天弄神神叨叨的事，其实是本末倒置，他要不是个神神叨叨的人，能成牛顿么？哈哈。