Diffusion Model 最近很火，谁谈谈？技术层面，哲学层面？

[TheMatrix2]

为什么markov的行走最后会出现清晰边界？

因为你丫的算法不满足ergodicity

或者更确切地说，你采用的potential不满足ergodicity

你这等于什么都没说。硬解释。太肤浅了。

[弃婴千枝]

你类算法叫做分子运动学算法

正因为你采用了分子运动学算法，才会出现这种幺蛾子

任何有这方面的经验的人都会告诉你，分子运动学算法不满足ergodicity,会出现莫名其妙的结果

这不，出幺蛾子了，码农算法师不但不检查自己有没有搞错，反而欣喜若狂地说发现了有趣的现象

你妈

你这等于什么都没说。硬解释。太肤浅了。

[弃婴千枝]

你妈，这类问题1984年就搞清楚了的，算法师还在2022年欢呼

太搞笑了

数学家关注算法的收敛性

但是完全没想到还有算法的ergodicity

[da1gaku]

关键在于它不是“继续diffusion”而是反向往回走 - 这里面有什么?

各种inference都是有限定条件的
比如概率最大路径，或者某种loss函数值（人为设定的）最小路径
我看那个diffusion model好像是每一步都让noise Gaussian和denoise Gaussian的KL divergence最小

[srx]

楼主的意思是根据diffusion之后的状态和diffusion model，反推之前的状态。
但是因为这是一个随机过程，信息是会丢失的。反推也是引入更多误差，不可能返回原来状态。

都是骗你这种傻逼的

一瓶纯净水里面点一滴墨，墨diffusion慢慢扩散最后变成一瓶浅黑色水

这瓶浅黑色水继续diffusion还能产生墨和水的分离吗？

显然，根据第二定理，除非你外加熵流（比如放入离心机上），否则这种事情是不会发生的

码农屁都不懂，就知道瞎鸡巴折腾

[弃婴千枝]

你们算法师盯紧了细节

却忘记了big picture

封闭系统熵怎么减少？没有可能啊

但是你的算法引入了熵流，自己智商差，看不明白而已

各种inference都是有限定条件的
比如概率最大路径，或者某种loss函数值（人为设定的）最小路径
我看那个diffusion model好像是每一步都让noise Gaussian和denoise Gaussian的KL divergence最小

[TheMatrix2]

我批评过弃婴和她为代表的物理索男：随随便便就dismiss 一个idea.

他一直在自己的框架内。其实那个框架很小，也陈旧了。AI是新数学，新物理。

类似物理中“重整化”的框架革命。

弃婴肯定没有这个能力。他只能用已有的框架说几句。

[弃婴千枝]

所以你得检查你们的算法，你们的算法不满足ergodicity，这才是根本原因，这是1984年就搞清楚了的问题

[TheMatrix2]

你类算法叫做分子运动学算法

正因为你采用了分子运动学算法，才会出现这种幺蛾子

任何有这方面的经验的人都会告诉你，分子运动学算法不满足ergodicity,会出现莫名其妙的结果

这不，出幺蛾子了，码农算法师不但不检查自己有没有搞错，反而欣喜若狂地说发现了有趣的现象

你妈

不对不对。

你真是啥也不知道。

[TheMatrix2]

你妈，这类问题1984年就搞清楚了的，算法师还在2022年欢呼

太搞笑了

数学家关注算法的收敛性

但是完全没想到还有算法的ergodicity

不对不对。你想的方向完全错误。

[TheMatrix2]

各种inference都是有限定条件的
比如概率最大路径，或者某种loss函数值（人为设定的）最小路径
我看那个diffusion model好像是每一步都让noise Gaussian和denoise Gaussian的KL divergence最小

能不能再高屋建瓴一下？

[TheMatrix2]

所以你得检查你们的算法，你们的算法不满足ergodicity，这才是根本原因，这是1984年就搞清楚了的问题

屁也不懂，少说两句。

这个贴你参与一下，相当于market maker，可以。但是你写太多贴了。

[弃婴千枝]

搞笑

听说过蝴蝶效应么？

你这玩意其实就是蝴蝶效应

但是你真以为这世界上有蝴蝶效应，那就真傻逼了

蝴蝶效应是一种算法的anomaly

屁也不懂，少说两句。

这个贴你参与一下，相当于market maker，可以。但是你写太多贴了。

[TheMatrix2]

搞笑

听说过蝴蝶效应么？

你这玩意其实就是蝴蝶效应

但是你真以为这世界上有蝴蝶效应，那就真傻逼了

蝴蝶效应是一种算法的anomaly

你说这些跟“diffusion model”都不沾边。

再说你说这些早都变成常识了。

[弃婴千枝]

嘴硬有什么用

妈的，一个算法师，连个起码的big picture都没有，钻牛角尖有用吗？大方向都是错了，太搞笑了

你说这些跟“diffusion model”都不沾边。

再说你说这些早都变成常识了。

[TheMatrix2]

嘴硬有什么用

妈的，一个算法师，连个起码的big picture都没有，钻牛角尖有用吗？大方向都是错了，太搞笑了

你屁也不懂少说两句。

[da1gaku]

能不能再高屋建瓴一下？

我也没做过diffusion model，只是大概看了一下。
机器学习的目标常常是让训练数据的likelihood最大化，也就是训练数据里每个输入到输出的平均概率是最大的。再加上各种约束条件让模型更光滑什么的。

这个diffusion model先让原始图像经过一系列噪音处理，最后得到体无完肤的噪音；然后训练模型（泛函）使得从噪音到原始图像的likelihood最大化。
训练模型的过程就是把每一步条件概率 P(好点的图像|噪音大的图像) 表达成高斯函数（高维度，每个像素就是一个变量)，训练高斯函数的参数(miu, sigma)让它在第t步的时候，跟加噪音的高斯q(加噪音第t步图像|原始图像）的KL divergence最小化

[TheMatrix2]

我也没做过diffusion model，只是大概看了一下。
机器学习的目标常常是让训练数据的likelihood最大化，也就是训练数据里每个输入到输出的平均概率是最大的。再加上各种约束条件让模型更光滑什么的。

这个diffusion model先让原始图像经过一系列噪音处理，最后得到体无完肤的噪音；然后训练模型（泛函）使得从噪音到原始图像的likelihood最大化。
训练模型的过程就是把每一步条件概率 P(好点的图像|噪音大的图像) 表达成高斯函数（高维度，每个像素就是一个变量)，训练高斯函数的参数(miu, sigma)让它在第t步的时候，跟加噪音的高斯q(加噪音第t步图像|原始图像）的KL divergence最小化

嗯，是这样的。

它能得到边界清晰的图像，你不觉得神奇吗？

[da1gaku]

嗯，是这样的。

它能得到边界清晰的图像，你不觉得神奇吗？

因为用于训练的图像一般都是那样的吧。所以模糊的图像likelihood不高。
边界清晰就是一些像素区间有很高的空间gradient，而且往往这样的区间组成线形。

如果用莫奈的油画来训练，可能就不是那样了

[TheMatrix2]

因为用于训练的图像一般都是那样的吧。所以模糊的图像likelihood不高。
边界清晰就是一些像素区间有很高的空间gradient，而且往往这样的区间组成线形。

如果用莫奈的油画来训练，可能就不是那样了

我也没想明白。我说一点感想吧。

根据一个图片集，学习生成一个新图片。常规的想法是把图片分割成components，找出频率，然后组合。这种显然可以生成边界清晰的图片。但是diffusion model不是，它不分割components，它逐点进行，一大片的进行，最后也能得到边界清晰的图片。这个方法真的很AI。