Diffusion Model 最近很火，谁谈谈？技术层面，哲学层面？

[da1gaku]

我也没想明白。我说一点感想吧。

根据一个图片集，学习生成一个新图片。常规的想法是把图片分割成components，找出频率，然后组合。这种显然可以生成边界清晰的图片。但是diffusion model不是，它不分割components，它逐点进行，一大片的进行，最后也能得到边界清晰的图片。这个方法真的很AI。

像素组成的多元高斯能学到像素之间的关系。
比如像素f(x,y)=100, f(x, y+1)=200, f(x, y+2)=200... f(x+1, y)=f(x+2, y)=100 映射是坐标-->像素intensity
那说明图里高度为y的地方可能有一条横着的边界线
训练出来的高斯能通过像素之间的covariance来纪录这种特征，让有清晰边界的图像likelihood比乱糟糟的图像大

[verdelite]

看了da1gaku的介绍，我感觉基本上对这个技术有了一点感觉。弃婴的观点，忽略了很多东西。比如：图像各点之间的关系。她假设图像是二维的点，相互之间没有关系。各处理各的，然后她得到一个错误的结论。我批评过她这种物理竞赛训练出来的思维，显然她没听进去。我物理出身，对这个缺点太了解了。

而真正的图像，是客观世界的图像，里面有很多线条，所以各点之间是有关系的。AI学习的存储维度是很高的，里面存储了大量训练集里面隐含的关系。话说AI就是量变引起质变，从机器运动里产生智能。

[TheMatrix2]

像素组成的多元高斯能学到像素之间的关系。
比如像素f(x,y)=100, f(x, y+1)=200, f(x, y+2)=200... f(x+1, y)=f(x+2, y)=100 映射是坐标-->像素intensity
那说明图里高度为y的地方可能有一条横着的边界线
训练出来的高斯能通过像素之间的covariance来纪录这种特征，让有清晰边界的图像likelihood比乱糟糟的图像大

清晰的图像是一步一步形成的。最开始是高斯噪音，一下一步往哪走，一步一步的都有下一步往哪走的问题。生成的图片中清晰的边界线，并不在原图集中任何一张图片中存在。学到的是一种路径的走法。我觉得有点高层次抽象的意思。

[da1gaku]

清晰的图像是一步一步形成的。最开始是高斯噪音，一下一步往哪走，一步一步的都有下一步往哪走的问题。生成的图片中清晰的边界线，并不在原图集中任何一张图片中存在。学到的是一种路径的走法。我觉得有点高层次抽象的意思。

要使原训练数据集的likelihood最大化，最后肯定能学到一些高层次的特征。图多了以后，它们共同之处就表现在边界和颜色的分布方式，等等。过去用傅里叶变换什么的也是在想办法找这些特征。
特别是那个加噪音本身也是随机过程，相当于一张图要用很多次而每次都不一样。

[irisyuan]

diffusion 要是能反向，那就必须要能track所有单个分子的实时运动，基本上属于天顶星科技了

[TheMatrix2]

要使原训练数据集的likelihood最大化，最后肯定能学到一些高层次的特征。图多了以后，它们共同之处就表现在边界和颜色的分布方式，等等。过去用傅里叶变换什么的也是在想办法找这些特征。
特别是那个加噪音本身也是随机过程，相当于一张图要用很多次而每次都不一样。

我认为这个方法学的是路径，不是特征。

[TheMatrix2]

diffusion 要是能反向，那就必须要能track所有单个分子的实时运动，基本上属于天顶星科技了

有点望文生义了。

[Texcat]

这是真弃婴了。

但是你只知其一不知其二。

你说的道理谁都懂。不是那么简单的。所以才问这里到底有什么。

形似神不是，不挖几个地狱坑，不是弃妈

[da1gaku]

我认为这个方法学的是路径，不是特征。

路径其实就是变换，或者一系列变换
特征就是变换的结果（也可以说特征是nature，变换的结果可以揭示特征）

[TheMatrix2]

形似神不是，不挖几个地狱坑，不是弃妈

地域坑他没挖但是跳了。不挖几个理论物理坑不显弃婴本色。

[FoxMe]

Diffusion最早的模型是布朗运动，根据热力学第二定律，这个物理过程当然不能反演。但是数学上完全没有问题，一个马尔可夫链在时间上反过来还是马尔可夫链。这是数学与物理不同的地方。从哲学层面怎么解释，我不会。

[TheMatrix2]

路径其实就是变换，或者一系列变换
特征就是变换的结果（也可以说特征是nature，变换的结果可以揭示特征）

对啊。学的是一系列变换的这一系列怎么走的方法。不直接学特征。所以是高一层抽象。我觉得大的方法出笼都得有这个特征。

而且AI不怕抽象层次高，越高越好，就怕不高。这就像deep learning不怕过拟合一样。

[FoxMe]

更广泛点讲，一个随机微分方程在时间上可以反演，还是一个随机微分方程。就好像牛顿力学的方程可逆一样，但是不同点是，随机微分方程的反演并不是演化到初始点，而是演化到相同的概率分布，可能是一个完全不同的解（即一副新的画）。这些在数学上都可以严格证明，主要工具是马尔可夫链和伊藤积分。

所以我觉得算法就是人工智能，甚至可以说，如果有东西可以算1+1=2，就是人工智能。

[TheMatrix2]

看了da1gaku的介绍，我感觉基本上对这个技术有了一点感觉。弃婴的观点，忽略了很多东西。比如：图像各点之间的关系。她假设图像是二维的点，相互之间没有关系。各处理各的，然后她得到一个错误的结论。我批评过她这种物理竞赛训练出来的思维，显然她没听进去。我物理出身，对这个缺点太了解了。

而真正的图像，是客观世界的图像，里面有很多线条，所以各点之间是有关系的。AI学习的存储维度是很高的，里面存储了大量训练集里面隐含的关系。话说AI就是量变引起质变，从机器运动里产生智能。

有技术有哲学。这是很好的讨论。

[FoxMe]

从概率论角度看，没有什么神秘的，就是用非线性函数逼近之类的，学到了一个概率分布。这算人工智能吗？这个算法本身没有任何哲学，也不管特征之类的。

[TheMatrix2]

更广泛点讲，一个随机微分方程在时间上可以反演，还是一个随机微分方程。就好像牛顿力学的方程可逆一样，但是不同点是，随机微分方程的反演并不是演化到初始点，而是演化到相同的概率分布，可能是一个完全不同的解（即一副新的画）。这些在数学上都可以严格证明，主要工具是马尔可夫链和伊藤积分。

所以我觉得算法就是人工智能，甚至可以说，如果有东西可以算1+1=2，就是人工智能。

我觉得有点望文生义。

[TheMatrix2]

从概率论角度看，没有什么神秘的，就是用非线性函数逼近之类的，学到了一个概率分布。这算人工智能吗？这个算法本身没有任何哲学，也不管特征之类的。

人工智能是正在发展中的东西，里面有新东西。

[FoxMe]

就diffusion model而言，没有，马尔可夫链和伊藤积分都是20世纪上半的。新的成分是数学的应用。

稍微看几篇文章，没什么神秘的，很简单。本科生有概率论的背景就能做。

[TheMatrix2]

矩阵从物理进军机器视觉了？

人工智能也是我的研究领域之一。物理停滞了其实没什么可研究的。

[TheMatrix2]

就diffusion model而言，没有，马尔可夫链和伊藤积分都是20世纪上半的。新的成分是数学的应用。

所以说你望文生义了嘛。你要看到convolution neural network，还不得说 convolution 是18世纪的？