新未名空间

说得好，有深度。信息论和微分几何的结合能否展开说说？为什么需要微分几何（我不懂微分几何）？以AI绘画为例，其本质是学习某类画之上的一个概率分布。其概率空间维数太高，很难处理，是不是把这类画用微分几何来建模？为什么要用到Clifford algebra? 我个人感觉diffusion model回避了这个问题，加噪声的目的是平滑其概率分布（或者说抹平其流形）。想想也挺神奇的，一般对噪声避之唯恐不及，这里加了噪声居然更好。

Amorphous 写了： ↑9月 12, 2022, 12:15 am 我记得台湾称grad school 为研究院。

如果你说的是research center，也蛮值得思考为啥你会这么说的。比如如果我说“我在研究中心的时候”，指代并不特定，通常我不会有这样模糊的表达。

这不是搞笑吗？微软研究院，阿里研究院，大公司的研究机构一般称为研究院。

好像台湾叫grad school 为研究所。

你的观点很好。我补充点我的看法： “没有使用严格的科学方法”：这句话也许对深度学习等是对的，但是用严格的数学来解释机器学习，一直是个目标。对于diffusion model而言，有严格的数学证明，并且目前的概率论和信息论已经足够。 “可能也需要与新的数学”：有可能需要新的数学，也有可能用已有的数学就能解决很多问题。比如diffusion model。当然新的数学理论都是值得尝试的。我熟悉associative algebra，听说过几何代数，有兴趣参与讨论。Laurent Lafforggue用代数几何（不是几何代数）中的topos，能包含熵。 可能有些数学工具在物理里面用处不大，但是人工智...

是是。

不管怎么说，这是一个难有的好贴，大家能参加讨论难能可贵，瞎扯也行。我收回“多讨论，少吹牛，吹得越玄乎越容易露馅”这句话，如有得罪，多多包涵。

嗯，有道理，大家意见不同是好事。我原来对机器学习有点怀疑，但是看了diffusion model之后，觉得其数学理论是严格成立的。前面有人提到信息论，我感觉可以从熵增熵减的角度来解释，再高的哲学层次我不懂。

“多讨论，少吹牛，吹得越玄乎越容易露馅。”我不是说你（从技术和哲学层次来讨论是很好的），而是有些人扯一些不着边际的东西，有意拔高自己。

弃婴的水平是很高的，但是数学显然不是他（她）的专长。

如果觉得熵增熵减是瞎解释，可以看看薛定谔的《生命是什么？》。负熵是生命的特征，生命体从食物中获取能量，但更重要的是负熵；否则就是熵增，走向灭亡。这本小书还专门提到了diffusion，作为从无序到有序的例子。

那么可以推出，负熵是人工智能的特征之一。在Diffusion model中，SDE是常规的，所以我觉得：如果有智能，只能来自学习score的神经网络，所以它的负熵是非常关键的。

显然Diffusion model无法通过图灵测试，我觉得它更接近于薛定谔的思想。薛定谔还写过《Mind and Matter》，不知道在人工智能领域有没有得到重视？

TheMatrix2 写了： ↑9月 10, 2022, 5:54 pm 这是瞎解释。熵增熵减，根本不存在的问题。打个比喻，一个路桥限高10米，你开着Sedan过桥，问会不会过不去，差不多就是这个意思。

什么意思？这个看法不是你自己认可的吗？

“lahei 写了： ↑9月 9, 2022, 5:25 pm
目测有可行性，反向学习的过程注入了知识，也就是搞入了负熵”

“这个看法不错。”

前向过程的熵H(t)增加，反向过程的熵减小。Diffusion过程应该是遍历的。

可以证明前向过程dH(t)/dt>0, 反向过程的熵的导数是 - dH(t)/dt<0. 这是因为score = log(p_t(X(t)))带来的熵率刚好是-2dH(t)/dt，1 - 2 = -1, 所以不违背热力学第二定律。

这么解释可能学物理的人能够接受。

它是模仿一种画风。diffusion model的理论早就存在，但是在AI绘画中确实无法手算，因为维数太高。

W ' 是另一个布朗运动。

p_t是t时刻X(t)的概率分布。

盛世才虽然杀了不少人，包括共党，但是关键时刻脱离苏俄，服从中央，是中国之幸。设想如果盛世才完全倒向苏俄，新疆会不会独立？有可能。

国民党命令陶峙岳把新疆军队内调打内战，但是陶峙岳故意拖延，按兵不动，也起到了稳定新疆的作用。

最简单的描述：假设W(t)是布朗运动，那么可以用随机微分方程表示diffusion model

前向过程：dX(t) = dW(t), 初值X(0)是一幅图
反向过程：dX(t) = -score dt + dW’(t)，初值是噪声

这里score = log(p_t(X(t)))的梯度。就这么简单，前向过程是布朗运动，反向过程基本是个朗之万方程，从纯噪声开始反演，到达初始概率分布，得到另一副图。这里要用个神经网络去非线性拟合score。所以我没看到智能在哪里。只是学习了一个概率分布，本质上是个随机数产生器，当然如果你要说是智能也可以。

尼玛，我的原话是： “一个马尔可夫链在时间上反过来还是马尔可夫链。”即如果X1,X2,X3,...,XN是马尔可夫链，那么XN,...,X3,X2,X1也是，很容易证明。 不是你说的time-reversible，time-reversible有个特殊的含义，你的公式也不对，正确的公式是： qi*pij=qj*pji，这里qi是稳态分布。 time-reversible Markov chain指的是在稳态下，时间反转仍然满足同样的稳态分布。但是diffusion根本不是在稳态下工作。 这才叫望文生义。

有争论是好的，有争论才有进步，争论越激烈越好。我觉得我们争论的是什么是人工智能，那么先要定义人工智能。根据维基： Artificial intelligence (AI) is intelligence demonstrated by machines, as opposed to the natural intelligence displayed by animals including humans. 根据这个定义，会算1+1=2的机器也是人工智能。你如果不同意，那么请给出人工智能的定义。

lahei 写了： ↑9月 9, 2022, 5:25 pm 目测有可行性，反向学习的过程注入了知识，也就是搞入了负熵

对，我忘了说反向过程需要（对数）概率分布的梯度，即score，这是关键。获取这个score需要神经网路作大量训练，非线性拟合，相当于知识。

Diffusion model不就是从物理中来的吗？

我有点疑惑，请高人指点：

Diffusion model是常规数学，你看其算法，看不到任何智能，但是却能绘画，又像智能。那么算法是不是人工智能？还是说复杂点的算法才算？要多复杂？比如有个雷达算法能跟踪飞机，算不算人工智能？

TheMatrix2 写了： ↑9月 9, 2022, 4:48 pm 所以说你望文生义了嘛。你要看到convolution neural network，还不得说 convolution 是18世纪的？

我也同意这个应用是新的，没有望文生义。就比如用数论设计了RSA密码。

这个方向容易上手，不需要很高的数学背景，所以中国/中国人搞得还不错。

物理里面，布朗运动有几百年历史，后来理论是爱因斯坦和朗之万等人给出的。最简单的diffusion model，即加噪声，就是用布朗运动，还有用朗之万方程的。其数学理论是傅立叶在研究热扩散（也是diffusion）的时候建立的，等同于Fokker-Planck方程。

就diffusion model而言，没有，马尔可夫链和伊藤积分都是20世纪上半的。新的成分是数学的应用。

稍微看几篇文章，没什么神秘的，很简单。本科生有概率论的背景就能做。

从概率论角度看，没有什么神秘的，就是用非线性函数逼近之类的，学到了一个概率分布。这算人工智能吗？这个算法本身没有任何哲学，也不管特征之类的。

更广泛点讲，一个随机微分方程在时间上可以反演，还是一个随机微分方程。就好像牛顿力学的方程可逆一样，但是不同点是，随机微分方程的反演并不是演化到初始点，而是演化到相同的概率分布，可能是一个完全不同的解（即一副新的画）。这些在数学上都可以严格证明，主要工具是马尔可夫链和伊藤积分。

所以我觉得算法就是人工智能，甚至可以说，如果有东西可以算1+1=2，就是人工智能。