Diffusion Model 最近很火，谁谈谈？技术层面，哲学层面？

[FoxMe]

多谢回答，很有见地。代数结构上的概率论，能否两篇介绍性的参考文献？

我也觉得Clifford algebra很有用，学过几次，一直没用学懂，可能就缺高人指点一二。

[hci]

我手头这本，书名就叫Probabilities on Algebraic Stuctures, by Ulf Grenander. first published in 1963.

多谢回答，很有见地。代数结构上的概率论，能否两篇介绍性的参考文献？

我也觉得Clifford algebra很有用，学过几次，一直没用学懂，可能就缺高人指点一二。

[TheMatrix2]

多谢回答，很有见地。代数结构上的概率论，能否两篇介绍性的参考文献？

我也觉得Clifford algebra很有用，学过几次，一直没用学懂，可能就缺高人指点一二。

向量空间 V 上的 Clifford algebra 是 V 上的 Tensor algebra 的一个商空间。其商所用到的关系从 V 上的一个 inner product 或 metric 来。V 上必须有一个 inner product 或 metric，所以 Clifford algebra 是 over Euclidean space 的，比一个向量空间多了 metric，也可以说有几何结构。

流形上每一点都有切空间为向量空间，再加上一个 metric，变成黎曼流形，每个切空间就成了Euclidean space，可以在其上构造 Clifford algebra，也就是流形每一点上的 Clifford algebra，合在一起可以叫 Clifford algebra bundle，是一个向量丛。

结构上构造结构，而且这么简洁 （是被压缩抽象助记到简洁），令人忍不住要把它写出来。和你们的讨论关系不大。I just can't help it.

[verdelite]

。。。

比如为什么要用微分几何？上面不是有人说了那么，机器学习，特别是深学，每一步都是在算微分，明显是在deal with一个高维流形。那么多参数，其实在approximate这个流形的各点。这当然很不efficient的。用微分几何，也许有简洁的公式来表示，而不需要用大量点来cover。也就是说，也许不需要那么多数据，那么多算力。

。。。

这一段很有启发。

[yaoerduo3]

x

[hci]

他的这个领域，computational conformal geometry，也可用几何代数简化。这个领域，是比较小众的，是对丘成桐的数学的直接应用。要我说，从格局上说，与我展望的这个方向比起来，差了点。这么说吧，他这玩意再成功，ACM也不会把图灵奖发给他。

还有动不动就“创立了一个新兴的交叉领域：计算共形几何”，这个说法可能有点过了。如果说计算共形几何就只是他那个流派的，对。但计算共形几何还有其他流派，比如用几何代数来做的，好像也不比他晚。不过丘成桐那家的人就这样，呵呵。

听不懂，但搜了一下，感觉是顾险峰的研究领域
哎，这位顾教授虽比不上张义唐和张守成
但人是丘成桐的学生
智商高
弃婴该跪舔啊
咬耳朵也行

[yaoerduo3]

x

[hci]

这种宵小，我玩他干嘛？一眼能看到底的，有啥可玩的。

我上网的目的上面都说了，主要是积德。

你要是老顾，一提你老师，弃妈当场颅内高潮，让干嘛就干嘛。
玩论坛，拼的就是智商。

[yaoerduo3]

x

[verdelite]

等到3天没人回的时候我就把这帖转去STEM版

[hci]

我每贴都是借别人的话头来说我的观点，在教育人，拯救人，这是积德。人不愿意被我拯救，无非是我的功德小点而已。但观众得到了一些信息，这也有功德。每一笔功德都是记在账上的。

佛陀说法49年，没人跟他对话，他能说出那么多经么？同样道理，我与你们对话，就是在发展我的理论呀。伏羲教经典，就要从整理这些对话中来。明白了么？

我为什么来这儿对话？这儿有人，有观众呀。前一阵子我在班级群对话来着。但那儿人太少了，几个月之后，就没有问题了。所以现在我又搬家回来了。

还有什么问题？

推而广之，这论坛有啥可玩的，这破坑你也跳？
别人骂你一句低智商穷光蛋你就发帖三十，哈哈

[hci]

关于智商，我在买买提科普都不止一次了。你们还是纠结这个，我就说点新的内容。

我老婆研究生实验室里曾经有一个全球智商最高的人， 这是权威机构认证的全球智商最高的人。我老婆导师很自豪，贴在自己办公室门上的，“全球智商最高的人是我的学生”。这位学生还是个白男，我在参加他们聚会时见过，挺帅性格挺好的的一个小伙子。照说白男，美国社会对他们是好得不能再好了，智商又这么逆天，那成就，是不是也要逆天了？

你猜这位同学的结局如何？

推而广之，这论坛有啥可玩的，这破坑你也跳？
别人骂你一句低智商穷光蛋你就发帖三十，哈哈

[Caravel]

他的这个领域，computational conformal geometry，也可用几何代数简化。这个领域，是比较小众的，是对丘成桐的数学的直接应用。要我说，从格局上说，与我展望的这个方向比起来，差了点。这么说吧，他这玩意再成功，ACM也不会把图灵奖发给他。

还有动不动就“创立了一个新兴的交叉领域：计算共形几何”，这个说法可能有点过了。如果说计算共形几何就只是他那个流派的，对。但计算共形几何还有其他流派，比如用几何代数来做的，好像也不比他晚。不过丘成桐那家的人就这样，呵呵。

我觉得顾险峰那种搞法不行，他最多计算一个极端简化的例子，声称掌握了整个AI的原理，搞理论的一般都是这个调门儿，还有伯克利那个ma yi。实际上，AI在非常广泛的例子里面都是work的, 现在根本解释不了。

前几天听了DeepMind的一个podcast，讲multi modal learning，这个方向似乎进展不下，就是图像和语言，都可以serialize，统一用transformer来训练。

[Caravel]

关于智商，我在买买提科普都不止一次了。你们还是纠结这个，我就说点新的内容。

我老婆研究生实验室里曾经有一个全球智商最高的人， 这是权威机构认证的全球智商最高的人。我老婆导师很自豪，贴在自己办公室门上的，“全球智商最高的人是我的学生”。这位学生还是个白男。照说白男，美国社会对他们是好得不能再好了，智商又这么逆天，那成就，是不是也要逆天了？

你猜这位同学的结局如何？

人类的文明是储存着群体智能里面，个人高一点低一点，起不了决定性作用。人类历史这么多年，智商可比牛顿爱因斯坦的没有几千个也有几百个。

[FGH]

说得好，有深度。信息论和微分几何的结合能否展开说说？为什么需要微分几何（我不懂微分几何）？以AI绘画为例，其本质是学习某类画之上的一个概率分布。其概率空间维数太高，很难处理，是不是把这类画用微分几何来建模？为什么要用到Clifford algebra?

我个人感觉diffusion model回避了这个问题，加噪声的目的是平滑其概率分布（或者说抹平其流形）。想想也挺神奇的，一般对噪声避之唯恐不及，这里加了噪声居然更好。

加噪声是为了让AI跳出某一个局部最优点，争取找到整体或者更大局部的最优点。

[yaoerduo3]

x

[Caravel]

墒减大的原理是对的，但是具体怎么回事根本解释不清楚，微分几何，什么压缩，那个ma yi怎天在微博上promote自己的观点，AI本质上跟Wolfrom搞的那种自动机一样，很难解释，只能演化计算。

从第一性原理来说，这些想法都是很明显的，都不算什么深刻见识。上面零零碎碎不同人都提到了。数学工具是用来描述现象的。有什么现象，就要用相应的工具。

比如为什么要用微分几何？上面不是有人说了那么，机器学习，特别是深学，每一步都是在算微分，明显是在deal with一个高维流形。那么多参数，其实在approximate这个流形的各点。这当然很不efficient的。用微分几何，也许有简洁的公式来表示，而不需要用大量点来cover。也就是说，也许不需要那么多数据，那么多算力。

为什么用信息论，上面我说了，智能的本质就是墒减，或者叫压缩。心理学里面少有的几个严格定量关系，可以用信息论推出来。认知心理学刚开始的时候，认为认知就是信息处理。当然后来认知心理学被犹太人带偏了路，天天搞什么bias，入了歧途，那是后话。

要用信息论，那就得把概率分布搞清楚。这些分布的support，当然是信息处理的input/output的参数空间。人类知道的代表空间的学问，就是几何。这就是为什么要用Clifford algebra， 因为它其实是几何代数，它直接表示空间，很直观。各个维度的basis，都有相应的量直接表示，正负直接就代表方向（手性）。在这个代数中，一切空间算符，平移也好，缩放也好，都可简化为同一个算符，那就是旋转。还有一个极大的好处，这个代数很容易得出coordinate-free的结论。这样需要学很多本书的数学，都可统一到一本书中，还能更深刻的揭示其相互关系。我上面提了，整个物理学，可以用几何代数极大的简化。所以发展这一套的物理学家，频频被物理学会授予教育奖，这应该就是物理学会官方的态度。

。。。

[yaoerduo3]

x

[FoxMe]

我每贴都是借别人的话头来说我的观点，在教育人，拯救人，这是积德。人不愿意被我拯救，无非是我的功德小点而已。但观众得到了一些信息，这也有功德。每一笔功德都是记在账上的。

佛陀说法49年，没人跟他对话，他能说出那么多经么？同样道理，我与你们对话，就是在发展我的理论呀。伏羲教经典，就要从整理这些对话中来。明白了么？

我为什么来这儿对话？这儿有人，有观众呀。前一阵子我在班级群对话来着。但那儿人太少了，几个月之后，就没有问题了。所以现在我又搬家回来了。

还有什么问题？

兄台所言极是，功德无量，在下是听众之一。还在等史版的翻译。

买买提乌烟瘴气，我为啥还来？毕竟还是有些高人，大家能交流。如果根本不了解新技术，一上来就踩死，不是科学的态度。

[TheMatrix2]

这论坛不让删帖，很无赖，能编辑，还没有无赖到家，以后不再发帖。

为什么也删贴？论坛本来就是匿名，还需要删贴吗？说出的话也都是正大光明的。你不是吗？