sora，世界模型和流体力学

[atman]

我曾经有个梦想，仅用流体力学中的欧拉法来描述世界，取消质点实体的概念。在欧拉法描述的流体中，没有任何流体微团，只有每个空间坐标上的各种属性，温度，压力，速度，密度等等。没有流体微团从一处运动到另一处，只有各个坐标上的属性变化。如果用这种观点看世界，世界上就没有任何物体在运动，只有空间各处的颜色温度等等属性在变化。比如太阳东升西落，其实只是早上东方天空中一块圆形区域呈现金黄色，下午西方天空一块圆形区域呈现金黄色。就像一排灯泡，依次点亮再熄灭，看起来就像一个灯泡从一边运动到另一边。不过在流体力学里，还是要靠把牛顿力学用在拉格朗日法上，再和欧拉法像结合，才能掌握空间何处属性的变化规律。我设想过如何不用拉格朗日法去解决欧拉法的动力学问题。现在sora近乎实现了这个设想。在sora生成的世界中，没有任何实体，只有各个像素的颜色变化。像素变化的规律也不通过牛顿力学获得，而是从大量视频中总结出来。但是不确定仅通过学习二维视频能不能得到准确的规律，怕是需要学习三维视频才行。也许这是sora视频中各种bug的原因。

[TheMatrix]

我曾经有个梦想，仅用流体力学中的欧拉法来描述世界，取消质点实体的概念。在欧拉法描述的流体中，没有任何流体微团，只有每个空间坐标上的各种属性，温度，压力，速度，密度等等。没有流体微团从一处运动到另一处，只有各个坐标上的属性变化。如果用这种观点看世界，世界上就没有任何物体在运动，只有空间各处的颜色温度等等属性在变化。比如太阳东升西落，其实只是早上东方天空中一块圆形区域呈现金黄色，下午西方天空一块圆形区域呈现金黄色。就像一排灯泡，依次点亮再熄灭，看起来就像一个灯泡从一边运动到另一边。不过在流体力学里，还是要靠把牛顿力学用在拉格朗日法上，再和欧拉法像结合，才能掌握空间何处属性的变化规律。我设想过如何不用拉格朗日法去解决欧拉法的动力学问题。现在sora近乎实现了这个设想。在sora生成的世界中，没有任何实体，只有各个像素的颜色变化。像素变化的规律也不通过牛顿力学获得，而是从大量视频中总结出来。但是不确定仅通过学习二维视频能不能得到准确的规律，怕是需要学习三维视频才行。也许这是sora视频中各种bug的原因。

sora不需要物体分割吗？有没有相当于物体分割的步骤？

[atman]

sora不需要物体分割吗？有没有相当于物体分割的步骤？

好像没有

[Caravel]

我曾经有个梦想，仅用流体力学中的欧拉法来描述世界，取消质点实体的概念。在欧拉法描述的流体中，没有任何流体微团，只有每个空间坐标上的各种属性，温度，压力，速度，密度等等。没有流体微团从一处运动到另一处，只有各个坐标上的属性变化。如果用这种观点看世界，世界上就没有任何物体在运动，只有空间各处的颜色温度等等属性在变化。比如太阳东升西落，其实只是早上东方天空中一块圆形区域呈现金黄色，下午西方天空一块圆形区域呈现金黄色。就像一排灯泡，依次点亮再熄灭，看起来就像一个灯泡从一边运动到另一边。不过在流体力学里，还是要靠把牛顿力学用在拉格朗日法上，再和欧拉法像结合，才能掌握空间何处属性的变化规律。我设想过如何不用拉格朗日法去解决欧拉法的动力学问题。现在sora近乎实现了这个设想。在sora生成的世界中，没有任何实体，只有各个像素的颜色变化。像素变化的规律也不通过牛顿力学获得，而是从大量视频中总结出来。但是不确定仅通过学习二维视频能不能得到准确的规律，怕是需要学习三维视频才行。也许这是sora视频中各种bug的原因。

Sora没有真正的世界模型

婴儿生下来不不久就有物理simulation的能力，可以预测东西会掉下来之类的。Sora最多也就是model了这种能力。而不是发现了牛顿力学。

[atman]

Sora没有真正的世界模型

婴儿生下来不不久就有物理simulation的能力，可以预测东西会掉下来之类的。Sora最多也就是model了这种能力。而不是发现了牛顿力学。

也许理解世界并不需要牛顿力学。如果可以仅用欧拉法来描述世界的变化的话。

[Caravel]

也许理解世界并不需要牛顿力学。如果可以仅用欧拉法来描述世界的变化的话。

物理世界不是流体啊，至少在宏观尺度上是这样，直到夸克这个层级都不存在你说的这种描述。

Sora的观察精度才多高？

别看大模型参数挺多，但是跟真实世界的变量比起来就不值一提

[island]

世界模型是个很好的口号，但我不认为工业计算的方向。

娱乐视屏完全没有问题。在sora的wiki网页上有个小猫和一个正在睡觉的人的视频。乍一看没有任何问题，但仔细看人翻身之后原先枕头下面那只手诡异的出现了，这和人翻身之后的姿势完全不符。

计算力学在过去的几十年了花了大量的时间来处理大变形的网格扭曲交叉或者重新生成等问题，即使是现在这些问题也没有完全解决。

但生成看的过去的图像或者视频早就不是问题了。好莱坞的用的已经非常成熟。

CFD毕竟不是Colorful Fluid Dynamics.

Sora没有真正的世界模型

婴儿生下来不不久就有物理simulation的能力，可以预测东西会掉下来之类的。Sora最多也就是model了这种能力。而不是发现了牛顿力学。

[atman]

物理世界不是流体啊，至少在宏观尺度上是这样，直到夸克这个层级都不存在你说的这种描述。

Sora的观察精度才多高？

别看大模型参数挺多，但是跟真实世界的变量比起来就不值一提

目前的物理学对于流体以外的东西是没用过欧拉法描述世界，这只是我的设想。而sora只是向我设想的方向迈了一大步，在一定程度上解决了不用实体概念下的牛顿力学如何给出万象变化的规律。我不确定它能走多远。我觉得再进一步的话很可能需要用三维视频训练才行。