这一点指出的是这个方法的“合理性”。概念是有大小的，概念之间是有关系的。不分大小，不管概念之间的关系，硬输入模型，效果绝对是差的。TheMatrix 写了： 2025年 1月 9日 15:57 2. 把世界知识变成文本，这本身就是对概念大小的一种分析归纳和总结。大的概念就应该更频繁的出现在语句之中。说大和小已经不准确了。“爱”和“苹果”这两个概念谁大？已经不是大小的简单关系了。世界知识文本的整体，就给出了所有概念之间的关系。
不是说架构不应该变。神经网络的架构肯定会演进的。但是能以数据解决的，就优先以数据解决。TheMatrix 写了： 2025年 1月 9日 16:12 这一点指出的是这个方法的“合理性”。概念是有大小的，概念之间是有关系的。不分大小，不管概念之间的关系，硬输入模型，效果绝对是差的。
但是概念大小，概念之间的关系怎么表示？以神经网络的连接来表示吗？怎么连接？怎么架构？不知道。
但是，把世界知识变成语言，从外部来表示概念之间的关系，以数据的形势输入“现有”的语言模型。这是我在这一波AI发展中，屡次被教育了的。
架构也可以说是算法：TheMatrix 写了： 2025年 1月 9日 16:17 不是说架构不应该变。神经网络的架构肯定会演进的。但是能以数据解决的，就优先以数据解决。
数据 --> 架构 --> 数据 --> 架构 --> ...
迭代发展。
你说的这个问题不大。tfusion 写了： 2025年 1月 8日 01:50 哲学家做的就是拍脑袋提出个结论。没有推理，靠的是不完全归纳。
哲学家不知道的是，归纳法无法得出所有真理。何况他们靠的是不完全归纳法。
基本来说，“所有的知识都可以用语言来表达"就是错的。
有无穷知识是任何语言都无法表达的。
TheMatrix 写了： 2025年 1月 9日 15:57 我觉得一个方法是：把视觉模型中提炼出来的知识，变成语句，输入到语言模型中。
比如视觉模型看了一个视频之后，提炼出如下的语句：
“我的面前是桌子”
“桌子上面有一个苹果”
“桌子上面有一个橙子”
“苹果在橙子的左边”
....
这就是世界知识。这样的知识不变成语句的话，它不会存在于任何现有的文本之中。
这个方法有很多优点：
1. 首先，它是利用了LLM的成功。把世界知识变成文本，和已有的文本一起输入LLM中。不存在heterogeneous的问题了。
2. 把世界知识变成文本，这本身就是对概念大小的一种分析归纳和总结。大的概念就应该更频繁的出现在语句之中。说大和小已经不准确了。“爱”和“苹果”这两个概念谁大？已经不是大小的简单关系了。世界知识文本的整体，就给出了所有概念之间的关系。
记录一下几个问题：TheMatrix 写了： 2025年 1月 9日 15:57 我觉得一个方法是：把视觉模型中提炼出来的知识，变成语句，输入到语言模型中。
比如视觉模型看了一个视频之后，提炼出如下的语句：
“我的面前是桌子”
“桌子上面有一个苹果”
“桌子上面有一个橙子”
“苹果在橙子的左边”
....
这就是世界知识。这样的知识不变成语句的话，它不会存在于任何现有的文本之中。
这个方法有很多优点：
1. 首先，它是利用了LLM的成功。把世界知识变成文本，和已有的文本一起输入LLM中。不存在heterogeneous的问题了。
2. 把世界知识变成文本，这本身就是对概念大小的一种分析归纳和总结。大的概念就应该更频繁的出现在语句之中。说大和小已经不准确了。“爱”和“苹果”这两个概念谁大？已经不是大小的简单关系了。世界知识文本的整体，就给出了所有概念之间的关系。
1和2相当于：图片生成语句，和语句生成图片。这两个是逆过程。从大的步骤上看，应该可以用类似autoencoder的方法完善这个两个过程。TheMatrix 写了： 2025年 1月 12日 20:55 记录一下几个问题：
1，从视频和图片中生成语句以表达看到的知识。
2，以生成式的方式构建场景。场景应该能够以视频，图片，文字的形式表达。
3，在场景下回答问题。相当于in-context learning，但是这个context可以是网络自己生成的。但是必须能够接受质询。比如问：what do you have in mind? or what do you have in your context?
4，in-context learning应该想办法保持，也就是应该想办法修改weights，相当于continual learning。
世界模型里面混入语言我认为误入歧途了TheMatrix 写了： 2025年 1月 15日 14:54 1和2相当于：图片生成语句，和语句生成图片。这两个是逆过程。从大的步骤上看，应该可以用类似autoencoder的方法完善这个两个过程。
autoencoder确实是很精妙的想法：它的目的是tokenize输入，或者说input data representation。是一个encoding的过程。但是它的方法不是直接设计如何encode，而是加一个decode也就是generation的模块。encode完了之后直接decode，看看能不能把input再生成回来。人工label都不需要的，可以说是self-supervised。
语句生成图片，这是现在各大图片模型都在做的。比如diffusion model。把它和图片生成语句联合起来看，这是一个autoencoder的过程。
你这当然好。但是你没有用上LLM的成功。Caravel 写了： 2025年 1月 15日 15:05 世界模型里面混入语言我认为误入歧途了
动物哪怕很低等的动物没有语言可以有很好的世界模型
可以很敏捷的运动捕食
image被转成了某种embedding，这是人工智能最大的秘密
现在还没有比发现
