# 生成式 AI 的理论边界（一）：流形假设解释了什么？

*Theoretical Limits of Generative AI, Part 1: What Does the Manifold Hypothesis Explain?*

## 1．从一句解释开始

学习对比学习时，我在一份 AI 协助生成的课件中读到：“而是通过一致性约束，让模型自己长出一个近似流形的结构。”这句话解释得很顺，却留下疑问：什么是流形？“长出来”是比喻、实验观察，还是数学保证？

对比学习让正样本表示接近、负样本表示分开。SimCSE 把同一句子经过不同 dropout 后的表示配成正样本；dropout 随机屏蔽内部输出，并不改写原句[1]。训练鼓励表示对这种扰动稳定，却没有直接要求它成为流形。

数学上的流形，是每一点附近都像某个固定维度欧几里得空间的结构；相关学习理论往往再要求光滑性。流形假设认为，高维数据主要位于低维流形上或附近。更稳妥的解释是：训练可能形成有用的低维表示；是否满足流形条件，需要检验。对比学习也可以从正样本对齐、归一化表示分散等性质分析，而不必预先认定语义流形存在[2]。

## 2．流畅体验依赖多少几何结构？

以人脸为例：固定身份和背景，只改变姿态、光照，几十万个像素可能主要由少数参数控制。在生成过程光滑且局部可辨识等条件下，这组图像可以近似形成低维流形。识别系统由此可能忽略部分拍摄变化，保留身份特征。但加入遮挡、身份切换和复杂背景后，结构未必仍然简单。

我的主观猜想是，低维结构与高维测度集中贡献了 LLM “99%”的成功体验。不过，这个数字没有测量依据，只表达强烈直觉，等待验证。测度集中是某些随机量接近典型值的概率性质，不等于低维分布；高维也不自动带来有利集中。若要量化贡献，必须定义成功指标，并设计能区分几何结构、语言组合规律、数据规模与训练方法影响的实验。

更有依据的判断是：流畅泛化利用了大量共享结构，但这些结构未必都是流形。Havrilla 与 Liao 确实在流形及函数规则性条件下建立 Transformer 泛化理论，并与语言模型实验比较[3]。这说明流形是一条具体理论路线，而非所有 LLM 的必要前提。

## 3．一个可能产生严重错误的思想实验

设想医疗材料在某种连续表示中形成两条交叉曲线：一条对应可以使用某药的病例，另一条对应存在禁忌的病例。交点附近形成十字，移除中心留下四条分支，不是普通一维流形的局部结构。

若模型未保留决定分支的区别，又把相近病例的建议推广过去，就可能给禁忌病例推荐该药，造成严重后果。但这是人为构造，不是真实医学实验。危险还依赖表示混合、关键信息缺失或推断失败，不能仅由“非流形”推出；即使几何光滑，错误标注也会造成伤害。

现实数据还包含多义词、否定、时间变化、相互矛盾的记录。Robinson 等对多个开源 LLM 的输入 token embedding 进行检验，发现部分 token 邻域不符合所检验的局部规则性假设[4]。其检验有尺度等条件，研究对象也不同于原始语料。这支持进一步检查几何假设，不能直接证明它是具体错误的原因。

不过，这些几何异常是否、以及在多大程度上影响用户感受到的流畅性和回答正确率，仍需直接实验验证。本文不将二者视为已经确立的因果关系。

## 4．现代 LLM 实际怎样工作？

截至 2026 年 10 月，常见自回归 Transformer 的基本流程仍可概括为：分词、向量表示、多层注意力与前馈网络、残差连接和归一化，最后计算下一 token 的概率[5]。训练通常优化实际下一 token 的对数概率；概率链式法则允许这样分解序列，无须先证明流形存在。具体系统还可能结合指令训练、偏好或强化学习，以及检索和工具。

这些方法能够改进表现，却不能把常见续写自动变成事实证据。“Tom 买了车”并不证明他去过经销商，也可能是网购送货。针对身份、否定和关键例外的测试，比回答是否流畅更能检验可靠性。

**LLM 的成功体现了共享结构的价值，但不能证明某种特定几何假设普遍成立。真正值得警惕的，是把解释性的假设讲成既定事实，再把有限条件下的成功理解成未经校验的可靠性保证。**

## 5．打开洗碗机之后

LLM 作为对话工具，展现出难以比拟的鲜活力量；但深入学习其机理，就像尝试自己拆解、理解并改造微波炉或洗碗机，需要面对远比日常使用更庞杂的知识与技术细节。打开外壳，首先得到的可能是挫败，而不是答案；没有这种挫败，也很难发现自己此前理解得过于轻巧。

在探讨训练数据的流形假设时，我逐渐发现，自己面对的是一个不断移动的目标：不同模型，甚至同一模型的不同版本，对同一问题也会给出不尽一致的解释。这让我想起图书馆学与传统印刷工业所重视的版本、存档与引证。若不保存原始对话、模型版本和生成时间，事后便很难举证某次回答究竟主张了什么，更难追溯其依据。解释发生变化，并不等于理论本身改变；它首先提醒我们，生成的回答也需要留下可核查的记录。

作者并非人工智能研究人员，相关研究能力、学术资源与实验条件有限。本文在 LLM 协助下检索文献、梳理概念与起草，属于探索性讨论，未经同行评审，未独立复现实验。参考文献尚待作者发布前逐一精读，引用与推理责任由作者承担。

## 参考文献

[1] Gao, T., Yao, X., & Chen, D. (2021). SimCSE: Simple Contrastive Learning of Sentence Embeddings. *EMNLP*, 6894–6910. [公开全文](https://aclanthology.org/2021.emnlp-main.552.pdf).

[2] Wang, T., & Isola, P. (2020). Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere. *ICML*, PMLR 119, 9929–9939. [公开全文](https://proceedings.mlr.press/v119/wang20k/wang20k.pdf).

[3] Havrilla, A., & Liao, W. (2024). Understanding Scaling Laws with Statistical and Approximation Theory for Transformer Neural Networks on Intrinsically Low-dimensional Data. *arXiv:2411.06646*. [公开全文](https://arxiv.org/html/2411.06646v1). 重点：§2.2、§3、Appendix B。

[4] Robinson, M., Dey, S., & Chiang, T. (2025). Token Embeddings Violate the Manifold Hypothesis. *NeurIPS 38*. [公开全文](https://arxiv.org/html/2504.01002v3). 重点：§4–§7。

[5] Vaswani, A., et al. (2017). Attention Is All You Need. *Advances in Neural Information Processing Systems*, 30. [公开全文](https://arxiv.org/pdf/1706.03762). 此文提供 Transformer 架构源头，不是 2026 年所有系统的完整说明。

此博文来自论坛版块：STEM