新未名空间

程序=证明，Curry-Howard correspondence。可事实上，Deeplearning包括LLM等一直在抽象层面很容易解释，如Turing machine，Approximation universal theorem，Kolmogorov complexity等，都没问题，可无助益。内部机制一直无法解释清楚，这就使得Deeplearning几乎都是工程或者手艺。蛋白质解析我不懂，但数字电路等也是等同程序，没啥新鲜的。问题是，Deeplearning内部机制到底是啥？

DeepLearning真的能做原创性工作吗？理论上是不可能的。实践上，人利用它做辅助，可以快速完成原创，但两者不能混淆不清，原创属人，机械属它

做原创，要靠直觉，这是计算机或LLM做不了的。可做原创有没有rule或patterns？原创和rules和patterns看上去不兼容，难道是随机的？

这些里面，感觉最不靠谱的就是蛋白质解析。不知道为什么还获诺奖。
估计是懂蛋白质解析的人很少。即使懂，也不把真实情况说出来。

基本训练过程和步骤：

预训练（Pre-training）
结果：得到一个“基础模型”，它懂语言和知识，但还不会很好地按指令聊天或对齐人类偏好。

后训练 / 对齐（Post-training）
结果：变成能聊天、能用工具、风格接近“有点叛逆又有用”的Grok。

持续迭代与实时能力。

基本结构或模块：
原始Transformer是 编码器-解码器（Encoder-Decoder）结构：
每一层主要包含：

多头自注意力（Multi-Head Self-Attention）

前馈神经网络（Feed-Forward Network）

残差连接 + 层归一化（Residual + LayerNorm）

位置编码（Positional Encoding），因为注意力本身没有顺序信息，需要额外加入位置信息

就此，大家可以讨论其内部机制。