新未名空间

eflame99 写了： 2024年 12月 31日 17:54 人类的学习发生在多个不同层面，在低层的神经网络有类似于back propagation的机制，例如反复使用可以促使邻近的神经元连接增强。最近大模型也涌现了一些类似于人类高级学习的能力比如in context learning 和 chain of thought，这些都不需要back propagation。

另外back propagation不能和gradient descent混为一谈。back propagation 是由neural network topology决定的，也可以很快。你说的局限主要是gradient descent。生物神经系统显然不使用gradient descent。

TheMatrix 写了： 2025年 1月 1日 10:58

TheMatrix 写了： 2025年 1月 1日 11:00

eflame99 写了： 2025年 1月 1日 17:35 Chain of thought发生在inference time当然不会involve back propagation,和这个model怎么trained没有任何关系。你应该是个外行。

TheMatrix 写了： 2025年 1月 1日 17:44 我指的应该叫chain of thought training:

wdong 写了： 2025年 1月 3日 10:05 我同意楼主在标题中表达的观点。但是我不同意帖子内容的观点。feedback和back propagation还是一样的。我觉得下一步是进化算法。

wdong 写了： 2025年 1月 3日 10:05 我同意楼主在标题中表达的观点。但是我不同意帖子内容的观点。feedback和back propagation还是一样的。我觉得下一步是进化算法。

TheMatrix 写了： 2024年 12月 29日 15:09 feedback到底应该是啥，现在我也不知道。

TheMatrix 写了： 2025年 1月 3日 13:28 关于世界模型，你有没有什么想法？

wdong 写了： 2025年 1月 3日 10:05 我同意楼主在标题中表达的观点。但是我不同意帖子内容的观点。feedback和back propagation还是一样的。我觉得下一步是进化算法。

TheMatrix 写了： 2025年 1月 4日 14:04 寻找更高效的神经网络架构，这点我想大家想法是一样的。

feedback大概的形状是，直接连根线回到比较远的前层。相当于直接在现有神经网络架构上动手脚。改动的结果肯定是大的，速度肯定是快的。但是效果好不好要试探。

Evolutionary Algorithms，系统化的寻找架构改进方案。想法是好的。但也是不知道怎么走，另外，一个神经网络就已经很大开销了，如果population of 神经网络，可能开销不起。

wdong 写了： 2025年 1月 5日 08:57 直接连根线不就是resnet吗？

wdong 写了： 2025年 1月 5日 10:18 理解你的意思了。就是往回的feed forward。