可能很快会看到大语言模型的极限

[TheMatrix]

[Hrnmsl]

转向了，
去学习用数学表述的知识，
数学物理计算机等等。不知道读了计算机人工智能算法后，了解了自己的身世，会不会顿悟。

需要新的算法。

[TheMatrix]

转向了，
去学习用数学表述的知识，
数学物理计算机等等。不知道读了计算机人工智能算法后，了解了自己的身世，会不会顿悟。

需要新的算法。

我觉得还是神经网络结构的演进。

比如，现在在研究的一块就是，back propagation的替代。这是大的结构改进。

[Hrnmsl]

我觉得还是神经网络结构的演进。

比如，现在在研究的一块就是，back propagation的替代。这是大的结构改进。

肯定离不开神经网络。

Back propagation 是很老的算法。

[TheMatrix]

肯定离不开神经网络。

Back propagation 是很老的算法。

对。back propagation一直受到一定程度的质疑，但是还没有替代。

[Caravel]

我觉得还是神经网络结构的演进。

比如，现在在研究的一块就是，back propagation的替代。这是大的结构改进。

网上很多流程GPT5的都是假消息，不大可能把数据量再加十倍就出来AGI。新的结构创新应该是需要的。

[newIdRobot]

不到半年小甜甜就要成牛夫人了，比虚拟现实还惨

[Caravel]

不到半年小甜甜就要成牛夫人了，比虚拟现实还惨

前途是有的，但是不能太心急，半年就出成果肯定是不行的

[TheMatrix]

前途是有的，但是不能太心急，半年就出成果肯定是不行的

Low hanging fruit 很多，现在是平铺。能不能铺大了上攻不知道，感觉没那么容易。人类应该是一个阶段一个阶段往上走。所谓奇点这个东西，我觉得too good to be true.

[Caravel]

Low hanging fruit 很多，现在是平铺。能不能铺大了上攻不知道，感觉没那么容易。人类应该是一个阶段一个阶段往上走。所谓奇点这个东西，我觉得too good to be true.

LLM只是开启了一个点，就好比CPU里面有计算单元，存储都有好几种寄存器，内存。 LLM可能只是发现了其中一部分真理，比如存储现在就没有很好的办法，还有高级分层决策，长程决策等等问题

最近FB开源的语义分割模型也很不错，基本是万能分割了。视频里面基本可以得到consistent的语义单元

多块积木需要拼再一起。

[TheMatrix]

LLM只是开启了一个点，就好比CPU里面有计算单元，存储都有好几种寄存器，内存。 LLM可能只是发现了其中一部分真理，比如存储现在就没有很好的办法，还有高级分层决策，长程决策等等问题

最近FB开源的语义分割模型也很不错，基本是万能分割了。视频里面基本可以得到consistent的语义单元

多块积木需要拼再一起。

对。一块一块的积木，还需要很多块。这才像样。

FB的语义分割模型，你是指Segment Anything那篇文章吗？那个是分割图像分割吧？

[萧武达]

书早说了GPT热是商业行为
学习训练算法还要等待突破
基于过量数据加概率的不中
不是人类智能的学习方程式

[TheMatrix]

语言模型不是知识模型
ChatGPT是生成自然语言的工具
ChatGPT并不是输出知识的工具
输出语言载有的知识只是副产品

嗯。如果输出的不是自然语言，而是更高层次的概念，就成了。但是输入的材料又不够了。所以还是要回到理解系统，也就是transformer中的encoder部分，或者叫embedding，very sophisticated embedding.

[TheMatrix]

数据并不是知识
从 data　structures 到 cognitive architecture
ＡＩ需要基于本体论和语义网络的认知体系结构

这里本体论指什么？

[TheMatrix]

GPT是一个基于神经网络的语言模型，它的设计思想是使用大规模语料库进行预训练，然后使用fine-tuning技术在具体任务上进行微调。因此，GPT本质上是一个基于统计的模型，它并没有显式的知识表示或认知体系结构。

实际上，GPT是一种基于深度学习的生成式语言模型，它并不是基于本体论和语义网络的认知体系结构。虽然本体论和语义网络可以为GPT提供额外的语义信息，但它们并不是GPT的基本框架。

使用本体论和语义网络等知识表示方法可以为GPT等语言模型提供更丰富和精确的知识背景。例如，可以使用本体论来定义词汇和概念之间的关系，以及它们与世界的联系，以此作为GPT生成文本的依据。类似地，语义网络可以帮助GPT更好地理解单词之间的关系和意义。Soar可以作为GPT的一种认知架构，提供更强大的推理和规划能力。

基于本体论和语义网络的认知体系结构与GPT结合起来需要解决许多挑战，包括如何将本体论和语义网络集成到GPT的体系结构中，如何进行有效的知识表示和推理，以及如何处理大规模知识图谱的数据等等。

虽然可以使用Ontology和Soar等知识表示和认知体系结构来增强GPT，但是这需要更深入的研究和开发。一些研究者正在探索如何将知识表示和推理引入到GPT中，以提高其性能和可解释性。但目前来说，将GPT与Ontology和Soar等知识表示和认知体系结构相结合还处于探索阶段。

因此，要基于本体论、语义网络和Soar构建语言模型，需要更复杂的架构和算法。当前的研究重点是探索这些领域的结合，以提高自然语言处理的语义理解和推理能力。

感觉这篇就是GPT写的。

[honyi97]

人工智能的演进太快了，生物的演化要几百万年。弄不好到某个时刻，AI可以自我进化，那就是不断加速了。

[magicknight]

对。一块一块的积木，还需要很多块。这才像样。

FB的语义分割模型，你是指Segment Anything那篇文章吗？那个是分割图像分割吧？

那个确实是分割图像的

我估计他不懂AI和英文，看的中文翻译，直译的话确实会翻译成“语义分割”，然后这货望文生义理解成语言模型了。

[TheMatrix]

那个确实是分割图像的

我估计他不懂AI和英文，看的中文翻译，直译的话确实会翻译成“语义分割”，然后这货望文生义理解成语言模型了。

你武断了。Caravel据我的观察，对科技前沿的跟踪很及时很准确的。他的兴趣点在于AI和物理，主要是这两个，我觉得。Meta这篇Segment Anything的文章，我不知道他看没看摘要。说语义分割可能也是有道理的。