可能很快会看到大语言模型的极限 TheMatrix 2023年 4月 18日 16:03 2010 次阅读(1847 来自论坛) / 21 条评论 此博文来自论坛版块：史海钩沉（History） 共 21 条评论 TheMatrix[博主] 2023年 4月 19日 09:22 magicknight 写了： 2023年 4月 19日 04:33 那个确实是分割图像的 我估计他不懂AI和英文，看的中文翻译，直译的话确实会翻译成“语义分割”，然后这货望文生义理解成语言模型了。 你武断了。Caravel据我的观察，对科技前沿的跟踪很及时很准确的。他的兴趣点在于AI和物理，主要是这两个，我觉得。Meta这篇Segment Anything的文章，我不知道他看没看摘要。说语义分割可能也是有道理的。 评论 magicknight 2023年 4月 19日 04:33 TheMatrix 写了： 2023年 4月 18日 19:31 对。一块一块的积木，还需要很多块。这才像样。 FB的语义分割模型，你是指Segment Anything那篇文章吗？那个是分割图像分割吧？ 那个确实是分割图像的 我估计他不懂AI和英文，看的中文翻译，直译的话确实会翻译成“语义分割”，然后这货望文生义理解成语言模型了。 评论 honyi97 2023年 4月 19日 03:44 人工智能的演进太快了，生物的演化要几百万年。弄不好到某个时刻，AI可以自我进化，那就是不断加速了。 评论 TheMatrix[博主] 2023年 4月 18日 21:06 kc135 写了： 2023年 4月 18日 20:59 GPT是一个基于神经网络的语言模型，它的设计思想是使用大规模语料库进行预训练，然后使用fine-tuning技术在具体任务上进行微调。因此，GPT本质上是一个基于统计的模型，它并没有显式的知识表示或认知体系结构。 实际上，GPT是一种基于深度学习的生成式语言模型，它并不是基于本体论和语义网络的认知体系结构。虽然本体论和语义网络可以为GPT提供额外的语义信息，但它们并不是GPT的基本框架。 使用本体论和语义网络等知识表示方法可以为GPT等语言模型提供更丰富和精确的知识背景。例如，可以使用本体论来定义词汇和概念之间的关系，以及它们与世界的联系，以此作为GPT生成文本的依据。类似地，语义网络可以帮助GPT更好地理解单词之间的关系和意义。Soar可以作为GPT的一种认知架构，提供更强大的推理和规划能力。 基于本体论和语义网络的认知体系结构与GPT结合起来需要解决许多挑战，包括如何将本体论和语义网络集成到GPT的体系结构中，如何进行有效的知识表示和推理，以及如何处理大规模知识图谱的数据等等。 虽然可以使用Ontology和Soar等知识表示和认知体系结构来增强GPT，但是这需要更深入的研究和开发。一些研究者正在探索如何将知识表示和推理引入到GPT中，以提高其性能和可解释性。但目前来说，将GPT与Ontology和Soar等知识表示和认知体系结构相结合还处于探索阶段。 因此，要基于本体论、语义网络和Soar构建语言模型，需要更复杂的架构和算法。当前的研究重点是探索这些领域的结合，以提高自然语言处理的语义理解和推理能力。 感觉这篇就是GPT写的。 评论 TheMatrix[博主] 2023年 4月 18日 20:31 kc135 写了： 2023年 4月 18日 20:28 数据并不是知识 从 data structures 到 cognitive architecture ＡＩ需要基于本体论和语义网络的认知体系结构 这里本体论指什么？ 评论 TheMatrix[博主] 2023年 4月 18日 19:54 kc135 写了： 2023年 4月 18日 19:38 语言模型不是知识模型 ChatGPT是生成自然语言的工具 ChatGPT并不是输出知识的工具 输出语言载有的知识只是副产品 嗯。如果输出的不是自然语言，而是更高层次的概念，就成了。但是输入的材料又不够了。所以还是要回到理解系统，也就是transformer中的encoder部分，或者叫embedding，very sophisticated embedding. 评论 萧武达 2023年 4月 18日 19:50 书早说了GPT热是商业行为 学习训练算法还要等待突破 基于过量数据加概率的不中 不是人类智能的学习方程式 评论 TheMatrix[博主] 2023年 4月 18日 19:31 Caravel 写了： 2023年 4月 18日 19:12 LLM只是开启了一个点，就好比CPU里面有计算单元，存储都有好几种寄存器，内存。 LLM可能只是发现了其中一部分真理，比如存储现在就没有很好的办法，还有高级分层决策，长程决策等等问题 最近FB开源的语义分割模型也很不错，基本是万能分割了。视频里面基本可以得到consistent的语义单元 多块积木需要拼再一起。 对。一块一块的积木，还需要很多块。这才像样。 FB的语义分割模型，你是指Segment Anything那篇文章吗？那个是分割图像分割吧？ 评论 Caravel 2023年 4月 18日 19:12 TheMatrix 写了： 2023年 4月 18日 18:55 Low hanging fruit 很多，现在是平铺。能不能铺大了上攻不知道，感觉没那么容易。人类应该是一个阶段一个阶段往上走。所谓奇点这个东西，我觉得too good to be true. LLM只是开启了一个点，就好比CPU里面有计算单元，存储都有好几种寄存器，内存。 LLM可能只是发现了其中一部分真理，比如存储现在就没有很好的办法，还有高级分层决策，长程决策等等问题 最近FB开源的语义分割模型也很不错，基本是万能分割了。视频里面基本可以得到consistent的语义单元 多块积木需要拼再一起。 评论 TheMatrix[博主] 2023年 4月 18日 18:55 Caravel 写了： 2023年 4月 18日 18:44 前途是有的，但是不能太心急，半年就出成果肯定是不行的 Low hanging fruit 很多，现在是平铺。能不能铺大了上攻不知道，感觉没那么容易。人类应该是一个阶段一个阶段往上走。所谓奇点这个东西，我觉得too good to be true. 评论 Caravel 2023年 4月 18日 18:44 newIdRobot 写了： 2023年 4月 18日 18:22 不到半年小甜甜就要成牛夫人了，比虚拟现实还惨 前途是有的，但是不能太心急，半年就出成果肯定是不行的 评论 newIdRobot 2023年 4月 18日 18:22 TheMatrix 写了： 2023年 4月 18日 16:03 不到半年小甜甜就要成牛夫人了，比虚拟现实还惨 评论 Caravel 2023年 4月 18日 18:21 TheMatrix 写了： 2023年 4月 18日 17:55 我觉得还是神经网络结构的演进。 比如，现在在研究的一块就是，back propagation的替代。这是大的结构改进。 网上很多流程GPT5的都是假消息，不大可能把数据量再加十倍就出来AGI。新的结构创新应该是需要的。 评论 TheMatrix[博主] 2023年 4月 18日 18:05 Hrnmsl 写了： 2023年 4月 18日 17:59 肯定离不开神经网络。 Back propagation 是很老的算法。 对。back propagation一直受到一定程度的质疑，但是还没有替代。 评论 Hrnmsl 2023年 4月 18日 17:59 TheMatrix 写了： 2023年 4月 18日 17:55 我觉得还是神经网络结构的演进。 比如，现在在研究的一块就是，back propagation的替代。这是大的结构改进。 肯定离不开神经网络。 Back propagation 是很老的算法。 评论 查看全部评论 评论 登录用户才可以发表评论!
我估计他不懂AI和英文，看的中文翻译，直译的话确实会翻译成“语义分割”，然后这货望文生义理解成语言模型了。
学习训练算法还要等待突破
基于过量数据加概率的不中
不是人类智能的学习方程式
FB的语义分割模型，你是指Segment Anything那篇文章吗？那个是分割图像分割吧？
最近FB开源的语义分割模型也很不错，基本是万能分割了。视频里面基本可以得到consistent的语义单元
多块积木需要拼再一起。
Back propagation 是很老的算法。