#21 Re: 评论一下苹果那篇论文
发表于 ： 2025年 6月 14日 16:25
还是没看明白老牛的吹牛。这几十万行程序当然不是老牛人手写的。
还是没看明白老牛的吹牛。这几十万行程序当然不是老牛人手写的。
程序写的？你的程序是看懂了要求自己写的，还是按照一定的规则写的？
20年前还没有LLM。需要（非程序员）人工帮忙“标记”。
很快就可以学习好的Caravel 写了： 2025年 6月 12日 12:44 https://machinelearning.apple.com/resea ... f-thinking
我读了一下，论文很简单，他其实用的测试集是一些类似于程序执行的游戏，比如汉诺塔，这样可以慢慢调控难度，以及验证中间过程的正确性。
很明显的时候，现在的大推理模型在中等复杂度比非推理模型强，但是复杂度超过一定的程度之后准确度都会归0。
我觉得这个实际上指出的是推理模型不会严格执行程序。比如高你给一段简单的loop程序，人是可以慢慢在纸上得到各个循环的正确解读，但是大模型做不到。
这个研究很好，他可能指出了大模型的一个根本短板，是以后改进的方向。
自我学习，可能不容易，但是可以一个技能一个技能地学习Caravel 写了： 2025年 6月 12日 17:05 一步步的走
我觉得现在大模型缺乏一个Meta thinking的过程
因为大模型就是生成模型，生成完了就结束了
人做完题目，还要回去把过程看一遍，再思考一下做对了没有，做完了没有，这个Meta thinking是跳出原来的生成过程。
也许真正的高级智能需要多个model协同
有了高级Meta过程，loop就很容易实现了，
这感觉根再深一层网络破解明斯基有异曲同工之妙
02年后期，我和同学就讨论过人工智能。当时能做到手写数字识别。我同学认为，语言非常重要。他一直认为GRE verbal表现人的智能，我一直认为逻辑表现人的智能。我当时问，只和人进行文字交流，人工智能能否获得只能，他认为不能。现在看来，是不是还是可能的？比如盲人？
老牛对超越人的智能表示乐观。不要太高估人。20+年前老牛做的NLP就超过了人类领域专家的阅读水平。也就是说，比人工的智能要高。bihai 写了： 2025年 6月 15日 12:40 02年后期，我和同学就讨论过人工智能。当时能做到手写数字识别。我同学认为，语言非常重要。他一直认为GRE verbal表现人的智能，我一直认为逻辑表现人的智能。我当时问，只和人进行文字交流，人工智能能否获得只能，他认为不能。现在看来，是不是还是可能的？比如盲人？
怎么做到的？我20年前帮一个图书馆系的学生分析文档，增加西班牙语字母，可以对多个文档之间进行相关性分析。但是现在看来连门都没进去。当时是直接把文档所有单词的频率记录下来形成一个向量，两个文档的频率向量进行点积，试图比较文档之间的关系。
老牛说的已经够多。等于自我人肉了。bihai 写了： 2025年 6月 19日 14:14 怎么做到的？我20年前帮一个图书馆系的学生分析文档，增加西班牙语字母，可以对多个文档之间进行相关性分析。但是现在看来连门都没进去。当时是直接把文档所有单词的频率记录下来形成一个向量，两个文档的频率向量进行点积，试图比较文档之间的关系。
牛教授当年做的什么可否展示一下？
佩服。你的理解和我基本一致。20年前我就看好人工智能，但是当时我没有理解语言处理的重要性。不过你当时为何有此机缘能够做这方面的工作呢？你那个产品是给公司做的吗？还是自己拿去卖或者提供服务了？牛河梁 写了： 2025年 6月 19日 14:25 老牛说的已经够多。等于自我人肉了。
老牛能说的是：
1/ 人脑（智能）如语言，并没有超过计算机科学/理论的极限。并没有计算机/数学定理说计算机不能做到人脑能做的事。包括NLP、包括写代码。
2/ 对于语言而言。并不是天马行空的随机密码。语言是用来交流的，因此必须以一种大众（读者）能理解的格式书写。这是计算机破解/理解人的语言的关键。
3/ 只要计算机的语言模型能力不弱于人的语言，都能做到理解人的语言。当年没有LLM不要紧。有很多老技术配上哪怕那年代的计算机，也可以做到。
4/ 这里面当然也有技术秘密。老牛接手的时候正确率在2/3左右。老牛的贡献是提高到不低于97%。很多用户提供的测试集100%。
5/ 这是一个产品。不是实验室灌水文章。
最后依惯例加一句自我吹捧：
老牛因此认为自己有足够的credibility对古文字破译。
不想离题太远。苹果这篇文章之所以没有新意，就是人也有这样的极限。
老牛机缘巧合有了这个机会为了这个系统放弃了读研究生。脑子不够用。至今最高学历仍然是土本。不过不在乎了。系统做出来后，也没有动力再念研究生了。不在乎一辈子土本。bihai 写了： 2025年 6月 19日 14:34 佩服。你的理解和我基本一致。20年前我就看好人工智能，但是当时我没有理解语言处理的重要性。不过你当时为何有此机缘能够做这方面的工作呢？你那个产品是给公司做的吗？还是自己拿去卖或者提供服务了？
需要指出的是，前些天看网友用ChatGPT辅助证明哥德巴赫猜想的时候。注意到ChatGPT（和谷歌一样），用的应该是2/3正确率的老技术。所以让读者困惑是否证明/结论反了。牛河梁 写了： 2025年 6月 19日 14:25 3/ 只要计算机的语言模型能力不弱于人的语言，都能做到理解人的语言。当年没有LLM不要紧。有很多老技术配上哪怕那年代的计算机，也可以做到。
4/ 这里面当然也有技术秘密。老牛接手的时候正确率在2/3左右。老牛的贡献是提高到不低于97%。很多用户提供的测试集100%。
牛河梁 写了： 2025年 6月 19日 14:51 需要指出的是，前些天看网友用ChatGPT辅助证明哥德巴赫猜想的时候。注意到ChatGPT（和谷歌一样），用的应该是2/3正确率的老技术。所以让读者困惑是否证明/结论反了。
他们仍然没有用上老牛当年的“技术秘密”。老牛并未为此技术灌过水。可能仅在有限文宣透露过一两个关键词。但老牛相信读这些文宣的用户们没谁理解这是什么。
所以说，模型也很关键。LLM之类（基于空间）的人工神经网络，存在一个（能力）上限（如输入输出token）。你可以针对性构造一个反例让它们出丑。老牛的模型没这种空间限制，但对复杂语言的处理需要时间。
老牛有娃。知识本质上就是私有的。只有没用的才会拿去灌水。你就当老牛说笑话就好了。hci 写了： 2025年 6月 19日 18:03 我们人间想找个大神来膜拜呀，你老不应该慈悲为怀么？
再说了，你那点货，是准备带入坟墓么？你都不关心人间烟火了，还担心个啥？
说说看，不要虚张声势。
来来来，继续讨论。我今天看有人写哥德尔的那个定理和人工智能的关系。我看了一下哥德尔的那个定理一些解释，居然说的是，他给出了一个命题：这个命题不可证明。牛河梁 写了： 2025年 6月 19日 18:21 老牛有娃。知识本质上就是私有的。只有没用的才会拿去灌水。你就当老牛说笑话就好了。
不过要是哪位有兴趣。老牛告诉你们很多事情可以做到。鼓励你们去为人类做贡献。
牛河梁 写了： 2025年 6月 19日 18:21 老牛有娃。知识本质上就是私有的。只有没用的才会拿去灌水。你就当老牛说笑话就好了。
不过要是哪位有兴趣。老牛告诉你们很多事情可以做到。鼓励你们去为人类做贡献。
1/ 没有看到你说的楼。以下是老牛GPT给的一般背景知识。bihai 写了： 2025年 6月 19日 18:24 来来来，继续讨论。我今天看有人写哥德尔的那个定理和人工智能的关系。我看了一下哥德尔的那个定理一些解释，居然说的是，他给出了一个命题：这个命题不可证明。
我发现，这个和图灵停机问题很相似啊。我学了中小学数学物理这么多年，还没有见过一个题目，是让我证明一个命题是可证明的还是不可证明的，就是说我遇到的作业和考试都是具体的问题的推理，从来没有见过一个问题是证明存在一个问题不可证明这种的。存在这种问题又怎样呢？比如说哥德巴赫猜想是否可以证明？哥德尔说的可不是这种具体的问题。
你的那个私密技术，还在用吗？没有专利吗？