评论一下苹果那篇论文

版主: hci

bihai
见习点评
见习点评
帖子互动: 60
帖子: 1527
注册时间: 2022年 7月 24日 20:58

#41 Re: 评论一下苹果那篇论文

帖子 bihai »

牛河梁 写了: 2025年 6月 19日 18:59 1/ 没有看到你说的楼。以下是老牛GPT给的一般背景知识。

哥德尔定理和图灵停机问题是一回事。和康托尔用对角线法证明可数不可数是一回事。对角线法有人理解不了所以有争议。但可数不可数不需要用对角线法。被接受以后哥德尔和图灵用对角线法比较直观。

a/ 康托尔用对角线法构造了一个可数无穷集中不存在的数。从而证明实数不可数。
b/ 哥德尔将逻辑(定理)映射为整数(哥德尔数),从而用a/方法构造了一个此集不存在的数)。由于这个数不存在于原来的(可数)集。此定理不能被证明(不可数)。
c/ 图灵将图灵机映射为整数。同理用a/或b/方法构造了一个数,但这个数(对应的问题)没有图灵机可以解决。

在现实数学物理中,最著名的不可证明定理可能是平行线公理。选择不同的平行线公理决定了不同的几何。这种遇到不可证明定理就把它加为公理是一个思路。举例说选择公理,Yes/No成为两个分支。平行公理有三个分支。

图灵(尝试)在其博士论文证明,如果这样加入(可数)无穷条定理作为公理,则没有不可证明的定理。这一思想其实康托尔就有。康托尔建立了一个数的(可数那么多层的)等级结构。康托尔认为如果这么一直垒下去到可数无穷(omega)层,那里住着上帝(从而解决了上帝不能创造一块自己不能创造石头的问题)。

老牛认为,P vs NP也是这个思路:建立一个从P到NP不减的序列。如果P = NP,则这个序列会collapse,每一项都等于P和NP。剩下的问题就是如何构造这么一个序列了。

2/

应该还在用。美国政府每年都按类似于API call次数支付版权费(给老牛当年的公司)。
加入平行公理的平面几何是否是完备的?是否是自洽的?我怎么没觉得发现什么不可证明的定理什么的?

另外你那个技术,到底是做什么的啊?就是说它实现的美国政府需要的那个功能是什么?不用说怎么做的,能告知吗?

标签/Tags:
头像
牛河梁(别问我是谁)
论坛元老
论坛元老
2023年度十大优秀网友
2024年度优秀版主
牛河梁 的博客
帖子互动: 1502
帖子: 26945
注册时间: 2022年 11月 17日 21:21
联系:

#42 Re: 评论一下苹果那篇论文

帖子 牛河梁(别问我是谁) »

bihai 写了: 2025年 6月 19日 19:05 加入平行公理的平面几何是否是完备的?是否是自洽的?我怎么没觉得发现什么不可证明的定理什么的?

另外你那个技术,到底是做什么的啊?就是说它实现的美国政府需要的那个功能是什么?不用说怎么做的,能告知吗?
美国政府机构需要阅读标记大量的文档。1/ 大量(举例说每年以亿计算),所以请那么多人成本很高;2/ 这些文档涉密有法律限制。理论上最好永远不会被任何人读到。所以需要使用非人的计算机程序分类做标记以供有需要时被检索出来被人阅读。

但“传统”的方式(如谷歌,基于关键字)很多时候会弄反了,举例说,“恐怖分子”和“不是恐怖分子”(只是举例,不意味着这软件用于反恐)不是一回事。但计算机理解不了。老牛从ChatGPT的输出发现,其实ChatGPT也没理解好。
bihai
见习点评
见习点评
帖子互动: 60
帖子: 1527
注册时间: 2022年 7月 24日 20:58

#43 Re: 评论一下苹果那篇论文

帖子 bihai »

牛河梁 写了: 2025年 6月 19日 19:14 美国政府机构需要阅读标记大量的文档。1/ 大量(举例说每年以亿计算),所以请那么多人成本很高;2/ 这些文档涉密有法律限制。理论上最好永远不会被任何人读到。所以需要使用非人的计算机程序分类做标记以供有需要时被检索出来被人阅读。

但“传统”的方式(如谷歌,基于关键字)很多时候会弄反了,举例说,“恐怖分子”和“不是恐怖分子”(只是举例,不意味着这软件用于反恐)不是一回事。但计算机理解不了。老牛从ChatGPT的输出发现,其实ChatGPT也没理解好。
明白。我不要lactose,结果菜单把lactose-free给屏蔽了。你这需要语义处理。
bihai
见习点评
见习点评
帖子互动: 60
帖子: 1527
注册时间: 2022年 7月 24日 20:58

#44 Re: 评论一下苹果那篇论文

帖子 bihai »

牛河梁 写了: 2025年 6月 19日 18:59 1/ 没有看到你说的楼。以下是老牛GPT给的一般背景知识。

哥德尔定理和图灵停机问题是一回事。和康托尔用对角线法证明可数不可数是一回事。对角线法有人理解不了所以有争议。但可数不可数不需要用对角线法。被接受以后哥德尔和图灵用对角线法比较直观。

a/ 康托尔用对角线法构造了一个可数无穷集中不存在的数。从而证明实数不可数。
b/ 哥德尔将逻辑(定理)映射为整数(哥德尔数),从而用a/方法构造了一个此集不存在的数)。由于这个数不存在于原来的(可数)集。此定理不能被证明(不可数)。
c/ 图灵将图灵机映射为整数。同理用a/或b/方法构造了一个数,但这个数(对应的问题)没有图灵机可以解决。

在现实数学物理中,最著名的不可证明定理可能是平行线公理。选择不同的平行线公理决定了不同的几何。这种遇到不可证明定理就把它加为公理是一个思路。举例说选择公理,Yes/No成为两个分支。平行公理有三个分支。

图灵(尝试)在其博士论文证明,如果这样加入(可数)无穷条定理作为公理,则没有不可证明的定理。这一思想其实康托尔就有。康托尔建立了一个数的(可数那么多层的)等级结构。康托尔认为如果这么一直垒下去到可数无穷(omega)层,那里住着上帝(从而解决了上帝不能创造一块自己不能创造石头的问题)。

老牛认为,P vs NP也是这个思路:建立一个从P到NP不减的序列。如果P = NP,则这个序列会collapse,每一项都等于P和NP。剩下的问题就是如何构造这么一个序列了。

2/

应该还在用。美国政府每年都按类似于API call次数支付版权费(给老牛当年的公司)。
哥德尔定理讨论在此: AGI不可克隆猜想
头像
牛河梁(别问我是谁)
论坛元老
论坛元老
2023年度十大优秀网友
2024年度优秀版主
牛河梁 的博客
帖子互动: 1502
帖子: 26945
注册时间: 2022年 11月 17日 21:21
联系:

#45 Re: 评论一下苹果那篇论文

帖子 牛河梁(别问我是谁) »

bihai 写了: 2025年 6月 19日 19:53 哥德尔定理讨论在此: AGI不可克隆猜想
这种诡辩毫无意义。注意楼上老牛认为的第一点:

1/ 人脑(智能)如语言,并没有超过计算机科学/理论的极限。

人工智能受哥德尔定理限制。(可数脑细胞的)人脑也同样受哥德尔定理限制。这不是人工智能超不过人脑智能的理由。
hahan
论坛元老
论坛元老
hahan 的博客
帖子互动: 831
帖子: 18048
注册时间: 2022年 7月 23日 23:48

#46 Re: 评论一下苹果那篇论文

帖子 hahan »

不是马上出了一篇反驳了苹果的论文
急急如丧家之犬
忙忙似漏网之鱼
头像
hci(海螺子)
论坛支柱
论坛支柱
帖子互动: 465
帖子: 9926
注册时间: 2022年 7月 22日 15:29

#47 Re: 评论一下苹果那篇论文

帖子 hci(海螺子) »

反驳很无力。
hahan 写了: 2025年 6月 20日 11:55 不是马上出了一篇反驳了苹果的论文
fantasist
见习点评
见习点评
帖子互动: 170
帖子: 1445
注册时间: 2022年 7月 24日 19:52

#48 Re: 评论一下苹果那篇论文

帖子 fantasist »

hahan 写了: 2025年 6月 20日 11:55 不是马上出了一篇反驳了苹果的论文
不是一篇,早就被懂行的人喷成筛子了。苹果别说foundation model,连做产品的能力都没有,只能靠暴论博眼球,令人唏嘘。
头像
hci(海螺子)
论坛支柱
论坛支柱
帖子互动: 465
帖子: 9926
注册时间: 2022年 7月 22日 15:29

#49 Re: 评论一下苹果那篇论文

帖子 hci(海螺子) »

我猜想,你是根据一些语言规则,产生代码来做information extraction,对么?

我老婆以前的组,就是做这个的。

牛河梁 写了: 2025年 6月 19日 19:14 美国政府机构需要阅读标记大量的文档。1/ 大量(举例说每年以亿计算),所以请那么多人成本很高;2/ 这些文档涉密有法律限制。理论上最好永远不会被任何人读到。所以需要使用非人的计算机程序分类做标记以供有需要时被检索出来被人阅读。

但“传统”的方式(如谷歌,基于关键字)很多时候会弄反了,举例说,“恐怖分子”和“不是恐怖分子”(只是举例,不意味着这软件用于反恐)不是一回事。但计算机理解不了。老牛从ChatGPT的输出发现,其实ChatGPT也没理解好。
bsmile(laobiao)
见习点评
见习点评
帖子互动: 34
帖子: 1287
注册时间: 2022年 8月 8日 21:32

#50 Re: 评论一下苹果那篇论文

帖子 bsmile(laobiao) »

hci 写了: 2025年 6月 12日 15:46 对呀。大模型并没有这些loop啦,跳转啦,这些计算机制呀。

这并不复杂。

一个东西并没有这些机制,妄想somehow,by some magic, 能“涌现”出这些来,这怎么可能,这不就是处女生子么?

而且,关键是,这些机制本来就是计算机会的东西,为啥要去费劲喂数据去让他“涌现”出来?这不是脱裤子放屁,神经病么?

你说这个世界是不是疯了?

人类疯到一定程度,是不是活该被核弹洗地?不冤枉啊。
我不知道你脱离具体问题的事例在抽象层面上夸夸其谈有什么益处,只知道我拿我的领域里头但我不熟悉的东西问大模型,它的回答的准确性非常高,像已经在那个方向做了很久的很有经验的学者。我问的问题非常具体深入还有各种变量符号,相信训练内容里头没有现成答案。也许大语言模型背后的确就是模式匹配,线性拟合和局域最小值,但最终的返回的结果却让我感觉对面不是一台机器,而是出现了人类的智能。
头像
hci(海螺子)
论坛支柱
论坛支柱
帖子互动: 465
帖子: 9926
注册时间: 2022年 7月 22日 15:29

#51 Re: 评论一下苹果那篇论文

帖子 hci(海螺子) »

什么夸夸其谈,我老从来就是讲干货的。当然你能不能听懂是另外一回事。

你"感觉"有用,还要科学干什么?

LLM里面有什么,没有什么,是很清楚的,没有什么magic,就是一个perceptron。扯什么"人类的智能",纯粹是扯鸡巴蛋的事,你才是真正的"在抽象层面上夸夸其谈"。
bsmile 写了: 2025年 6月 21日 00:37 我不知道你脱离具体问题的事例在抽象层面上夸夸其谈有什么益处,只知道我拿我的领域里头但我不熟悉的东西问大模型,它的回答的准确性非常高,像已经在那个方向做了很久的很有经验的学者。我问的问题非常具体深入还有各种变量符号,相信训练内容里头没有现成答案。也许大语言模型背后的确就是模式匹配,线性拟合和局域最小值,但最终的返回的结果却让我感觉对面不是一台机器,而是出现了人类的智能。
上次由 hci 在 2025年 6月 21日 00:48 修改。
原因: 未提供修改原因
头像
牛河梁(别问我是谁)
论坛元老
论坛元老
2023年度十大优秀网友
2024年度优秀版主
牛河梁 的博客
帖子互动: 1502
帖子: 26945
注册时间: 2022年 11月 17日 21:21
联系:

#52 Re: 评论一下苹果那篇论文

帖子 牛河梁(别问我是谁) »

hci 写了: 2025年 6月 21日 00:07 我猜想,你是根据一些语言规则,产生代码来做information extraction,对么?

我老婆以前的组,就是做这个的。
神经网有输入(输出)窗口长度限制。现在能有几K token,没谁那么无聊绕那么大的圈子才进正题。但20年前没有这么强大的算力。也没有那么大的窗口。如果关键的概念挤不进一个窗口,理解肯定就错了。

相比之下用规则去找/决定一个完整的结构不难。
头像
hci(海螺子)
论坛支柱
论坛支柱
帖子互动: 465
帖子: 9926
注册时间: 2022年 7月 22日 15:29

#53 Re: 评论一下苹果那篇论文

帖子 hci(海螺子) »

看来我猜对了。

其实我也是同样的观点。
牛河梁 写了: 2025年 6月 21日 02:18 神经网有输入(输出)窗口长度限制。现在能有几K token,没谁那么无聊绕那么大的圈子才进正题。但20年前没有这么强大的算力。也没有那么大的窗口。如果关键的概念挤不进一个窗口,理解肯定就错了。

相比之下用规则去找/决定一个完整的结构不难。
上次由 hci 在 2025年 6月 21日 11:24 修改。
原因: 未提供修改原因
toraasakusa
知名人士
知名人士
帖子互动: 4
帖子: 74
注册时间: 2025年 4月 28日 18:12

#54 Re: 未婚女征男

帖子 toraasakusa »

一个月打10次炮,丫还是打得起的
ShuiNi 写了: 2025年 6月 14日 22:59 找什么炮友,都是直接卖,一炮上千美金,找跑友免费送给你,做梦啊。
☆ 发自新买提 Android 25.05.07
toraasakusa
知名人士
知名人士
帖子互动: 4
帖子: 74
注册时间: 2025年 4月 28日 18:12

#55 Re: 评论一下苹果那篇论文

帖子 toraasakusa »

有点像BoW
bihai 写了: 2025年 6月 19日 14:14 怎么做到的?我20年前帮一个图书馆系的学生分析文档,增加西班牙语字母,可以对多个文档之间进行相关性分析。但是现在看来连门都没进去。当时是直接把文档所有单词的频率记录下来形成一个向量,两个文档的频率向量进行点积,试图比较文档之间的关系。

牛教授当年做的什么可否展示一下?
☆ 发自新买提 Android 25.05.07
toraasakusa
知名人士
知名人士
帖子互动: 4
帖子: 74
注册时间: 2025年 4月 28日 18:12

#56 Re: 评论一下苹果那篇论文

帖子 toraasakusa »

这倒是没错,有用的东西,谁会拿去灌水?

一哥们给公司做的系统,都卖钱了,几十万人刀一份软件包。人家根本对学校职称不感兴趣。
牛河梁 写了: 2025年 6月 19日 18:21 老牛有娃。知识本质上就是私有的。只有没用的才会拿去灌水。你就当老牛说笑话就好了。

不过要是哪位有兴趣。老牛告诉你们很多事情可以做到。鼓励你们去为人类做贡献。
☆ 发自新买提 Android 25.05.07
bsmile(laobiao)
见习点评
见习点评
帖子互动: 34
帖子: 1287
注册时间: 2022年 8月 8日 21:32

#57 Re: 评论一下苹果那篇论文

帖子 bsmile(laobiao) »

hci 写了: 2025年 6月 21日 00:41 什么夸夸其谈,我老从来就是讲干货的。当然你能不能听懂是另外一回事。

你"感觉"有用,还要科学干什么?

LLM里面有什么,没有什么,是很清楚的,没有什么magic,就是一个perceptron。扯什么"人类的智能",纯粹是扯鸡巴蛋的事,你才是真正的"在抽象层面上夸夸其谈"。
我只是说llm里边生成的东西的确含有了我们还无法理解的逻辑在里头,尽管它在算法层面上一清二楚。现在唯一能说的是llm的“思维”还超不出人类的思维和知识框架,但它的内插的广泛度远远超越人类的平均水平,拿来做教学的老师非常符合需求。
头像
hci(海螺子)
论坛支柱
论坛支柱
帖子互动: 465
帖子: 9926
注册时间: 2022年 7月 22日 15:29

#58 Re: 评论一下苹果那篇论文

帖子 hci(海螺子) »

改口了,不鬼扯人的智能了?

还是Magic thinking,骗子骗的就是你这种。
bsmile 写了: 2025年 6月 21日 12:52 我只是说llm里边生成的东西的确含有了我们还无法理解的逻辑在里头,尽管它在算法层面上一清二楚。现在唯一能说的是llm的“思维”还超不出人类的思维和知识框架,但它的内插的广泛度远远超越人类的平均水平,拿来做教学的老师非常符合需求。
bsmile(laobiao)
见习点评
见习点评
帖子互动: 34
帖子: 1287
注册时间: 2022年 8月 8日 21:32

#59 Re: 评论一下苹果那篇论文

帖子 bsmile(laobiao) »

hci 写了: 2025年 6月 21日 13:00 改口了,不鬼扯人的智能了?

还是Magic thinking,骗子骗的就是你这种。
你不是不喜欢这种表达吗?所以我就弱化了呗,我哪里改口了?我说的它运行的逻辑我们不能完全理解,不就是在拟人的智能吗?人的智能的一个方面就是逻辑思维。
头像
hci(海螺子)
论坛支柱
论坛支柱
帖子互动: 465
帖子: 9926
注册时间: 2022年 7月 22日 15:29

#60 Re: 评论一下苹果那篇论文

帖子 hci(海螺子) »

啥?"运行的逻辑我们不能完全理解"= "拟人的智能"?

你脑子里漿糊太多了。

bsmile 写了: 2025年 6月 21日 13:04 你不是不喜欢这种表达吗?所以我就弱化了呗,我哪里改口了?我说的它运行的逻辑我们不能完全理解,不就是在拟人的智能吗?人的智能的一个方面就是逻辑思维。
上次由 hci 在 2025年 6月 21日 13:17 修改。
原因: 未提供修改原因
回复

回到 “葵花宝典(Programming)”