（转载）看来大模型的pre train非常困难

[Caravel]

此帖转自 Caravel 在 军事天地（Military） 的帖子：看来大模型的pre train非常困难

deepseek奋斗了一年，base model还是未能提升，现在靠后训练提高性能。

无独有偶，前几天有一个媒体爆料openai的GPT5其实是基于去年的gpt4o基座，后面的gpt4.5其他都失败了。

在预训练取得不错的成绩的只有Gemini。

[hci]

不是困难，而是输入的垃圾太多。

只有谷歌有海量的高质量的数据。

好在预训练并没有那么重要。

Gemini编程还是烂得要死，我只是让他找出现有实现的问题，列个清单，根本没让它写码，它还是上来就写，操。没法用。

此帖转自 Caravel 在 军事天地（Military） 的帖子：看来大模型的pre train非常困难

deepseek奋斗了一年，base model还是未能提升，现在靠后训练提高性能。

无独有偶，前几天有一个媒体爆料openai的GPT5其实是基于去年的gpt4o基座，后面的gpt4.5其他都失败了。

在预训练取得不错的成绩的只有Gemini。

[Caravel]

不是困难，而是输入的垃圾太多。

只有谷歌有海量的高质量的数据。

好在预训练并没有那么重要。

Gemini编程还是烂得要死，我只是让他找出现有实现的问题，列个清单，根本没让它写码，它还是上来就写，操。没法用。

谷歌的爬虫爬过的网站，估计已经有大量的人工程序提取的feature。

[Caravel]

不是困难，而是输入的垃圾太多。

只有谷歌有海量的高质量的数据。

好在预训练并没有那么重要。

Gemini编程还是烂得要死，我只是让他找出现有实现的问题，列个清单，根本没让它写码，它还是上来就写，操。没法用。

oai自己的paper说4.5花了4o 10倍的算力但是还是不行

[ES.Assassin]

你明白现在这些“AI”的本质就不奇怪了

这些“AI”没一点智能，就是更加复杂的匹配和拼凑。

所以算力到一定程度后再加十倍算力也没啥用了。已经基本穷尽了。

[omicron]

码工把宇宙改造成数学为基础的，就像毕达哥拉斯学派期待的那样，AI增加算力就管用了

现在只能在已数学为基础的项目上有点用，必如编程，做数学竞赛题，

但是被人脑这样的非数学元素，掺入大量噪声，引起AI没法发挥效能

码工需要先做上帝，对宇宙和我们社会做数学改造，AI才能成功

[TheMatrix]

https://zhuanlan.zhihu.com/p/1979222608 ... 6140399806

[TheMatrix]

预训练去哪里找数据？

站内帖子：Re: 人工智能潮流之后的随想

[stm32]

大模型这种的东西，缺陷明摆着的

没法处理特殊情况，工作的好的，都是比较常见的情况

这个是自身缺陷，刷题的模式就这样的，没法提高，到此为止了

中国说的高分低能是啥意思，就是刷题刷出来的，只会做常见题型

考试变化少，可以把所有题型都刷到，实际工作就不行了，没有真正的解决问题能力

[Caravel]

https://zhuanlan.zhihu.com/p/1979222608 ... 6140399806

以前的预先训练就是把互联网数据，加上一些预处理，直接扔给他，以后估计要专门准备一个大型的百科全书，系统性的喂给它，好在现在有上一代大模型，可以帮助自动化，比如拿一本小学课本来，大模型可以扩写，而且可以把书里面的习题都做出来，放到里面

[TheMatrix]

以前的预先训练就是把互联网数据，加上一些预处理，直接扔给他，以后估计要专门准备一个大型的百科全书，系统性的喂给它，好在现在有上一代大模型，可以帮助自动化，比如拿一本小学课本来，大模型可以扩写，而且可以把书里面的习题都做出来，放到里面

已有的文字内容已经用了90%了。再怎么找也不会翻倍。

[Caravel]

已有的文字内容已经用了90%了。再怎么找也不会翻倍。

高质量的内容并不多，也许是mid-train，

multi-modal也可以

[hci]

逻辑是什么？逻辑就是一种硬性的筛子。

内在语义几何空间的硬性限制其实很少。所以能从语料中学习到的逻辑是很少的，同时也不是硬性的。

大量预训练这条路已经走到头了，几个AI头面人物现在都意识到了。

马克屁都不懂。

https://zhuanlan.zhihu.com/p/1979222608 ... 6140399806

[magagop]

此帖转自 Caravel 在 军事天地（Military） 的帖子：看来大模型的pre train非常困难

deepseek奋斗了一年，base model还是未能提升，现在靠后训练提高性能。

无独有偶，前几天有一个媒体爆料openai的GPT5其实是基于去年的gpt4o基座，后面的gpt4.5其他都失败了。

在预训练取得不错的成绩的只有Gemini。

那是很正常的，我現在訓練12M的超小模型，搞了半個月dataset augmentation，結果卻越來越差。。。AI的門檻其實很高。。。

[magagop]

oai自己的paper说4.5花了4o 10倍的算力但是还是不行

那是肯定的，我調整後的dataset訓練時間多了一倍，精度下降一半，現在還不知道原因。。。

[magagop]

https://zhuanlan.zhihu.com/p/1979222608 ... 6140399806

AI讀博士需要大量高質量的數據集，這個才是瓶頸，能挖掘的好數據集基本都用完了，生產新的數據集效率很低。。。

[magagop]

大模型这种的东西，缺陷明摆着的

没法处理特殊情况，工作的好的，都是比较常见的情况

这个是自身缺陷，刷题的模式就这样的，没法提高，到此为止了

中国说的高分低能是啥意思，就是刷题刷出来的，只会做常见题型

考试变化少，可以把所有题型都刷到，实际工作就不行了，没有真正的解决问题能力

這個術語叫out of network dataset generalization

[magagop]

以前的预先训练就是把互联网数据，加上一些预处理，直接扔给他，以后估计要专门准备一个大型的百科全书，系统性的喂给它，好在现在有上一代大模型，可以帮助自动化，比如拿一本小学课本来，大模型可以扩写，而且可以把书里面的习题都做出来，放到里面

這個術語叫dataset augmentation和dataset cartography

[magagop]

已有的文字内容已经用了90%了。再怎么找也不会翻倍。

可以，這是五年前的研究熱點，contrast set、checklist、adversarial challenge、partial ablation。。。

你能想到的五年前別人都想到了，普通人無法想像現在AI papers的激烈程度。。。

[magagop]

高质量的内容并不多，也许是mid-train，

multi-modal也可以

這些是兩年前的paper熱點