大语言模型LLM大方向可能不对

[shot]

这就是在用户端又加了一个统计概率优化。通过已知正确答案的问题来预测最佳提问方式，等这个黑盒子一升级，原来的客户端预测就失效。这和智能算是南辕北辙。

不只是简单的概率统计优化。
还教会它使用什么样的路径和模式。
实际上，推理和逻辑是蕴含在概率统计中的。
从好的概率统计中，你同样可以得到推理和逻辑的能力。
明年出来的大语言模型，肯定都拥有逻辑推理能力了。
这东西不是什么本质的困难。
训练的时候，多给他喂一些逻辑推理的样本数据就行了。
调用的时候，再给他外置一个模式化的应用。

[FGH]

大数据支持下的人云亦云，符合现代社会的知识处理机制。但是否有智能，譬如通过图灵测试，几乎无法证明。

通过图灵测试并不是唯一的标准，甚至不是最佳标准。
人会因为机器太聪明而识别它。而机器则可能需要装笨来通过测试。

[laodongzhe18]

LLM可以生成一份不错的产品说明书，但无法构建《红楼梦》或者《冰与火之歌》

通过图灵测试并不是唯一的标准，甚至不是最佳标准。
人会因为机器太聪明而识别它。而机器则可能需要装笨来通过测试。

[FGH]

LLM可以生成一份不错的产品说明书，但无法构建《红楼梦》或者《冰与火之歌》

你会写红楼梦或者冰与火之歌吗？

[501]

大语言模型到底是语言的model，还是智能的model，我怀疑是前者。

真正的人工智能，需要的input很少，一个小孩学到大学，读的书，跟人说的话，可能不到现在LLM训练材料的万分之一。人工智能的体现在于输入很少，输出很多，LLM是输入很多，输出很多。

这就是文科和理科的区别。

文科需要读万卷书，然后就是东拉西扯、装模作样、胡搅蛮缠。

理科只需要读很少几本书，就可以举一反三，预测未来。

[justChat]

现在的AI和人类智能是完全不同的路径，这不常识吗，这也需要讨论？

LLM就是next token，其它所有的东西（智能什么的）都是用户的想象。

大语言模型到底是语言的model，还是智能的model，我怀疑是前者。

真正的人工智能，需要的input很少，一个小孩学到大学，读的书，跟人说的话，可能不到现在LLM训练材料的万分之一。人工智能的体现在于输入很少，输出很多，LLM是输入很多，输出很多。

[saibaster]

现在的AI和人类智能是完全不同的路径，这不常识吗，这也需要讨论？

LLM就是next token，其它所有的东西（智能什么的）都是用户的想象。

因为他们不知道这个
就有想象空间
比如上面那个shot

[shot]

现在的AI和人类智能是完全不同的路径，这不常识吗，这也需要讨论？

LLM就是next token，其它所有的东西（智能什么的）都是用户的想象。

你的大脑运作语言的方式也是next token
不是大家对AI有太多想象，而是你把人脑想象得太神秘了。
所有形式语言，包括逻辑推理，都是1纬的，本质都是next token。
想要跳出next token，人类自己也必须要切换到用图像思考，而不是用语言思考。
大模型也是如此，换到以图像为基础的模型就行了。
无论语言模型，还是图像模型，都可以transformer为基础，整合在一起并不困难。
现在各大公司都在做这件事，明年就会有许多新模型出来。

[pepper]

我把一个我的初稿扔给你润色，你能做到多好？
你能保证不改变我的意思吗？
你找一个专家来做这种事，至少两个星期，来回无数次扯皮。
人类自己做不到的事，却期待一个模型做到。
你想要的那个东西根本不是智能，而是超智能。
真搞出那种东西，你我都已经没有存在的必要了。

现在大学里学生没有不用gpt帮写论文的

[GaryZZZ]

机器学习中一个共识就是模型越大，数据越多（质量越好），训练的结果越好。OpenAI就是遵循这套逻辑来使用足够多的高质量数据来训练足够大的模型，不过GPT的数据利用率远远低于人脑。

GPT4应该是已经将这种做法推到了极限。如果接下来在理论算法层面没有足够的突破，我感觉可预见的未来内出现一个比GPT4提升很大的模型并不现实。

[minren]

牛逼， 你信就好。

工具取决你会用不会用，输入的详细不详细，Goody in, Goody out

"chatgpt对我真是太有用了，公司接受了一个别人做了一多半的项目，里面code各种问题。有一次一个第三方的service的部分出了错，我完全没idea也没时间去从头了解，我把code copy给chatgpt，给它说了症状，他给我说怎么改。并不是100%全对，但是找到了问题所在。我改了改，问题就解决了。"
https://huaren.us/showtopic.html?topici ... 21&fid=398

[xiaoju]

这个不一定，突破总是从小模型打爆大模型开始的，比如CNN。

机器学习中一个共识就是模型越大，数据越多（质量越好），训练的结果越好。OpenAI就是遵循这套逻辑来使用足够多的高质量数据来训练足够大的模型，不过GPT的数据利用率远远低于人脑。

GPT4应该是已经将这种做法推到了极限。如果接下来在理论算法层面没有足够的突破，我感觉可预见的未来内出现一个比GPT4提升很大的模型并不现实。

[Caravel]

工具取决你会用不会用，输入的详细不详细，Goody in, Goody out

"chatgpt对我真是太有用了，公司接受了一个别人做了一多半的项目，里面code各种问题。有一次一个第三方的service的部分出了错，我完全没idea也没时间去从头了解，我把code copy给chatgpt，给它说了症状，他给我说怎么改。并不是100%全对，但是找到了问题所在。我改了改，问题就解决了。"
https://huaren.us/showtopic.html?topici ... 21&fid=398

这人高兴啥，这要是真的，说明这个工作分分钟被替代

[wwwhu]

非也。

有个 4 岁的孩子 Alex 因慢性疼痛，在 3 年时间内共看了17个医生，竟然17个专业人士都无法找到疼痛的原因。直到有了 ChatGPT，孩子母亲将其病情症状描述给ChatGPT，立刻得到正确的诊断结果。这个例子也反映了它会在许多方面有过人的的长处。

这个倒是可信，还在计算机的幼年时代，简单的统计诊断系统就已经beat了医生。现在大量案例和课本数据训练下，beat各种医生非常可能。医生不是靠智能谋生，而是经验，天马行空神游八极是不允许的，经验这不正好撞在chatGPT的强大火力下了？你一个医生一辈子见过几个病人看过几本书？

[GaryZZZ]

这个不一定，突破总是从小模型打爆大模型开始的，比如CNN。

CNN打败了啥大模型？

[xiaoju]

当年有个被大肆炒作的Google Brain，结果这个大集群搞出来的模型被一台破机器训练出来的AlexNet干出屎了

CNN打败了啥大模型？

[minren]

ＬＬＭ逻辑归纳和逻辑推理能力没有

比如问他：ｇｉｖｅ　ｙｏｕ　ｌａｔ＆ｌｏｎ　ｏｆ　ｔｗｏ　ｐｏｉｎｔｓ　ｏｎ　ｅａｒｔｈ，ｔｅｌｌ　ｍｅ　ｔｈｅ　距离ａｎｄ方位角ｏｆ　ｔｈｅ　两点。

然后给他：
ｒｅｔｕｒｎ　ｍｅ　ａ　ｓｈｏｒｔ　ａｗｓｗｅｒ　ｏｆ　ｄｉｓｔａｎｃｅ，　ｂｅａｒｉｎｇ　ｏｆ：
Ａ：40.732543Ｎ, 74.421874Ｗ
Ｂ：39.024994Ｎ, 77.535541Ｗ


每次回复的答都不一样，ｌｏｌ

ｓｏ　ｅａｓｙ中学生都会的题

这是一个 GIGO 的实例。映射了用工具的人自己的问题。
如果你问它幼儿问题或问的不当，它也相应给幼儿回答。

[minren]

这人高兴啥，这要是真的，说明这个工作分分钟被替代

这是你的偏见。人家没说这是他工作的全部，只是他自己不屑/无暇去干那点儿不熟悉的事，让GPT代劳。

[FGH]

ＬＬＭ逻辑归纳和逻辑推理能力没有

比如问他：ｇｉｖｅ　ｙｏｕ　ｌａｔ＆ｌｏｎ　ｏｆ　ｔｗｏ　ｐｏｉｎｔｓ　ｏｎ　ｅａｒｔｈ，ｔｅｌｌ　ｍｅ　ｔｈｅ　距离ａｎｄ方位角ｏｆ　ｔｈｅ　两点。

然后给他：
ｒｅｔｕｒｎ　ｍｅ　ａ　ｓｈｏｒｔ　ａｗｓｗｅｒ　ｏｆ　ｄｉｓｔａｎｃｅ，　ｂｅａｒｉｎｇ　ｏｆ：
Ａ：40.732543Ｎ, 74.421874Ｗ
Ｂ：39.024994Ｎ, 77.535541Ｗ


每次回复的答都不一样，ｌｏｌ

ｓｏ　ｅａｓｙ中学生都会的题

GPT4可以调用计算软件，就不怕这种题目。

[minren]

楼主局限于人的思维逻辑和准则来衡量大语言模型是不适当的。Yann LeCun 所批评的是显而易见的，按这种思维，Deep Learning本身也没有理论突破，方向也不对，根本不会产生真正的人工智能。但是transformer 应用 GPT 已经开花结果，在这个方向产生的“智能”表现，与人类的某些智能 殊途同归，能有利于社会长足进步就足够了。

而对于应用者而言，视它为友，善用工具，会产生好的结果。如果蔑视它，挑毛病看它不顺眼，就把它砸碎砸烂在地上好了。