新未名空间

现在的LLM本质上是一种数据库，

普通数据库是用结构化的SQL语言来query，内存里面是一些结构化的二维表格。这种数据库存不了特别复杂的逻辑。

LLM存储的自然语言的资料，也是用自然语言来query，自然语言的表现力远远大于SQL语言

LLM和真正的智能有没有关系？
我认为有关系，人脑里面也有一个类似LLM的存储单元，但是这并不是全部。OpenAI想通过扩大训练LLM达到AGI是不可能成功的。

有点道理。

但是现在GPT能做简单的数学推导，如果再发展十年，能不能证明定理？

FoxMe 写了： 2024年 10月 15日 15:48 有点道理。

但是现在GPT能做简单的数学推导，如果再发展十年，能不能证明定理？

现在GPT可以照猫画虎检索一些数学推导，但是没办法理解。

光GPT没戏，需要在此之上的进一步架构创新

就是“熟读唐诗三百首，不会吟诗也会绺”。。。 拼命加料堆训练，企图堆出个诗仙李白来。。。 或许在绺打油诗方面的确超过李白，但你稍微超纲一点儿，问他“日照香炉生紫烟”淫荡在哪里它就虾米了。。。

对于任何已经界定好的、有明确边界的问题，它都能做到极致。。。 可问题是世界是无边无际的，绝大部分问题根本就没有被发现，没有人定义。。。

Caravel 写了： 2024年 10月 15日 14:48 OpenAI想通过扩大训练LLM达到AGI是不可能成功的。

你这不还是老调重弹吗

irisyuan 写了： 2024年 10月 15日 16:21 你这不还是老调重弹吗

这是通过深入思考之后的结论，

到现在为止我这个对LLM的解释是最深刻的

Hopefield的论文就是揭示神经网络的存储功能

哈哈。

神经网络的存储功能是怎么回事？

Caravel 写了： 2024年 10月 15日 16:23 这是通过深入思考之后的结论，

到现在为止我这个对LLM的解释是最深刻的

Hopefield的论文就是揭示神经网络的存储功能

macarthur 写了： 2024年 10月 15日 16:18 就是“熟读唐诗三百首，不会吟诗也会绺”。。。 拼命加料堆训练，企图堆出个诗仙李白来。。。 或许在绺打油诗方面的确超过李白，但你稍微超纲一点儿，问他“日照香炉生紫烟”淫荡在哪里它就虾米了。。。

对于任何已经界定好的、有明确边界的问题，它都能做到极致。。。 可问题是世界是无边无际的，绝大部分问题根本就没有被发现，没有人定义。。。

唐诗很多是触景生情

比如月落乌啼霜满天，江枫渔火对愁眠

这个场景不是一些词语随便组合出来的

愁，和渔火，乌啼在语义上并没有逻辑联系，

但是人可以感知到这种情感上的联系

LLM只是copycat

FoxMe 写了： 2024年 10月 15日 16:29 哈哈。

神经网络的存储功能是怎么回事？

qkv，KV就是key value store，大数据里面最常见的数据存储机制。query。

Caravel 写了： 2024年 10月 15日 16:30 唐诗很多是触景生情

比如月落乌啼霜满天，江枫渔火对愁眠

这个场景不是一些词语随便组合出来的

愁，和渔火，乌啼在语义上并没有逻辑联系，

但是人可以感知到这种情感上的联系

LLM只是copycat

你再想想

irisyuan 写了： 2024年 10月 15日 16:35你再想想

有话快说

我不知道正确的答案是什么。
但我认为楼主说的没啥道理，你应该没有真正哪怕是在很浅的层面了解过自从Alpahgo以来，AI发展在技术层面的原因。

Helsinki 写了： 2024年 10月 15日 17:16 我不知道正确的答案是什么。
但我认为楼主说的没啥道理，你应该没有真正哪怕是在很浅的层面了解过自从Alpahgo以来，AI发展在技术层面的原因。

你啥都不知道，如何知道别人不懂？

Caravel 写了： 2024年 10月 15日 18:49 你啥都不知道，如何知道别人不懂？

。。。
还请认真读帖

我说我不知道正确的答案是什么
我并没有说我啥都不知道~

Helsinki 写了： 2024年 10月 15日 18:51 。。。
还请认真读帖

我说我不知道正确的答案是什么
我并没有说我啥都不知道~

你不知道答案，我已经看出问题的端倪，

不认同不强求。

每个人认识的程度不一样。

Caravel 写了： 2024年 10月 15日 18:54 你不知道答案，我已经看出问题的端倪，

不认同不强求。

每个人认识的程度不一样。

我觉得你并没有看出端倪。而是提出了问题。

一般来讲，提出好的问题，本身就是一件很牛的事情。

你标题中的这个问题，算不上好问题，可以凑活算是个中不留的问题。后面提供的答案/端倪的解读，我就没有再发现有什么有价值的东西了。

Caravel 写了： 2024年 10月 15日 16:30 唐诗很多是触景生情

比如月落乌啼霜满天，江枫渔火对愁眠

这个场景不是一些词语随便组合出来的

愁，和渔火，乌啼在语义上并没有逻辑联系，

但是人可以感知到这种情感上的联系

LLM只是copycat

屁大点事儿，车载 AI 触景转弯、触景刹车都能做到，还做不到触景生情？

上 Hugging Face 下一个 image-to-text (或称 image captioning) 的模型

再下一个 seq2seq 模型把日常语言转换为诗化语言，这个 Hugging Face 上可能没有现成的，不过训练一个也很简单

用 Hugging Face pipeline 把以上步骤串联在一起

本科高年级几天的作业

Alcaraz 写了： 2024年 10月 15日 20:40 屁大点事儿，车载 AI 触景转弯、触景刹车都能做到，还做不到触景生情？

上 Hugging Face 下一个 image-to-text (或称 image captioning) 的模型

再下一个 seq2seq 模型把日常语言转换为诗化语言，这个 Hugging Face 上可能没有现成的，不过训练一个也很简单

用 Hugging Face pipeline 把以上步骤串联在一起

本科高年级几天的作业

你这种触景生情是copycat，没有人写月落乌啼，LLM就不知道原来这是悲伤的环境。

Caravel 写了： 2024年 10月 15日 16:11 现在GPT可以照猫画虎检索一些数学推导，但是没办法理解。

光GPT没戏，需要在此之上的进一步架构创新

可以继续发展LLM，发现words 和sentences之间的关系，这应该是人类智慧的最重要特征吧，然后发生逻辑推理。

Caravel 写了： 2024年 10月 15日 16:32 qkv，KV就是key value store，大数据里面最常见的数据存储机制。query。

尼玛彻底胡说八道

要说llm像数据库 那也是 压缩/还原