新未名空间

数据库不会有hallucination的问题。

Caravel 写了： 2024年 10月 15日 14:48 现在的LLM本质上是一种数据库，

普通数据库是用结构化的SQL语言来query，内存里面是一些结构化的二维表格。这种数据库存不了特别复杂的逻辑。

LLM存储的自然语言的资料，也是用自然语言来query，自然语言的表现力远远大于SQL语言

LLM和真正的智能有没有关系？
我认为有关系，人脑里面也有一个类似LLM的存储单元，但是这并不是全部。OpenAI想通过扩大训练LLM达到AGI是不可能成功的。

ccmath 写了： 2024年 10月 16日 01:00 数据库不会有hallucination的问题。

这是高度具有弹性的存储，还有上面说的压缩问题，不需要全保真

fulvshou 写了： 2024年 10月 16日 00:58 尼玛彻底胡说八道

要说llm像数据库 那也是 压缩/还原

有区别么？

Caravel 写了： 2024年 10月 15日 14:48 现在的LLM本质上是一种数据库，

普通数据库是用结构化的SQL语言来query，内存里面是一些结构化的二维表格。这种数据库存不了特别复杂的逻辑。

LLM存储的自然语言的资料，也是用自然语言来query，自然语言的表现力远远大于SQL语言

LLM和真正的智能有没有关系？
我认为有关系，人脑里面也有一个类似LLM的存储单元，但是这并不是全部。OpenAI想通过扩大训练LLM达到AGI是不可能成功的。

我不懂这些，凭直觉认为，llm和数据库不同。数据库存的是信息，llm存的是逻辑关系。语言是一种比较好的逻辑仓库。视频同样可以是逻辑关系仓库，整个真实世界都可以用这种方法去学习并找出逻辑关系。创造性的思维可以通过不同领域的llm的交流启发出来。

噢。但是QKV这些东西，是通过海量训练得到的，加入了人的理解，显得有一定智能。

Caravel 写了： 2024年 10月 15日 16:32 qkv，KV就是key value store，大数据里面最常见的数据存储机制。query。

FoxMe 写了： 2024年 10月 16日 16:18 噢。但是QKV这些东西，是通过海量训练得到的，加入了人的理解，显得有一定智能。

我觉得本质上是一种模式匹配。就和alphago,看棋盘就可以下棋一样

本质上还是曲线拟合，函数逼近。但是大规模的神经网络能实现以前做不到的事情。

Caravel 写了： 2024年 10月 16日 16:23 我觉得本质上是一种模式匹配。就和alphago,看棋盘就可以下棋一样

我看了GPT中的transformer的原理，是通过相关性去做概率采样（attention）。这样能解释：你给几个提示词，GPT就能写出一篇八股文。如果GPT去参加科举考试，肯定能考上。

但是数学推导它是怎么做的呢？它要计算吗？应该不是采样吧，否则怎么能保证对？

科举？哈哈

它没有任何推导，例如你问 1+1=，它会说2，但它不知道这是什么意思。如何知道他不知道，因为它也会告诉你2*8=24.

下面这个问题本身版上讨论过，本身意义不大，答案也没有价值，但GPT的“推导”过程显示它也啥不懂。
所以我觉得，个位数的四则运算可以作为“智能”的最低门槛，LLM现在还不沾边。
当然，不智能不表示没有用，llm还是挺有帮助的。

how to make 24 using exactly four 8s?
ChatGPT said:
ChatGPT
You can make the number 24 using exactly four 8s in the following way:

8
+
8
8
×
8
=
24
8
8+8
​
×8=24
Here's the breakdown:

Add two 8s:
8
+
8
=
16
8+8=16
Divide by 8:
16
8
=
2
8
16
​
=2
Multiply by 8:
2
×
8
=
24
2×8=24

FoxMe 写了： 2024年 10月 18日 16:40 我看了GPT中的transformer的原理，是通过相关性去做概率采样（attention）。这样能解释：你给几个提示词，GPT就能写出一篇八股文。如果GPT去参加科举考试，肯定能考上。

但是数学推导它是怎么做的呢？它要计算吗？应该不是采样吧，否则怎么能保证对？

尼玛，还真是

You can make 24 using exactly four 8s with the following mathematical expression:

(8/8)+(8×3)=24

Explanation:
8/8=1
8×3=24
1+24=24
This uses exactly four 8s to arrive at the number 24.

FoxMe 写了： 2024年 10月 18日 17:27 尼玛，还真是

You can make 24 using exactly four 8s with the following mathematical expression:

(8/8)+(8×3)=24

Explanation:
8/8=1
8×3=24
1+24=24
This uses exactly four 8s to arrive at the number 24.

本质上是一种pattern match

那些做数学题目厉害的，估计就是哪海量的题训练

如果能用形式推导搞出来就会做。

pattern matching，fitting a curve都是知觉的同义词：把外部刺激映射到内部表征。所以这是认知的第一步。

有了内部表征，才能討論推理。

所以LLM能不能推理是个假问题。LLM当然不能。

这就是为什么要学点基本的心理学，否則讨论AI的东西就是＂not even wrong ＂。

我在这儿讲这些也有几年了，你们中那怕起了心思去看看心理学教科书的都一个没有，不是么？

心理学教科书很好看，比读小说还有乐趣。起码我老婆这么觉得的。

hci 写了： 2024年 10月 18日 22:57 pattern matching，fitting a curve都是知觉的同义词：把外部刺激映射到内部表征。所以这是认知的第一步。

有了内部表征，才能討論推理。

所以LLM能不能推理是个假问题。LLM当然不能。

这就是为什么要学点基本的心理学，否則讨论AI的东西就是＂not even wrong ＂。

我在这儿讲这些也有几年了，你们中那怕起了心思去看看心理学教科书的都一个没有，不是么？

心理学教科书很好看，比读小说还有乐趣。起码我老婆这么觉得的。

心理学和经济学类似，泥沙俱下，最困难的是分别好的与坏的。

我更愿意从神经学生理学开始，由我自己来建立更高层次的心理学概念。

心理学是自然科学，与经济学这种社会科学完全不可比。

心理学根本就没有什么理论，还处于生物学的分类阶段，所以心理学现有的知识，都是必須掌握的，否则连名字都不知道。

这就是你们的问题，现象都不能命名，就要＂建立自己的心理学概念＂了。这是真真切切的步子太大扯着蛋了。

神经学，生理学对研究心理学几乎无关。心理系的学生都学了这些，这与学物理高数一样，用处有限。

心理现象不能还原到神经系统，还原论是不灵的，这几乎是常識吧。在心理学里，＂还原论＂就是狗哨，与＂有神论＂差不多。

TheMatrix 写了： 2024年 10月 18日 23:08 心理学和经济学类似，泥沙俱下，最困难的是分别好的与坏的。

我更愿意从神经学生理学开始，更高层次的心理学概念，由我自己来建立。

hci 写了： 2024年 10月 18日 23:18 心理学是自然科学，与经济学这种社会科学完全不可比。

心理学根本就没有什么理论，还处于生物学的分类阶段，所以心理学现有的知识，都是必須掌握的，否则连名字都不知道。

这就是你们的问题，现象都不能命名，就要＂建立自己的心理学概念＂了。这是真真切切的步子太大扯着蛋了。

神经学，生理学对研究心理学几乎无关。心理系的学生都学了这些，与学物理高数一样，用处有限。

你想为心理学“正名”，但是大多数人还是把心理学当作社会科学。这也不能怪大多数人，因为心理学的现状就是良莠不齐，很难分别好的与坏的。

为经济学正名的人也不少，我还见过“经济学帝国主义” - 经济学包打天下，一切都是经济学。也头头是道。而且经济学看起来比心理学更像自然科学。但是目前看，经济学还是在社会科学范畴。

心理学没有要为自己正名的意思。相反，心理学和其他学科一样，也喜欢多占地盘，以加强自己的重要性。所以故意不纠正别人的误解。数学不也一样么，明明是艺术，别人说数学是科学的时候，没见数学人士来澄清。

我只是在说一个事实而己。就如哈代写个文来说明数学的本质一样。

心理学研究的主体是个体，所以不是社会科学。就这么简单个事。不复杂。

心理学里有个专业叫社会心理学，但也是把社会因素当外部环境，看其对个体的影响，所以还是研究个体，属于心理学。

一旦不研究个体了，就属于社会学了。社会学是心理学家最不理解的学科，思路差太远了。

TheMatrix 写了： 2024年 10月 18日 23:27 你想为心理学“正名”，但是大多数人还是把心理学当作社会科学。

为经济学正名的人也不少，我还见过“经济学帝国主义” - 经济学包打天下，一切都是经济学。也头头是道。而且经济学看起来比心理学更像自然科学。但是目前看，经济学还是在社会科学范畴。

o1 是全新结构了，另组了一个团队，大部分是北大的。

洪荒之前 写了： 2024年 10月 18日 23:40 o1 是全新结构了，另组了一个团队，大部分是北大的。

现在AI还远没有结束

LLM有点过火了，主要是重复建设太多，这些重金训练出来的LLM大同小异。

但是新结构新方法还没有穷尽。神经网络这个大方向没有错。

完全不是一回事。在神经网络里所有的数据都以模糊形式存贮在网络节点的weight上，这种方式完全没办法精准查询。

这么说搞理论的人暂时还不会失业？现在AI虽然很热，但是在纯数学等理论专业中，目前几乎没有用。

hci 写了： 2024年 10月 18日 22:57 pattern matching，fitting a curve都是知觉的同义词：把外部刺激映射到内部表征。所以这是认知的第一步。

有了内部表征，才能討論推理。

所以LLM能不能推理是个假问题。LLM当然不能。

这就是为什么要学点基本的心理学，否則讨论AI的东西就是＂not even wrong ＂。

我在这儿讲这些也有几年了，你们中那怕起了心思去看看心理学教科书的都一个没有，不是么？

心理学教科书很好看，比读小说还有乐趣。起码我老婆这么觉得的。