新未名空间

wass 写了： 2025年 2月 13日 16:30 moe有几个experts，有哪些？

好像openai有，不多。ds的experts数量大


有链接吗？

Caravel 写了： 2025年 2月 13日 17:02 ds256个，非常多。

Caravel 写了： 2025年 2月 13日 16:16 现在都把AGI，ASI想得太好了，认为一出来就什么科学问题就解决了，这估计是幻想。

从LLM的实践看，经验和知识就存在attention机制里面，attention就是两两之间的关联函数。聪明人比如围棋高手这样的人厉害，很大一部分就是他们的关联函数很sharp，一眼就能看出最佳出招在哪里，所以可以节省大量搜索的时间。

但是如果你看的的东西太多，context window很长，关联函数的有效性就大大降低，要么就得忽略很多元素。所以最佳效能的智能体最好是专精一个领域，而不是样样精通的超级智能。

这也许是Mixture of expert非常有效的原因。

Caravel 写了： 2025年 2月 13日 16:16 现在都把AGI，ASI想得太好了，认为一出来就什么科学问题就解决了，这估计是幻想。

从LLM的实践看，经验和知识就存在attention机制里面，attention就是两两之间的关联函数。聪明人比如围棋高手这样的人厉害，很大一部分就是他们的关联函数很sharp，一眼就能看出最佳出招在哪里，所以可以节省大量搜索的时间。

但是如果你看的的东西太多，context window很长，关联函数的有效性就大大降低，要么就得忽略很多元素。所以最佳效能的智能体最好是专精一个领域，而不是样样精通的超级智能。

这也许是Mixture of expert非常有效的原因。

FoxMe 写了： 2025年 2月 14日 12:36 我叫GPT出几个题目并给出答案，尼玛连矩阵乘法这么简单的东西，给出的答案都是错的。感觉死记硬背的题还是可以的。

现在的AI，绝大部分数学是初等的（工科大学生水平），没有用到高深的数学，这样的AI能有多高的智能？我表示怀疑。

FoxMe 写了： 2025年 2月 14日 12:36 我叫GPT出几个题目并给出答案，尼玛连矩阵乘法这么简单的东西，给出的答案都是错的。感觉死记硬背的题还是可以的。

现在的AI，绝大部分数学是初等的（工科大学生水平），没有用到高深的数学，这样的AI能有多高的智能？我表示怀疑。

TheMatrix 写了： 2025年 2月 14日 14:25 AI是不能计算的。或者说神经网络是不适合计算的。

神经网络就和人的大脑类似，它里面存储的是“知识”，不是事实。知识的特点是模糊。你这次问它是这么说，下次问它是另一种说法。不是很精确。这个特点使它不适合做计算。比如算个乘法都费劲。938472*27263。

也不是不能算，它要抡起它的高级模糊智能来模拟机械步骤。就好像三体里面的场景 - 用几千几万的人来模拟二进制计算。能算，但是效率不行。

这个特点要以适合的方式来利用。

Caravel 写了： 2025年 2月 14日 14:47 很奇怪，大模型做大数乘法（10位置乘10位）会错，说明还缺乏一些东西，人脑虽然也是天马行空，但是可以rigoursly follow一些规则，大模型似乎还做不到。

FoxMe 写了： 2025年 2月 14日 12:36 我叫GPT出几个题目并给出答案，尼玛连矩阵乘法这么简单的东西，给出的答案都是错的。感觉死记硬背的题还是可以的。

现在的AI，绝大部分数学是初等的（工科大学生水平），没有用到高深的数学，这样的AI能有多高的智能？我表示怀疑。

verdelite 写了： 2025年 2月 14日 19:06 它现在全在大脑里面运算，还缺一个外挂计算器，或者外挂白纸+笔。这些都不难弄进去。

verdelite 写了： 2025年 2月 14日 19:06 它现在全在大脑里面运算，还缺一个外挂计算器，或者外挂白纸+笔。这些都不难弄进去。

TheMatrix 写了： 2025年 2月 14日 14:25 AI是不能计算的。或者说神经网络是不适合计算的。

神经网络就和人的大脑类似，它里面存储的是“知识”，不是事实。知识的特点是模糊。你这次问它是这么说，下次问它是另一种说法。不是很精确。这个特点使它不适合做计算。比如算个乘法都费劲。938472*27263。

也不是不能算，它要抡起它的高级模糊智能来模拟机械步骤。就好像三体里面的场景 - 用几千几万的人来模拟二进制计算。能算，但是效率不行。

这个特点要以适合的方式来利用。

FoxMe 写了： 2025年 2月 16日 10:03 那为啥不调用计算程序？很容易实现吧

Caravel 写了： 2025年 2月 13日 16:16 现在都把AGI，ASI想得太好了，认为一出来就什么科学问题就解决了，这估计是幻想。

从LLM的实践看，经验和知识就存在attention机制里面，attention就是两两之间的关联函数。聪明人比如围棋高手这样的人厉害，很大一部分就是他们的关联函数很sharp，一眼就能看出最佳出招在哪里，所以可以节省大量搜索的时间。

但是如果你看的的东西太多，context window很长，关联函数的有效性就大大降低，要么就得忽略很多元素。所以最佳效能的智能体最好是专精一个领域，而不是样样精通的超级智能。

这也许是Mixture of expert非常有效的原因。