GPT可能会发生自激

[TheMatrix]

[TheMatrix]

这个人提的两条都非常好。尤其是第二条，GPT自激，很有意义。这个问题必须尽早考虑。

[萧武达]

这是GPT的原罪吧，很多人撤回（马一龙也退了）
现在的机器学习模式有很大的局限性
互呼唤基础逻辑，算法基础甚至硬件的突破

[TheMatrix]

这是GPT的原罪吧，很多人撤回（马一龙也退了）
现在的机器学习模式有很大的局限性
互呼唤基础逻辑，算法基础甚至硬件的突破

GPT的局限性主楼提到两条。其他方面也有，比如统计模型的层次还是有点低，Wolfram说GPT的本质还是预测下一个word。

我在等着看GPT的局限，不光是GPT的局限，而是这波AI的局限，加上多模态，仍然有局限。我认为很快就能看到。5年之内一定能，因为迭代的速度太快了。迭代速度慢下来其实也一定程度标志着遇到了局限。

[bsmile]

同意，最后将会是人类用熟了的一个趁手的工具。

[BCQ1]

数据有限的话肯定是这样的吧
但通过用户的使用确认，
数据量会成倍增加
GPT不使用光自己迭代肯定是有局限的

[TheMatrix]

同意，最后将会是人类用熟了的一个趁手的工具。

对。我认为这是95%会发生的。AI有“智能”，这只有不到5%的机会。

[YouHi]

完了，已经到了AGI了。

https://arxiv.org/abs/2303.12712

[drifter]

谎言重复一千遍就要实现了
以后ai沉浸在自己的世界里 人类都毁灭了 ai里还是歌舞升平

[Caravel]

对。我认为这是95%会发生的。AI有“智能”，这只有不到5%的机会。

不一定，有人认为llm已经建立了一个world model，是外部世界model的一个映射

[TheMatrix]

不一定，有人认为llm已经建立了一个world model，是外部世界model的一个映射

纯语言模型能不能建立world model，这是个哲学问题。我认为不能。

但是现在我觉得不是这个问题 - 因为现在已经是多模态了。我觉得还是概念抽象层次不够的问题。你要是说那就继续提高抽象层次呗。那也对。我也看不到它的局限在哪。但是我认为，或者是我赌它，会有局限，很难突破的局限，而且很快就能看到。

[pathdream]

这个就是电影matrix的问题 一直留着人类 ai的局限性

[Caravel]

纯语言模型能不能建立world model，这是个哲学问题。我认为不能。

但是现在我觉得不是这个问题 - 因为现在已经是多模态了。我觉得还是概念抽象层次不够的问题。你要是说那就继续提高抽象层次呗。那也对。我也看不到它的局限在哪。但是我认为，或者是我赌它，会有局限，很难突破的局限，而且很快就能看到。

其实我不知道自激石什么意思，machine learning训练本来不就是要run很多epoch

[TheMatrix]

其实我不知道自激石什么意思，machine learning训练本来不就是要run很多epoch

自激的意思是用自己生成的“知识”来训练。比如它可以产生“2022年美国再次载人登月”的知识，然后这个知识进入互联网，它扒下来，再用于训练。

[TheMatrix]

这就是自激：

我从前最烦写Airbnb review，但不写又觉得不好

尤其是那些住的很舒服的，不写赞美一番觉得过意不去。

现在有了ChatGPT，30秒搞定。

[hci]

有了world model也是没有用的。因为world model不是意识，或者说，没有考虑到意识的独立自在性的world model是错的model。

有一个错的model，还是可以做一个合格的奴隶的。所以，没有意识，能做合格奴隶的AGI是可以实现的。我们将来会有很多机器人奴隶走在街上。他们都没有意识。

有意识的AGI是不可能的。

[TheMatrix]

有了world model也是没有用的。因为world model不是意识，或者说，没有考虑到意识的独立自在性的world model是错的model。

有一个错的model，还是可以做一个合格的奴隶的。所以，没有意识，能做合格奴隶的AGI是可以实现的。我们将来会有很多机器人奴隶走在街上。他们都没有意识。

有意识的AGI是不可能的。

我同意这个观点。

我认为，有意识的AGI只能由男人和女人以生物的方式制造，产生之后在人类社会中继续学习训练，并与人类社会一起进化。

[TheMatrix]

[eecs_guy]

我同意这个观点。

我认为，有意识的AGI只能由男人和女人以生物的方式制造，产生之后在人类社会中继续学习训练，并与人类社会一起进化。

我不太同意，人类自己都尚未弄清意识的生理基础和数学本质。不能轻易否定模拟意识的可能性，尤其是自我意识。

[TheMatrix]

我不太同意，人类自己都尚未弄清意识的生理基础和数学本质。不能轻易否定模拟意识的可能性，尤其是自我意识。

我也是逐渐清晰自己的观点，当然我可能还会改变。

我认为在人类监管下的AI，不可能发展出自我意识。当然，它可以和人类融合，人类可能变成cyborg，这样也不能算AI有自我意识。另一种情况是人类制造了AI之后把它扔在某个星球，过1000年再去看，它有可能有自我意识了。