暂停LLM竞赛6个月倡议来了

[Caravel]

叔在这里promote这个观点很久了，现在还看不到所谓AI的巨大威胁只能说明自己傻了。


签名包括Yoshua Bengio，Stuart Russell，Elon Musk，Steve Wozniak， Andrew Yang,

https://futureoflife.org/open-letter/pa ... periments/


内容如下：

大量研究[1]表明并得到顶级 AI 实验室的认可，具有人类竞争智能的 AI 系统可能对社会和人类构成深远的风险。[2]正如广泛认可的Asilomar AI 原则中所述，高级 AI 可能代表地球生命史上的深刻变化，应以相应的关怀和资源进行规划和管理。不幸的是，这种级别的规划和管理并没有发生，尽管最近几个月人工智能实验室陷入了一场失控的竞赛，以开发和部署更强大的数字思维，没有人——甚至他们的创造者——都无法理解，预测，或可靠地控制。

当代人工智能系统现在在一般任务上变得与人类具有竞争力，[3]我们必须扪心自问：我们是否应该让机器用宣传和谎言充斥我们的​​信息渠道？ 我们应该自动化所有的工作，包括令人满意的工作吗？我们是否应该 发展最终可能超过我们、超越我们、过时并取代我们的非人类思维？我们应该冒险失去对我们文明的控制吗？不得将此类决定委托给未经选举产生的技术领导者。 只有当我们确信它们的影响是积极的并且它们的风险是可控的时候，才应该开发强大的人工智能系统。这种信心必须有充分的理由，并随着系统潜在影响的大小而增加。OpenAI最近关于通用人工智能的声明指出，“在某些时候，在开始训练未来系统之前进行独立审查可能很重要，并且对于最先进的努力来说，同意限制用于创建新系统的计算增长率楷模。” 我们同意。那一点就是现在。

因此，我们呼吁所有人工智能实验室立即暂停训练比 GPT-4 更强大的人工智能系统（包括目前正在训练的 GPT-5）至少 6 个月。这种暂停应该是公开的和可验证的，并且包括所有关键参与者。如果不能迅速实施这种暂停，政府应介入并暂停。

人工智能实验室和独立专家应该利用这次暂停，共同开发和实施一套用于高级人工智能设计和开发的共享安全协议，并由独立的外部专家进行严格审计和监督。这些协议应确保遵守它们的系统是安全的，无可置疑。[4]这并不意味着总体上暂停 AI 开发，只是从危险的竞赛中倒退到具有紧急功能的更大的不可预测的黑盒模型。

人工智能研究和开发应该重新聚焦于使当今强大的、最先进的系统更加准确、安全、可解释、透明、稳健、一致、值得信赖和忠诚。

与此同时，AI 开发人员必须与政策制定者合作，以显着加快开发强大的 AI 治理系统。这些至少应包括：专门负责 AI 的新的和有能力的监管机构；监督和跟踪高性能人工智能系统和大量计算能力；出处和水印系统，以帮助区分真实与合成并跟踪模型泄漏；强大的审计和认证生态系统；人工智能造成的伤害的责任；为技术人工智能安全研究提供强大的公共资金；以及资源充足的机构来应对人工智能将造成的巨大的经济和政治破坏（尤其是对民主的破坏）。

人类可以享受人工智能带来的繁荣未来。成功创建强大的 AI 系统后，我们现在可以享受“AI 之夏”，收获回报，设计这些系统以造福所有人，并为社会提供适应的机会。社会已经暂停其他可能对社会造成灾难性影响的技术。[5] 我们可以在这里这样做。让我们享受一个漫长的 AI 夏天，而不是毫无准备地陷入秋天。

签名人士包括：

Yoshua Bengio，图灵奖获得者

Stuart Russell，伯克利计算机科学教授，教科书“人工智能：现代方法”的合著者

Elon Musk，SpaceX、Tesla 和 Twitter 的首席执行官

Steve Wozniak，苹果联合创始人

[Caravel]

资本家会因为工人抗议就停止开发机器吗???
最后资本寄托在ai上面 实现了对人类的奴役 不是很多科幻作品所预示的吗???

人是自然界的物种之一
出现了新的强大物种取代了人类 也是自然规律。

暂停是不可能，这个叔当然理解，但是这封信就是要人们重视AI可能带来的灾难性后果

[萧武达]

俺粗浅的脚的，所谓的竞赛，其实一直在进行未停歇
只是由于鼓吹GPT而恶质化了，完全是商业目的所致
ai的根本，并没有实质或根本进展，还是算力和数据
推动。更多的实质研究需要尽快能赶上商业化的需求

[bluedot]

ai有不小的炒作成分，跟前一段时间的元宇宙一样
没用过GPT4，用过chatGPT，感觉搜索能力语言能力可以，其他没啥，经常一本正经胡说八道

[gmo]

musk上回炒作的是btc……

[darkprince120]

Chatgpt 根本不是搜索啊。本质上是概率模型，量变引起质变

[Terminus]

感觉人类怂了

[Caravel]

ai有不小的炒作成分，跟前一段时间的元宇宙一样
没用过GPT4，用过chatGPT，感觉搜索能力语言能力可以，其他没啥，经常一本正经胡说八道

一旦越过门槛你就收不回来了

[TheMatrix]

这篇倡议里的恐慌，基调有点不对 - 感觉AI好像要take over人类了。其实远了去了。90%永远做不到。

但是它提议的两点对：
1，虚假信息。
2，给就业带来的短期影响 - 这个目前还不大，但是立法方面可以先考虑起来 - 我是说对失业人员的立法，不是限制AI研究的立法。

[Caravel]

这不是短期效应，这个成了人类就完了，我不同意人类可以转向更具创造性的领域。