暂停AI竞赛6个月的倡议来了

版主: CaravelTheMatrixmolen

回复
TheMatrix楼主
论坛支柱
论坛支柱
TheMatrix 的博客
帖子: 9717
注册时间: 7月 26, 2022, 12:35 am

暂停AI竞赛6个月的倡议来了

帖子 TheMatrix楼主 »

Caravel 写了: 3月 29, 2023, 5:27 am 叔在这里promote这个观点很久了,现在还看不到所谓AI的巨大威胁只能说明自己傻了。


签名包括Yoshua Bengio,Stuart Russell,Elon Musk,Steve Wozniak, Andrew Yang,

https://futureoflife.org/open-letter/pa ... periments/


内容如下:

大量研究[1]表明并得到顶级 AI 实验室的认可,具有人类竞争智能的 AI 系统可能对社会和人类构成深远的风险。[2]正如广泛认可的Asilomar AI 原则中所述,高级 AI 可能代表地球生命史上的深刻变化,应以相应的关怀和资源进行规划和管理。不幸的是,这种级别的规划和管理并没有发生,尽管最近几个月人工智能实验室陷入了一场失控的竞赛,以开发和部署更强大的数字思维,没有人——甚至他们的创造者——都无法理解,预测,或可靠地控制。

当代人工智能系统现在在一般任务上变得与人类具有竞争力,[3]我们必须扪心自问:我们是否应该让机器用宣传和谎言充斥我们的​​信息渠道? 我们应该自动化所有的工作,包括令人满意的工作吗?我们是否应该 发展最终可能超过我们、超越我们、过时并取代我们的非人类思维?我们应该冒险失去对我们文明的控制吗?不得将此类决定委托给未经选举产生的技术领导者。 只有当我们确信它们的影响是积极的并且它们的风险是可控的时候,才应该开发强大的人工智能系统。这种信心必须有充分的理由,并随着系统潜在影响的大小而增加。OpenAI最近关于通用人工智能的声明指出,“在某些时候,在开始训练未来系统之前进行独立审查可能很重要,并且对于最先进的努力来说,同意限制用于创建新系统的计算增长率楷模。” 我们同意。那一点就是现在。

因此,我们呼吁所有人工智能实验室立即暂停训练比 GPT-4 更强大的人工智能系统(包括目前正在训练的 GPT-5)至少 6 个月。这种暂停应该是公开的和可验证的,并且包括所有关键参与者。如果不能迅速实施这种暂停,政府应介入并暂停。

人工智能实验室和独立专家应该利用这次暂停,共同开发和实施一套用于高级人工智能设计和开发的共享安全协议,并由独立的外部专家进行严格审计和监督。这些协议应确保遵守它们的系统是安全的,无可置疑。[4]这并不意味着总体上暂停 AI 开发,只是从危险的竞赛中倒退到具有紧急功能的更大的不可预测的黑盒模型。

人工智能研究和开发应该重新聚焦于使当今强大的、最先进的系统更加准确、安全、可解释、透明、稳健、一致、值得信赖和忠诚。

与此同时,AI 开发人员必须与政策制定者合作,以显着加快开发强大的 AI 治理系统。这些至少应包括:专门负责 AI 的新的和有能力的监管机构;监督和跟踪高性能人工智能系统和大量计算能力;出处和水印系统,以帮助区分真实与合成并跟踪模型泄漏;强大的审计和认证生态系统;人工智能造成的伤害的责任;为技术人工智能安全研究提供强大的公共资金;以及资源充足的机构来应对人工智能将造成的巨大的经济和政治破坏(尤其是对民主的破坏)。

人类可以享受人工智能带来的繁荣未来。成功创建强大的 AI 系统后,我们现在可以享受“AI 之夏”,收获回报,设计这些系统以造福所有人,并为社会提供适应的机会。社会已经暂停其他可能对社会造成灾难性影响的技术。[5] 我们可以在这里这样做。让我们享受一个漫长的 AI 夏天,而不是毫无准备地陷入秋天。

签名人士包括:

Yoshua Bengio,图灵奖获得者

Stuart Russell,伯克利计算机科学教授,教科书“人工智能:现代方法”的合著者

Elon Musk,SpaceX、Tesla 和 Twitter 的首席执行官

Steve Wozniak,苹果联合创始人
TheMatrix楼主
论坛支柱
论坛支柱
TheMatrix 的博客
帖子: 9717
注册时间: 7月 26, 2022, 12:35 am

Re: 暂停AI竞赛6个月的倡议来了

帖子 TheMatrix楼主 »

这篇倡议里的恐慌,基调有点不对 - 感觉AI好像要take over人类了。其实远了去了。90%永远做不到。

但是它提议的两点对:
1,虚假信息。
2,给就业带来的短期影响 - 这个目前还不大,但是立法方面可以先考虑起来 - 我是说对失业人员的立法,不是限制AI研究的立法。
Caravel
论坛支柱
论坛支柱
Caravel 的博客
帖子: 11813
注册时间: 7月 24, 2022, 5:21 pm

Re: 暂停AI竞赛6个月的倡议来了

帖子 Caravel »

TheMatrix 写了: 3月 29, 2023, 11:01 am 这篇倡议里的恐慌,基调有点不对 - 感觉AI好像要take over人类了。其实远了去了。90%永远做不到。

但是它提议的两点对:
1,虚假信息。
2,给就业带来的短期影响 - 这个目前还不大,但是立法方面可以先考虑起来 - 我是说对失业人员的立法,不是限制AI研究的立法。
链式反应一旦反应就停不下来,面临人类的存续的重大问题,谨慎是必须的。这个灾难程度和核战争是一样的
上次由 Caravel 在 3月 29, 2023, 11:37 am,总共编辑 1 次。
头像
YouHi
论坛元老
论坛元老
帖子: 19800
注册时间: 7月 22, 2022, 10:36 pm

Re: 暂停AI竞赛6个月的倡议来了

帖子 YouHi »

有点小题大做的赶脚。

GPT-4能搞出什么名堂?能控制舆论吗?能控制股市吗?能控制核武吗?
FoxMe
论坛点评
论坛点评
帖子: 3193
注册时间: 7月 26, 2022, 4:46 pm
昵称(选填): 令狐

Re: 暂停AI竞赛6个月的倡议来了

帖子 FoxMe »

未来 20 年很有可 能发生一个“颠覆文明的事件”,其概率高达 50%: 这个事件就是AI。

=============================
这篇文章预言了新冠病毒和人类灭绝,并且把矛头指向美国。尼玛新冠病毒真的是制造出来的?当前的国际形势下,“人类在21世纪灭绝的概率不小于 20%”不是危言耸听。

刘益东 《中国战略新兴产业》 2015年07期
http://www.ihns.cas.cn/kxcb_new/kpwz_ne ... 003008.pdf

乔伊认为不仅核武器、生物武器、化学武 器威力巨大,而且更危险的、威力更大的是不 依赖稀缺原材料就能制造毁灭性武器的基因技 术、纳米技术和机器人技术。不断加速的技术 变革可能会在两代人的时间内带来某种类似于 人类灭绝的后果。 乔伊认为未来 20 年很有可 能发生一个“颠覆文明的事件”,其概率高达 50%。里斯则指出,到 2020 年之前,只要发生 一次生物恐怖袭击或生物工程方面的错误,上 百万人类的生命就可能迅速灰飞烟灭。

现在普通人已经能从网上下载天花或者 1918 年西班牙流感病毒的基因序列,但目前为 止对普通人而言,你得到的也就只是电脑屏幕 上的一串字符。可是如果我们的 DNA 合成仪越 来越好用,输入网上下载的序列信息,就可以 得到真正的 RNA 或者 DNA 序列,那么不久之 后这些仪器可能就强大到可以直接制造出相应 的病毒。牛津大学人类未来研究院的院长、教 授尼克·博斯特罗姆指出人类在 21 世纪灭绝的 概率不小于 20%。

粗放式创新会导致致毁知识增长、积累和 扩散,而致毁知识的扩散就会导致致毁武器和 产品的泛滥,而致毁武器的泛滥就会导致恐怖 主义和个人恐怖主义的横行。技术发展的速度 很可怕,刚开始很复杂的东西很快就会普及。 可见对科技发展的担忧、批评和预警越来越多, 越来越严厉。科学组织和国际组织从 1955-2005 年不断推出关于科学家所应承担的社会责任宣 言。另外,其在创新领域也提出了负责任的创新, 强调要注意规避创新的风险,也就是说这一领 域社会是给予关注的。
TheMatrix楼主
论坛支柱
论坛支柱
TheMatrix 的博客
帖子: 9717
注册时间: 7月 26, 2022, 12:35 am

Re: 暂停AI竞赛6个月的倡议来了

帖子 TheMatrix楼主 »

手画了一张图,表达我对AI对人类工作的影响:

图片

什么意思呢?就是你原来有一大块工作,工种,叫“程序员”。现在AI来了,大部分的工作不用人做了。程序员的工作没了吗?不是。啥也不用说了,这个图应该很清楚了。
FoxMe
论坛点评
论坛点评
帖子: 3193
注册时间: 7月 26, 2022, 4:46 pm
昵称(选填): 令狐

Re: 暂停AI竞赛6个月的倡议来了

帖子 FoxMe »

须要很担心吗?可能没有必要。纺织工人没有了,日子照样过。
TheMatrix楼主
论坛支柱
论坛支柱
TheMatrix 的博客
帖子: 9717
注册时间: 7月 26, 2022, 12:35 am

Re: 暂停AI竞赛6个月的倡议来了

帖子 TheMatrix楼主 »

FoxMe 写了: 3月 29, 2023, 11:32 am 须要很担心吗?可能没有必要。纺织工人没有了,日子照样过。
数学教授的工作要是没了呢?哈哈。
TheMatrix楼主
论坛支柱
论坛支柱
TheMatrix 的博客
帖子: 9717
注册时间: 7月 26, 2022, 12:35 am

Re: 暂停AI竞赛6个月的倡议来了

帖子 TheMatrix楼主 »

马斯克正在组队。说:前面的,给我停下来!让我先搭出来GPT-4再说。
头像
YouHi
论坛元老
论坛元老
帖子: 19800
注册时间: 7月 22, 2022, 10:36 pm

Re: 暂停AI竞赛6个月的倡议来了

帖子 YouHi »

FoxMe 写了: 3月 29, 2023, 11:32 am 须要很担心吗?可能没有必要。纺织工人没有了,日子照样过。
你的日子照样过,纺织工人的日子就不好过了。
Laowang
职业作家
职业作家
帖子: 682
注册时间: 7月 30, 2022, 1:13 pm
昵称(选填): Laowang

Re: 暂停AI竞赛6个月的倡议来了

帖子 Laowang »

车轮浩荡 无可逆转
Caravel
论坛支柱
论坛支柱
Caravel 的博客
帖子: 11813
注册时间: 7月 24, 2022, 5:21 pm

Re: 暂停AI竞赛6个月的倡议来了

帖子 Caravel »

TheMatrix 写了: 3月 29, 2023, 11:35 am 数学教授的工作要是没了呢?哈哈。
对,纺织工人的工作没了找一个替代不难,比如做汽车工人,比如做马公。数学物理教授的工作也不需要了,那人类就downgrade成二等公民了。
上次由 Caravel 在 3月 29, 2023, 11:50 am,总共编辑 1 次。
头像
verdelite
论坛元老
论坛元老
帖子: 14921
注册时间: 7月 21, 2022, 11:33 pm
昵称(选填): 众傻之傻

Re: 暂停AI竞赛6个月的倡议来了

帖子 verdelite »

TheMatrix 写了: 3月 29, 2023, 11:41 am 马斯克正在组队。说:前面的,给停下来!让我先搭出来GPT-4再说。
哈哈,和此类似,以色列某次中东战争时候停火几周,美国急速补充军火,然后反败为胜。

这个建议就是扯蛋,因为那些程序员停6个月的话,谁给他们发工资?签字的这些人吗。
没有光子;也没有量子能级,量子跃迁,量子叠加,量子塌缩和量子纠缠。
Caravel
论坛支柱
论坛支柱
Caravel 的博客
帖子: 11813
注册时间: 7月 24, 2022, 5:21 pm

Re: 暂停AI竞赛6个月的倡议来了

帖子 Caravel »

verdelite 写了: 3月 29, 2023, 11:50 am 哈哈,和此类似,以色列某次中东战争时候停火几周,美国急速补充军火,然后反败为胜。

这个建议就是扯蛋,因为那些程序员停6个月的话,谁给他们发工资?签字的这些人吗。
这个倡议就是提醒业界引起重视,不要给自己挖坑自己跳进去

人们很容易理解核战的危险,却不容易理解AI的危险,这个东西未来十年,能不能掌握训练复制自己的能力?感觉不难,copy一下weight就可以,据说训练的code也就几千行
上次由 Caravel 在 3月 29, 2023, 11:54 am,总共编辑 1 次。
头像
verdelite
论坛元老
论坛元老
帖子: 14921
注册时间: 7月 21, 2022, 11:33 pm
昵称(选填): 众傻之傻

Re: 暂停AI竞赛6个月的倡议来了

帖子 verdelite »

Caravel 写了: 3月 29, 2023, 11:51 am 这个倡议就是提醒业界引起重视,不要给自己挖坑自己跳进去
这是不以人的意志为转移的。例如某机关高层白人不推BLM他就得下台,不管他真正的想法是什么。
没有光子;也没有量子能级,量子跃迁,量子叠加,量子塌缩和量子纠缠。
头像
pseudo
见习点评
见习点评
帖子: 1479
注册时间: 7月 28, 2022, 10:04 am
昵称(选填): small man

Re: 暂停AI竞赛6个月的倡议来了

帖子 pseudo »

TheMatrix 写了: 3月 29, 2023, 11:01 am
这个和工业革命初期,工人纷纷起来砸机器,有异曲同工之妙。
头像
YouHi
论坛元老
论坛元老
帖子: 19800
注册时间: 7月 22, 2022, 10:36 pm

Re: 暂停AI竞赛6个月的倡议来了

帖子 YouHi »

我觉得人类最后就是像Wall-E描述的样子。AI/robots干所有的事情。人类变肥,整天躺在椅子上看视频/玩游戏。
TheMatrix楼主
论坛支柱
论坛支柱
TheMatrix 的博客
帖子: 9717
注册时间: 7月 26, 2022, 12:35 am

Re: 暂停AI竞赛6个月的倡议来了

帖子 TheMatrix楼主 »

图片
Caravel
论坛支柱
论坛支柱
Caravel 的博客
帖子: 11813
注册时间: 7月 24, 2022, 5:21 pm

Re: 暂停AI竞赛6个月的倡议来了

帖子 Caravel »

TheMatrix 写了: 4月 11, 2023, 6:00 pm 图片
看到有解读是输出内容必须基本符合法律,如果不合规内容,必须三个月内改进
回复

回到 “史海钩沉(History)”