AI到底能不能毁灭人类?

版主: CaravelTheMatrixmolen

Hof
论坛点评
论坛点评
Hof 的博客
帖子: 2089
注册时间: 8月 15, 2022, 3:09 am

Re: AI到底能不能毁灭人类?

帖子 Hof »

TheMatrix 写了: 6月 6, 2023, 1:08 pm
这个观点,我早就说过了...
另外,可以参见电影《Minority Report》
TheMatrix楼主
论坛支柱
论坛支柱
TheMatrix 的博客
帖子: 9717
注册时间: 7月 26, 2022, 12:35 am

Re: AI到底能不能毁灭人类?

帖子 TheMatrix楼主 »

Caravel 写了: 6月 6, 2023, 2:11 pm 我对AI发展比较乐观,当然5-10年level短期出现瓶颈是可能的。我不认为chatGPT直接就变成AGI

中长期对人类来说是有风险的。任何有独立意识的物种和AGI机器对人类都有风险,这就是大刘的黑暗森林学说。我很奇怪Andrew认为没有风险,还是他认为做不出来AGI么?

长期风险,社会上就要长期准备,这就好比气候变暖。因为人类社会也没有一个总皇帝,今天下了命令,明天就能行动。到时候还要各国谈判,各种利益集团。如果100年出现AGI,那95年开始治理还来得及么?
在你的概念中,AGI也是有独立意识的物种吗?还是AGI没有独立意识?

你对AI发展比较乐观,是认为AGI能发展出独立意识?还是说AGI能够智力很发达,虽然不具有独立意识,但是能干所有只能的事情?
TheMatrix楼主
论坛支柱
论坛支柱
TheMatrix 的博客
帖子: 9717
注册时间: 7月 26, 2022, 12:35 am

Re: AI到底能不能毁灭人类?

帖子 TheMatrix楼主 »

YouHi 写了: 6月 6, 2023, 1:59 pm 即使听话的AI也有可能灭绝人类。
一个例子就是让AI最大化生产金子。结果AI就把世界都破坏,为了提高金子产量。甚至把人都杀了以便提取金子。

阿西莫夫的什么三定律首先没法保证能pre-program到所有AI里,其次也没办法完全保证AI没有bug,bypass三定律。

前途是未知的,很可能是黑暗的。
理论上的可能性是存在的。但是我不觉得有现实意义。

你说的就是这篇里的意思:viewtopic.php?t=204914

有点类似于程序bug。
Caravel
论坛支柱
论坛支柱
Caravel 的博客
帖子: 11829
注册时间: 7月 24, 2022, 5:21 pm

Re: AI到底能不能毁灭人类?

帖子 Caravel »

TheMatrix 写了: 6月 6, 2023, 3:24 pm 在你的概念中,AGI也是有独立意识的物种吗?还是AGI没有独立意识?

你对AI发展比较乐观,是认为AGI能发展出独立意识?还是说AGI能够智力很发达,虽然不具有独立意识,但是能干所有只能的事情?
我认为AGI就有独立的意识。AGI的前提应该是对世界有一个看法,区分自身和外界,这就是独立意识的基础。

独立意识的门槛其实不高。猫和狗都有独立的意识。

一旦有独立意识,他的利益就和我们人类不完全align,就好比人类和猫狗利益不完全align,再加上他们很强大,你说有没有危险?
TheMatrix楼主
论坛支柱
论坛支柱
TheMatrix 的博客
帖子: 9717
注册时间: 7月 26, 2022, 12:35 am

Re: AI到底能不能毁灭人类?

帖子 TheMatrix楼主 »

Caravel 写了: 6月 6, 2023, 3:53 pm 我认为AGI就有独立的意识。AGI的前提应该是对世界有一个看法,区分自身和外界,这就是独立意识的基础。

独立意识的门槛其实不高。猫和狗都有独立的意识。

一旦有独立意识,他的利益就和我们人类不完全align,就好比人类和猫狗利益不完全align,再加上他们很强大,你说有没有危险?
如果你的概念中AGI有独立的意识,那我认为AGI不能实现。
Caravel
论坛支柱
论坛支柱
Caravel 的博客
帖子: 11829
注册时间: 7月 24, 2022, 5:21 pm

Re: AI到底能不能毁灭人类?

帖子 Caravel »

TheMatrix 写了: 6月 6, 2023, 3:28 pm 理论上的可能性是存在的。但是我不觉得有现实意义。

你说的就是这篇里的意思:viewtopic.php?t=204914

有点类似于程序bug。
这是一种风险,未来人或许为了打胜仗,不得不把强大的武器交给AI控制。

另外一种风险是,三定律没法严格编程,就好比现在的LLM,你想让他合规不乱说话做不到。
Caravel
论坛支柱
论坛支柱
Caravel 的博客
帖子: 11829
注册时间: 7月 24, 2022, 5:21 pm

Re: AI到底能不能毁灭人类?

帖子 Caravel »

TheMatrix 写了: 6月 6, 2023, 3:55 pm 如果你的概念中AGI有独立的意识,那我认为AGI不能实现。
那你说意识从哪里来的,神创论?
头像
hci
论坛精英
论坛精英
帖子: 6246
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

Re: AI到底能不能毁灭人类?

帖子 hci »

意识天成。

事实上,意识为本。

太一为一意识,我们的意识,为其分意识。

这就是道家的本体论,客观,唯识。

太一生水,水反辅太一,是以成天。天反辅太一,是以成地。天地相辅也,是以成神明;神明复相辅也,是以成侌昜;侌昜复相辅也,是以成四时;四时复辅也,是以成仓然;仓然复相辅也,是以成湿燥;湿燥复相辅也,成岁而止。

万物有灵,也都有意识。
Caravel 写了: 6月 6, 2023, 4:01 pm 那你说意识从哪里来的,神创论?
TheMatrix楼主
论坛支柱
论坛支柱
TheMatrix 的博客
帖子: 9717
注册时间: 7月 26, 2022, 12:35 am

Re: AI到底能不能毁灭人类?

帖子 TheMatrix楼主 »

Caravel 写了: 6月 6, 2023, 4:01 pm 那你说意识从哪里来的,神创论?
人的意识从人的身体结构中来。要想有人的意识,必须有人的结构。人的制造离不了交配,出生,和成长。叫什么名字都可以,但是这些过程少不了。
头像
hci
论坛精英
论坛精英
帖子: 6246
注册时间: 7月 22, 2022, 3:29 pm
昵称(选填): 海螺子

Re: AI到底能不能毁灭人类?

帖子 hci »

你说的,道家叫识神。识神(阴)依賴于身体。并且不是真的意识。识神人死既灭。人死而识神不灭,是为鬼。佛教,就是想要修成识神不灭的鬼。真的意识叫元神(阳),元神天成,不生不灭。

西方,连上帝都是个物质体,所以完全不能理解元神为何物。所以翻译的中国书,都翻译错了。中学为用,西学为体,只能逞一时英豪。
TheMatrix 写了: 6月 6, 2023, 4:22 pm 人的意识从人的身体结构中来。要想有人的意识,必须有人的结构。人的制造离不了交配,出生,和成长。叫什么名字都可以,但是这些过程少不了。
Caravel
论坛支柱
论坛支柱
Caravel 的博客
帖子: 11829
注册时间: 7月 24, 2022, 5:21 pm

Re: AI到底能不能毁灭人类?

帖子 Caravel »

TheMatrix 写了: 6月 6, 2023, 4:22 pm 人的意识从人的身体结构中来。要想有人的意识,必须有人的结构。人的制造离不了交配,出生,和成长。叫什么名字都可以,但是这些过程少不了。
猫狗也有自我意识,猫狗身体可以和人不一样,身体就是sensor,机器人也可以有身体,sensor传回去感官。Elon musk的neuralink就是接入外感官,相当于扩展了身体
TheMatrix楼主
论坛支柱
论坛支柱
TheMatrix 的博客
帖子: 9717
注册时间: 7月 26, 2022, 12:35 am

Re: AI到底能不能毁灭人类?

帖子 TheMatrix楼主 »

hci 写了: 6月 6, 2023, 4:50 pm 你说的,道家叫识神。识神(阴)依賴于身体。并且不是真的意识。识神人死既灭。人死而识神不灭,是为鬼。佛教,就是想要修成识神不灭的鬼。真的意识叫元神(阳),元神天成,不生不灭。

西方,连上帝都是个物质体,所以完全不能理解元神为何物。所以翻译的中国书,都翻译错了。中学为用,西学为体,只能逞一时英豪。
元神这个事情,我现在还不能信服。
TheMatrix楼主
论坛支柱
论坛支柱
TheMatrix 的博客
帖子: 9717
注册时间: 7月 26, 2022, 12:35 am

Re: AI到底能不能毁灭人类?

帖子 TheMatrix楼主 »

Caravel 写了: 6月 6, 2023, 4:54 pm 猫狗也有自我意识,猫狗身体可以和人不一样,身体就是sensor,机器人也可以有身体,sensor传回去感官。Elon musk的neuralink就是接入外感官,相当于扩展了身体
这我同意。

猫狗有身体,有自我意识,和人一样,只不过低等一些。

机器人可以有身体,但是人的身体多复杂啊?别说人了,猫狗的身体多复杂啊?机器人能比吗?别说猫狗了,细胞的结构就已经很复杂了。然后,有了结构,还是基因生长出来的,可能还需要交配,生出来之后还要成长。机器人能做到吗?做到的话,那就是个人了。
Caravel
论坛支柱
论坛支柱
Caravel 的博客
帖子: 11829
注册时间: 7月 24, 2022, 5:21 pm

Re: AI到底能不能毁灭人类?

帖子 Caravel »

TheMatrix 写了: 6月 6, 2023, 5:11 pm 这我同意。

猫狗有身体,有自我意识,和人一样,只不过低等一些。

机器人可以有身体,但是人的身体多复杂啊?别说人了,猫狗的身体多复杂啊?机器人能比吗?别说猫狗了,细胞的结构就已经很复杂了。然后,有了结构,还是基因生长出来的,可能还需要交配,生出来之后还要成长。机器人能做到吗?做到的话,那就是个人了。
机器人也可以有很多结构,用半导体工艺做出来无数的微型传感器,或者往大里做,一个城市的摄像头都是他的。

动物有复杂的也有简单的,昆虫就没有那么复杂。

大脑是核心机构,身体上其他的神经系统是外延。有的人比如霍金大脑还很发达,但是外围的不通了。neuralink就是把大脑外接一个芯片来控制机器手什么的。经过训练应该可以做到。

再进一步就是内核可能也可以扩展,这样人和机器的界限就模糊了。意识就可以转生到新的躯体上。
头像
YouHi
论坛元老
论坛元老
帖子: 19812
注册时间: 7月 22, 2022, 10:36 pm

Re: AI到底能不能毁灭人类?

帖子 YouHi »

别纠结了。优胜劣败。人类被AI/Hybrid取代是早晚的事。
pathdream
论坛支柱
论坛支柱
帖子: 12543
注册时间: 7月 25, 2022, 11:42 am
昵称(选填): 葱韭集团团长

Re: AI到底能不能毁灭人类?

帖子 pathdream »

AI根本不给人类怎么想的一个f
生命中的一切,早已暗中标好了价格。(不同地方价格不一样,不同的人价格不一样,不同时候价格也有所不同。)自由不是免费的,自由也不是无价的,任何东西都不是免费的。
头像
YouHi
论坛元老
论坛元老
帖子: 19812
注册时间: 7月 22, 2022, 10:36 pm

Re: AI到底能不能毁灭人类?

帖子 YouHi »

pathdream 写了: 6月 6, 2023, 5:18 pm AI根本不给人类怎么想的一个f
三体里有句名言:我灭掉你,还需要理由吗?
头像
pseudo
见习点评
见习点评
帖子: 1479
注册时间: 7月 28, 2022, 10:04 am
昵称(选填): small man

Re: AI到底能不能毁灭人类?

帖子 pseudo »

TheMatrix 写了: 6月 6, 2023, 1:48 pm 关于AI的前景,目前有这么几种态度:

1,对AI发展乐观,对人类前途悲观 - Hinton,本版也有一些。

2,对AI发展不乐观,对AI对人类的利益乐观 - AI很快会遇到瓶颈 - 我在这一栏里。

3,对AI的发展乐观,对人类前途乐观 - 这个应该有不少人,毕竟像Hinton那么悲观的人不多。

4,对AI发展不乐观,对AI对人类的影响不乐观 - 这个应该也有。
我把自己归在3的类别。

AI会继续发展,变成非常有用的工具,但AI只是AI。毁灭人类的是人类,和AI没有关系。

还有,2和3的差别不大。什么是对AI发展乐观还是不乐观,这很大程度就是一个定义问题。
pathdream
论坛支柱
论坛支柱
帖子: 12543
注册时间: 7月 25, 2022, 11:42 am
昵称(选填): 葱韭集团团长

Re: AI到底能不能毁灭人类?

帖子 pathdream »

YouHi 写了: 6月 6, 2023, 5:18 pm 三体里有句名言:我灭掉你,还需要理由吗?
这个是明白人
生命中的一切,早已暗中标好了价格。(不同地方价格不一样,不同的人价格不一样,不同时候价格也有所不同。)自由不是免费的,自由也不是无价的,任何东西都不是免费的。
TheMatrix楼主
论坛支柱
论坛支柱
TheMatrix 的博客
帖子: 9717
注册时间: 7月 26, 2022, 12:35 am

Re: AI到底能不能毁灭人类?

帖子 TheMatrix楼主 »

pseudo 写了: 6月 6, 2023, 5:19 pm 我把自己归在3的类别。

AI会继续发展,变成非常有用的工具,但AI只是AI。毁灭人类的是人类,和AI没有关系。

还有,2和3的差别不大。什么是对AI发展乐观还是不乐观,这很大程度就是一个定义问题。
对。我故意没怎么说清楚,玩嘛。对AI发展乐观,要乐观到什么程度呢?AI可以有自我意识,可以毁灭人类,这叫乐观。Hinton就是这样。
回复

回到 “史海钩沉(History)”