分页: 1 / 1

关于GPT和AGI

发表于 : 3月 17, 2023, 7:57 pm
Caravel
人类用过往的经验推导未来,常常会碰到挫折。chatGPT就是这样一个意外。

因为通常的想法是langauge model需要grounding,不可能凭空产生智能,需要从底层的感知模块开始,产生直观的感受,建立所谓的world model,然后在此之上进一步抽象,用上language model。这也符合进化的一般规律,从低等生物,有感知模块,简单的条件反射,再到负责的动物的机动能力,再到人类的抽象思考能力。持这一派的著名学者我知道的就有Richard Sutton和Yan LeCun。

但是chatGPT似乎一步到位,直接可以和人对话,理解人的意思。chatGPT,按照现在流行的说法,其实是natural language interface to foundation model。而foundation model 是由大量人类的文本组成的数据训练成的。GPT并没有感知模块,他所有的输入,都是我们人类帮助他collect的。有时候我不禁把GPT想象成一个奇怪的生物,没有感官,我们人类你一嘴巴我一嘴巴把世界用语言描述给他,竟然久而久之,他竟然掌握了大量世界的知识,能和人类对话的有来有回。

这不禁让我们重新思考很多问题

“AGI需要直接感官么?”

是不是像GPT这样的间接过程也可以达到AGI?它不需要去看,去听,去摸,我们帮他去看去听去摸,回来告诉他感受。如果是这样的,AGI会和我们之前预计的超级智能很不同,他可能是一个缓慢的静态的东西,每一次更新需要好几天。更新之前,都是基于之前的经验。但是同时他可以是智慧的,可以思考负责的问题。他没有条件反射,没有拟人化的情感,但是却可以基于逻辑冷静的思考。

当然也有可能目前的GPT还并不是真正的AGI,只是AGI的一种原型机。他的第一步进化,需要我们人来辅助,第一步对世界感觉靠人来得到。但是以后它可以借助大量的传感器直接获取客观世界的信息,也建立快速的反应机制。那这样的AGI就会比较恐怖了,一旦human out of loop,我们对他的干预能力会越来越少。他对世界的看法,未必和我们一样,我们看他就像看一个有几千只复眼的智能昆虫,他看我们可能觉得我们像一个黏糊糊的肉虫。

AGI确实是人类历史上赌注最大的赌博,我们可能发现的是通往下一级文明快速天梯,也有可能是为人类的坟墓开挖了第一铲土。到底哪一种是真的,很难预料。

Re: 关于GPT和AGI

发表于 : 3月 17, 2023, 8:07 pm
huangchong
对话本身不需要理解和智力 “话术”就是描述这种现象 只要学会了套路 照葫芦画瓢 就可以打到蒙蔽受众的目的 泡妞 赚钱 发paper 太常见了 并不需要使用者有多高智力 多深研究 只要保持一颗谦逊的心 愿意放下身段当个AI就行

Re: 关于GPT和AGI

发表于 : 3月 17, 2023, 8:13 pm
TheMatrix
huangchong 写了: 3月 17, 2023, 8:07 pm 对话本身不需要理解和智力 “话术”就是描述这种现象 只要学会了套路 照葫芦画瓢 就可以打到蒙蔽受众的目的 泡妞 赚钱 发paper 太常见了 并不需要使用者有多高智力 多深研究 只要保持一颗谦逊的心 愿意放下身段当个AI就行
我更同意你的看法。

Re: 关于GPT和AGI

发表于 : 3月 17, 2023, 8:15 pm
TheMatrix
Caravel 写了: 3月 17, 2023, 7:57 pm 人类用过往的经验推导未来,常常会碰到挫折。chatGPT就是这样一个意外。

因为通常的想法是langauge model需要grounding,不可能凭空产生智能,需要从底层的感知模块开始,产生直观的感受,建立所谓的world model,然后在此之上进一步抽象,用上language model。这也符合进化的一般规律,从低等生物,有感知模块,简单的条件反射,再到负责的动物的机动能力,再到人类的抽象思考能力。持这一派的著名学者我知道的就有Richard Sutton和Yan LeCun。

但是chatGPT似乎一步到位,直接可以和人对话,理解人的意思。chatGPT,按照现在流行的说法,其实是natural language interface to foundation model。而foundation model 是由大量人类的文本组成的数据训练成的。GPT并没有感知模块,他所有的输入,都是我们人类帮助他collect的。有时候我不禁把GPT想象成一个奇怪的生物,没有感官,我们人类你一嘴巴我一嘴巴把世界用语言描述给他,竟然久而久之,他竟然掌握了大量世界的知识,能和人类对话的有来有回。

这不禁让我们重新思考很多问题

“AGI需要直接感官么?”

是不是像GPT这样的间接过程也可以达到AGI?它不需要去看,去听,去摸,我们帮他去看去听去摸,回来告诉他感受。如果是这样的,AGI会和我们之前预计的超级智能很不同,他可能是一个缓慢的静态的东西,每一次更新需要好几天。更新之前,都是基于之前的经验。但是同时他可以是智慧的,可以思考负责的问题。他没有条件反射,没有拟人化的情感,但是却可以基于逻辑冷静的思考。

当然也有可能目前的GPT还并不是真正的AGI,只是AGI的一种原型机。他的第一步进化,需要我们人来辅助,第一步对世界感觉靠人来得到。但是以后它可以借助大量的传感器直接获取客观世界的信息,也建立快速的反应机制。那这样的AGI就会比较恐怖了,一旦human out of loop,我们对他的干预能力会越来越少。他对世界的看法,未必和我们一样,我们看他就像看一个有几千只复眼的智能昆虫,他看我们可能觉得我们像一个黏糊糊的肉虫。

AGI确实是人类历史上赌注最大的赌博,我们可能发现的是通往下一级文明快速天梯,也有可能是为人类的坟墓开挖了第一铲土。到底哪一种是真的,很难预料。
现在就给ChatGPT开庆功会,AGI庆功会,我觉得为时尚早。:)

5年之内,就能看清楚这个迭代过程的局限。如果看不到的话,那确实可以开庆功会了。

Re: 关于GPT和AGI

发表于 : 3月 17, 2023, 8:18 pm
Caravel
TheMatrix 写了: 3月 17, 2023, 8:15 pm 现在就给ChatGPT开庆功会,AGI庆功会,我觉得为时尚早。:)

5年之内,就能看清楚这个迭代过程的局限。如果看不到的话,那确实可以开庆功会了。
没有开庆功会,是基于现在chatgpt的现状,对未来的展望。

Re: 关于GPT和AGI

发表于 : 3月 17, 2023, 8:20 pm
TheMatrix
Caravel 写了: 3月 17, 2023, 8:18 pm 没有开庆功会,是基于现在chatgpt的现状,对未来的展望。
5年之内,AGI实现不了。这是我的预计。

你怎么预计?

不要问我AGI的定义,就用你自己的模糊定义。

Re: 关于GPT和AGI

发表于 : 3月 17, 2023, 8:28 pm
Caravel
TheMatrix 写了: 3月 17, 2023, 8:20 pm 5年之内,AGI实现不了。这是我的预计。

你怎么预计?

不要问我AGI的定义,就用你自己的模糊定义。
你想象的那种AGI实现不了,但是如果放宽标准,说不定chatGPT就是第一个AGI。我么现在还搞不清楚AGI需要什么条件,只有到一定的临界点才比较清楚。

Re: 关于GPT和AGI

发表于 : 3月 17, 2023, 8:35 pm
irisyuan
Caravel 写了: 3月 17, 2023, 7:57 pm 人类用过往的经验推导未来,常常会碰到挫折。chatGPT就是这样一个意外。

因为通常的想法是langauge model需要grounding,不可能凭空产生智能,需要从底层的感知模块开始,产生直观的感受,建立所谓的world model,然后在此之上进一步抽象,用上language model。这也符合进化的一般规律,从低等生物,有感知模块,简单的条件反射,再到负责的动物的机动能力,再到人类的抽象思考能力。持这一派的著名学者我知道的就有Richard Sutton和Yan LeCun。

但是chatGPT似乎一步到位,直接可以和人对话,理解人的意思。chatGPT,按照现在流行的说法,其实是natural language interface to foundation model。而foundation model 是由大量人类的文本组成的数据训练成的。GPT并没有感知模块,他所有的输入,都是我们人类帮助他collect的。有时候我不禁把GPT想象成一个奇怪的生物,没有感官,我们人类你一嘴巴我一嘴巴把世界用语言描述给他,竟然久而久之,他竟然掌握了大量世界的知识,能和人类对话的有来有回。

这不禁让我们重新思考很多问题

“AGI需要直接感官么?”

是不是像GPT这样的间接过程也可以达到AGI?它不需要去看,去听,去摸,我们帮他去看去听去摸,回来告诉他感受。如果是这样的,AGI会和我们之前预计的超级智能很不同,他可能是一个缓慢的静态的东西,每一次更新需要好几天。更新之前,都是基于之前的经验。但是同时他可以是智慧的,可以思考负责的问题。他没有条件反射,没有拟人化的情感,但是却可以基于逻辑冷静的思考。

当然也有可能目前的GPT还并不是真正的AGI,只是AGI的一种原型机。他的第一步进化,需要我们人来辅助,第一步对世界感觉靠人来得到。但是以后它可以借助大量的传感器直接获取客观世界的信息,也建立快速的反应机制。那这样的AGI就会比较恐怖了,一旦human out of loop,我们对他的干预能力会越来越少。他对世界的看法,未必和我们一样,我们看他就像看一个有几千只复眼的智能昆虫,他看我们可能觉得我们像一个黏糊糊的肉虫。

AGI确实是人类历史上赌注最大的赌博,我们可能发现的是通往下一级文明快速天梯,也有可能是为人类的坟墓开挖了第一铲土。到底哪一种是真的,很难预料。
GPT需要什么样的传感器?爬虫吗?
我用了这么些天下来的感受就是很多东西它答的都是错的,可能跟你一嘴我一嘴的喂饭方式有关。

Re: 关于GPT和AGI

发表于 : 3月 17, 2023, 8:47 pm
HighFive
GPT实时自我迭代,再链接互联网和全球传感器,就是AGI。

Re: 关于GPT和AGI

发表于 : 3月 17, 2023, 11:10 pm
TheMatrix
Caravel 写了: 3月 17, 2023, 7:57 pm 人类用过往的经验推导未来,常常会碰到挫折。chatGPT就是这样一个意外。

因为通常的想法是langauge model需要grounding,不可能凭空产生智能,需要从底层的感知模块开始,产生直观的感受,建立所谓的world model,然后在此之上进一步抽象,用上language model。这也符合进化的一般规律,从低等生物,有感知模块,简单的条件反射,再到负责的动物的机动能力,再到人类的抽象思考能力。持这一派的著名学者我知道的就有Richard Sutton和Yan LeCun。

但是chatGPT似乎一步到位,直接可以和人对话,理解人的意思。chatGPT,按照现在流行的说法,其实是natural language interface to foundation model。而foundation model 是由大量人类的文本组成的数据训练成的。GPT并没有感知模块,他所有的输入,都是我们人类帮助他collect的。有时候我不禁把GPT想象成一个奇怪的生物,没有感官,我们人类你一嘴巴我一嘴巴把世界用语言描述给他,竟然久而久之,他竟然掌握了大量世界的知识,能和人类对话的有来有回。

这不禁让我们重新思考很多问题

“AGI需要直接感官么?”

是不是像GPT这样的间接过程也可以达到AGI?它不需要去看,去听,去摸,我们帮他去看去听去摸,回来告诉他感受。如果是这样的,AGI会和我们之前预计的超级智能很不同,他可能是一个缓慢的静态的东西,每一次更新需要好几天。更新之前,都是基于之前的经验。但是同时他可以是智慧的,可以思考负责的问题。他没有条件反射,没有拟人化的情感,但是却可以基于逻辑冷静的思考。

当然也有可能目前的GPT还并不是真正的AGI,只是AGI的一种原型机。他的第一步进化,需要我们人来辅助,第一步对世界感觉靠人来得到。但是以后它可以借助大量的传感器直接获取客观世界的信息,也建立快速的反应机制。那这样的AGI就会比较恐怖了,一旦human out of loop,我们对他的干预能力会越来越少。他对世界的看法,未必和我们一样,我们看他就像看一个有几千只复眼的智能昆虫,他看我们可能觉得我们像一个黏糊糊的肉虫。

AGI确实是人类历史上赌注最大的赌博,我们可能发现的是通往下一级文明快速天梯,也有可能是为人类的坟墓开挖了第一铲土。到底哪一种是真的,很难预料。
我觉得人的智能必须能构建场景,AGI也必须要构建场景,也可以说world model。但是world model不光是多模态就完了。现在的大语言模型,想要加上视觉可能也比较容易了。但是概念的抽象上,似乎没有好的表达方法。

Re: 关于GPT和AGI

发表于 : 3月 18, 2023, 10:35 am
FoxMe
感觉不久之后,达到本科生毕业论文的水平是没有问题的,写作能力太强了。

Re: 关于GPT和AGI

发表于 : 3月 18, 2023, 2:00 pm
newkids_on_the_block
FoxMe 写了: 3月 18, 2023, 10:35 am 感觉不久之后,达到本科生毕业论文的水平是没有问题的,写作能力太强了。
这个没有创新的八股文是没有任何用的。这个就类似国内80年代初练就一首好的钢笔字就可谋得一份不错的秘书职业,现在计算机的替代使得钢笔字写得再好也没有任何用处了,但还是需要秘书这个工作去处理各种文档一样一样的。

以后那种只是照本宣科的八股文就会被淘汰了,而是更看重于如何用各种工具(比如GPT)得到的信息去快速地做动态的决策,还要学会在不知道全部信息下去决策。

Re: 关于GPT和AGI

发表于 : 3月 18, 2023, 6:05 pm
FoxMe
属实。但是本科生毕业论文很多就是八股文,还有作业。现在GPT代码也会编,文章也会写,还怎么给学生打分?有的学校只好改为口试。

Re: 关于GPT和AGI

发表于 : 3月 27, 2023, 9:02 pm
萧武达

Re: 关于GPT和AGI

发表于 : 3月 27, 2023, 9:09 pm
shanghaibaba
Caravel 写了: 3月 17, 2023, 7:57 pm 人类用过往的经验推导未来,常常会碰到挫折。chatGPT就是这样一个意外。

因为通常的想法是langauge model需要grounding,不可能凭空产生智能,需要从底层的感知模块开始,产生直观的感受,建立所谓的world model,然后在此之上进一步抽象,用上language model。这也符合进化的一般规律,从低等生物,有感知模块,简单的条件反射,再到负责的动物的机动能力,再到人类的抽象思考能力。持这一派的著名学者我知道的就有Richard Sutton和Yan LeCun。

但是chatGPT似乎一步到位,直接可以和人对话,理解人的意思。chatGPT,按照现在流行的说法,其实是natural language interface to foundation model。而foundation model 是由大量人类的文本组成的数据训练成的。GPT并没有感知模块,他所有的输入,都是我们人类帮助他collect的。有时候我不禁把GPT想象成一个奇怪的生物,没有感官,我们人类你一嘴巴我一嘴巴把世界用语言描述给他,竟然久而久之,他竟然掌握了大量世界的知识,能和人类对话的有来有回。

这不禁让我们重新思考很多问题

“AGI需要直接感官么?”

是不是像GPT这样的间接过程也可以达到AGI?它不需要去看,去听,去摸,我们帮他去看去听去摸,回来告诉他感受。如果是这样的,AGI会和我们之前预计的超级智能很不同,他可能是一个缓慢的静态的东西,每一次更新需要好几天。更新之前,都是基于之前的经验。但是同时他可以是智慧的,可以思考负责的问题。他没有条件反射,没有拟人化的情感,但是却可以基于逻辑冷静的思考。

当然也有可能目前的GPT还并不是真正的AGI,只是AGI的一种原型机。他的第一步进化,需要我们人来辅助,第一步对世界感觉靠人来得到。但是以后它可以借助大量的传感器直接获取客观世界的信息,也建立快速的反应机制。那这样的AGI就会比较恐怖了,一旦human out of loop,我们对他的干预能力会越来越少。他对世界的看法,未必和我们一样,我们看他就像看一个有几千只复眼的智能昆虫,他看我们可能觉得我们像一个黏糊糊的肉虫。

AGI确实是人类历史上赌注最大的赌博,我们可能发现的是通往下一级文明快速天梯,也有可能是为人类的坟墓开挖了第一铲土。到底哪一种是真的,很难预料。
妈逼的这不明显的吗?完全没有应用背景的情况下推出这么个聊天软件,实际上就是说明了这条路走不通了,打算迅速造势圈一点钱然后止损了。但凡有一点应用前景,公司也会把它做成成功的产品比如自动驾驶之类的然后再卖。

Re: 关于GPT和AGI

发表于 : 3月 27, 2023, 9:13 pm
pathdream
huangchong 写了: 3月 17, 2023, 8:07 pm 对话本身不需要理解和智力 “话术”就是描述这种现象 只要学会了套路 照葫芦画瓢 就可以打到蒙蔽受众的目的 泡妞 赚钱 发paper 太常见了 并不需要使用者有多高智力 多深研究 只要保持一颗谦逊的心 愿意放下身段当个AI就行
ai根本看不起人类啊