Diffusion Model 最近很火,谁谈谈?技术层面,哲学层面?

STEM版,合并数学,物理,化学,科学,工程,机械。不包括生物、医学相关,和计算机相关内容。

版主: verdeliteTheMatrix

弃婴千枝
论坛支柱
论坛支柱
帖子互动: 1101
帖子: 11917
注册时间: 2022年 7月 27日 10:51

Re: Diffusion Model 最近很火,谁谈谈?技术层面,哲学层面?

帖子 弃婴千枝 »

你真是数学学傻了,

fokker planck方程描述的是扩散过程,这是个在浓度梯度和随机力共同作用下的过程

fokker planck当然可以外加新的driven noise,这个noise可以不是扩散过程自然产生的那种

我这是完全用你顶楼描述进行数学重复





TheMatrix2 写了: 2022年 9月 14日 00:01 我得请FoxMe来看一下你这里的数学对不对。

fokker planck方程描述的是随机微分方程的解,也就是一个随机过程,的概率密度函数的时间演化。它是一个偏微分方程,一个确定性方程,并不是随机微分方程。

你再加一个噪音项,这到底啥意思啊?是不是头上安头?合逻辑吗?FoxMe确认一下?

diffusion model是什么目的你知道吧?就是把图片虚化到完全的高斯噪声,然后再反过来。为什么要达到高斯噪声?为了应用的时候可以取一个任意的高斯噪声反向生成一个图片。

那你这个又是干什么的呢?好像没有目的啊。
mitfrank
正式会员
正式会员
帖子互动: 0
帖子: 4
注册时间: 2022年 9月 13日 19:59

Re: Diffusion Model 最近很火,谁谈谈?技术层面,哲学层面?

帖子 mitfrank »

verdelite, hci, 我明白你们各自的观点和坚持,本来抛出这个大众问题,想听听二位的专家意见,没想到你们都各自回避了。也许是因为从小受的唯物论教育,我更倾向于楼上xexz的看法,意识是依附生命的物质或他说的“物质现象”,生命结束意识即消亡。对能否再生或复制持有质疑。也许克隆人的技术发展会帮忙验证这个质疑。接受体是机器就更难了,但verdelite, 还是要祝你这个实干派成功。
头像
verdelite(众傻之傻)
论坛元老
论坛元老
帖子互动: 926
帖子: 22845
注册时间: 2022年 7月 21日 23:33

Re: Diffusion Model 最近很火,谁谈谈?技术层面,哲学层面?

帖子 verdelite(众傻之傻) »

mitfrank 写了: 2022年 9月 14日 01:43 verdelite, hci, 我明白你们各自的观点和坚持,本来抛出这个大众问题,想听听二位的专家意见,没想到你们都各自回避了。也许是因为从小受的唯物论教育,我更倾向于楼上xexz的看法,意识是依附生命的物质或他说的“物质现象”,生命结束意识即消亡。对能否再生或复制持有质疑。也许克隆人的技术发展会帮忙验证这个质疑。接受体是机器就更难了,但verdelite, 还是要祝你这个实干派成功。
我们一直没有在讨论“再生或复制”人的意识。不是说把一个人的意识抢救出来或者拷贝到机器中,而是说造一个机器,让它产生自我意识,像一个人可以做到的那样。
没有光子;也没有量子能级,量子跃迁,量子叠加,量子塌缩和量子纠缠。
头像
pseudo(small man)
论坛点评
论坛点评
pseudo 的博客
帖子互动: 140
帖子: 2580
注册时间: 2022年 7月 28日 10:04

Re: Diffusion Model 最近很火,谁谈谈?技术层面,哲学层面?

帖子 pseudo(small man) »

不明白大家为什么能够把一个diffusion model联想到智能,甚至意识上去,真是世人皆傻。
头像
pseudo(small man)
论坛点评
论坛点评
pseudo 的博客
帖子互动: 140
帖子: 2580
注册时间: 2022年 7月 28日 10:04

Re: Diffusion Model 最近很火,谁谈谈?技术层面,哲学层面?

帖子 pseudo(small man) »

xexz 写了: 2022年 9月 14日 01:01 我们的口号是’大头造人工智能,小头造人的智能‘。
赞,大头不如小头。
dreamig
论坛支柱
论坛支柱
帖子互动: 254
帖子: 11971
注册时间: 2022年 7月 26日 22:43

Re: Diffusion Model 最近很火,谁谈谈?技术层面,哲学层面?

帖子 dreamig »

这是新站目前最火的帖子吧
xexz
论坛精英
论坛精英
帖子互动: 288
帖子: 5607
注册时间: 2022年 7月 30日 11:48
联系:

Re: Diffusion Model 最近很火,谁谈谈?技术层面,哲学层面?

帖子 xexz »

我反对‘大头不如小头’。

这显然是暂时的,大头在43亿年以前也是不存在的,而我相信‘衍生和进化的过程’却一直是存在的,并没有逆向回去,肮格鲁人‘与病毒为伍,与人类为敌’也没有逆进化回去。

在‘人的智能基础’上衍生进化出来的‘人工智能’,只能是进化成更加复杂和更加强大,至于时间是多久?也许一亿年,也许2025年?靠,那谁能知道。
pseudo 写了: 2022年 9月 14日 01:58 赞,大头不如小头。
FoxMe(令狐)
论坛精英
论坛精英
帖子互动: 146
帖子: 5343
注册时间: 2022年 7月 26日 16:46

Re: Diffusion Model 最近很火,谁谈谈?技术层面,哲学层面?

帖子 FoxMe(令狐) »

弃婴千枝 写了: 2022年 9月 14日 01:40 你真是数学学傻了,

fokker planck方程描述的是扩散过程,这是个在浓度梯度和随机力共同作用下的过程

fokker planck当然可以外加新的driven noise,这个noise可以不是扩散过程自然产生的那种

我这是完全用你顶楼描述进行数学重复
矩阵是对的。你把随机微分方程和fokker-planck搞混了。
FoxMe(令狐)
论坛精英
论坛精英
帖子互动: 146
帖子: 5343
注册时间: 2022年 7月 26日 16:46

Re: Diffusion Model 最近很火,谁谈谈?技术层面,哲学层面?

帖子 FoxMe(令狐) »

TheMatrix2 写了: 2022年 9月 14日 00:19 我觉得你的理解是对的。

你的理解中有这样的元素:比如训练图集10000张,每张以100种方式虚化到高斯噪音,总共得到100万个高斯噪音图片。这在全部高斯噪音图片空间中是很小的一部分,就好像满天繁星,一方面它们可以说布满天空,另一方面天球幕布上的空隙多得很。反向生成图片的时候,你先取任意一个高斯噪声图片,它几乎不可能是你得到过的100万张中的一个,但是它肯定很“接近”其中一个。而对100万张图片的反向学习中,你知道怎么反向这一张。

有这个元素,我觉得就是正确的理解。
“满天繁星”这个比喻很形象,所以与熵(信息)和流形(星座)有关。
TheMatrix2楼主
论坛点评
论坛点评
帖子互动: 30
帖子: 2497
注册时间: 2022年 8月 20日 22:11

Re: Diffusion Model 最近很火,谁谈谈?技术层面,哲学层面?

帖子 TheMatrix2楼主 »

FoxMe 写了: 2022年 9月 14日 07:48 矩阵是对的。你把随机微分方程和fokker-planck搞混了。
多谢检查。Fokker Planck方程我不是很熟。
TheMatrix2楼主
论坛点评
论坛点评
帖子互动: 30
帖子: 2497
注册时间: 2022年 8月 20日 22:11

Re: Diffusion Model 最近很火,谁谈谈?技术层面,哲学层面?

帖子 TheMatrix2楼主 »

verdelite 写了: 2022年 9月 14日 00:26 我觉得你这个理解,大部分正确,还差一点点。那就是:你给这满天繁星中精确的一颗,也不一定能恢复出当初训练的那一张。可能会混进各种各样的别的繁星的影响,可能和训练的那张接近一些。
对。反向生成的图片每张都是新的。

对。而且即使是用训练时生成过的噪音图片,反向也生成不回原来的图片。
上次由 TheMatrix2 在 2022年 9月 14日 09:01 修改。
TheMatrix2楼主
论坛点评
论坛点评
帖子互动: 30
帖子: 2497
注册时间: 2022年 8月 20日 22:11

Re: Diffusion Model 最近很火,谁谈谈?技术层面,哲学层面?

帖子 TheMatrix2楼主 »

pseudo 写了: 2022年 9月 14日 01:56 不明白大家为什么能够把一个diffusion model联想到智能,甚至意识上去,真是世人皆傻。
这个方法我想到的潜力是用于再抽象:
生成图片 ----> 生成(生成图片)的规则
生成文本 ----> 生成(生成文本)的规则

生成图片这个问题,自然的想法是把图片打碎成components,鼻子,眼睛,或者更小的线条也行,然后再重新组合。但是就组不出有意义的图片了。这个方法非常漂亮地解决了这个问题。我觉得可以再抽象。图片,规则,都是component有意义的东西,打散了再组合就不行,但是以这种方式就可以。

图片 ----> 规则 ----> 规则的规则 ...

人工智能就是要提高抽象层次,不怕太高,就怕不高。就好像人工智能不怕过拟合。现在是苦于不知道怎么用于抽象。
上次由 TheMatrix2 在 2022年 9月 14日 09:02 修改。
TheMatrix2楼主
论坛点评
论坛点评
帖子互动: 30
帖子: 2497
注册时间: 2022年 8月 20日 22:11

Re: Diffusion Model 最近很火,谁谈谈?技术层面,哲学层面?

帖子 TheMatrix2楼主 »

弃婴千枝 写了: 2022年 9月 14日 01:40 你真是数学学傻了,

fokker planck方程描述的是扩散过程,这是个在浓度梯度和随机力共同作用下的过程

fokker planck当然可以外加新的driven noise,这个noise可以不是扩散过程自然产生的那种

我这是完全用你顶楼描述进行数学重复
确定性微分方程加noise term,这个有。但是这里好像不是。
FoxMe(令狐)
论坛精英
论坛精英
帖子互动: 146
帖子: 5343
注册时间: 2022年 7月 26日 16:46

Re: Diffusion Model 最近很火,谁谈谈?技术层面,哲学层面?

帖子 FoxMe(令狐) »

hci 写了: 2022年 9月 13日 18:51 AI与否,与数学证明没有关系,与如何实现的无关。

智能的定义,从来是用performance来定义的。这个performance,总是与其他被认为有智能的东西(常用的是人)的performance相比较出来的。能做有智能的工作的entity,我们就说它/他/她有智能。这个entity如果是人造的,就叫AI。

所以diffusion model,既然很火,performance必然不错,那么,实现diffusion model的程序,就是AI。

数学公式本身没有智能,因为它啥也做不了。你的程序用了这个公式,这个程序有智能(见上),也不能说这个公式有智能。有智能的是这个程序,里面的组成部分不能说有智能,除非它单独拿出来能有做智能的功能。而公式肯定不行。
很好的观点,你给的条件比图灵测试弱。

那么你倾向于同意算法是人工智能?我再钻点牛角尖:diffusion model由两个公式组成:随机微分方程和神经网络(其实其它的非线性拟合也行;公式可能比较复杂),能说二者之一有智能吗?
头像
verdelite(众傻之傻)
论坛元老
论坛元老
帖子互动: 926
帖子: 22845
注册时间: 2022年 7月 21日 23:33

Re: Diffusion Model 最近很火,谁谈谈?技术层面,哲学层面?

帖子 verdelite(众傻之傻) »

TheMatrix2 写了: 2022年 9月 14日 08:43 这个方法我想到的潜力是用于再抽象:
生成图片 ----> 生成(生成图片)的规则
生成文本 ----> 生成(生成文本)的规则

生成图片这个问题,自然的想法是把图片打碎成components,鼻子,眼睛,或者更小的线条也行,然后再重新组合。但是就组不出有意义的图片了。这个方法非常漂亮地解决了这个问题。我觉得可以再抽象。图片,规则,都是component有意义的东西,打散了再组合就不行,但是以这种方式就可以。

图片 ----> 规则 ----> 规则的规则 ...

人工智能就是要提高抽象层次,不怕太高,就怕不高。就好像人工智能不怕过拟合。现在是苦于不知道怎么用于抽象。
前面我回答FoxMe的时候说:抽象就是AI,AI就是抽象。

意思是:如果这个处理过程中用到抽象,那么它是AI。如果它是AI ,那么他用到抽象。

另外说一句,我感觉这个diffusion models,可以用来作曲。作曲和画画类似,都是在无穷的画空间或者曲空间(更正:曲空间有穷;其实画空间,数字化后也有穷)里面,存在一些有意义(好听)的图或者曲。应该能很有效地创作出好听的曲。
没有光子;也没有量子能级,量子跃迁,量子叠加,量子塌缩和量子纠缠。
TheMatrix2楼主
论坛点评
论坛点评
帖子互动: 30
帖子: 2497
注册时间: 2022年 8月 20日 22:11

Re: Diffusion Model 最近很火,谁谈谈?技术层面,哲学层面?

帖子 TheMatrix2楼主 »

verdelite 写了: 2022年 9月 14日 09:43 前面我回答FoxMe的时候说:抽象就是AI,AI就是抽象。

意思是:如果这个处理过程中用到抽象,那么它是AI。如果它是AI ,那么他用到抽象。

另外说一句,我感觉这个diffusion models,可以用来作曲。作曲和画画类似,都是在无穷的画空间或者曲空间里面,存在一些有意义(好听)的图或者曲。应该能很有效地创作出好听的曲。
咱们俩的思路还是比较接近的。
头像
verdelite(众傻之傻)
论坛元老
论坛元老
帖子互动: 926
帖子: 22845
注册时间: 2022年 7月 21日 23:33

Re: Diffusion Model 最近很火,谁谈谈?技术层面,哲学层面?

帖子 verdelite(众傻之傻) »

TheMatrix2 写了: 2022年 9月 14日 09:47 咱们俩的思路还是比较接近的。
先行者一句话可以节省后来者一个月到一年的探索时间。
没有光子;也没有量子能级,量子跃迁,量子叠加,量子塌缩和量子纠缠。
弃婴千枝
论坛支柱
论坛支柱
帖子互动: 1101
帖子: 11917
注册时间: 2022年 7月 27日 10:51

Re: Diffusion Model 最近很火,谁谈谈?技术层面,哲学层面?

帖子 弃婴千枝 »

你们这些转行码农连fokker planck怎么得出来的,是关于什么的方程都不知道,就在这里指手画脚,

太搞笑了


TheMatrix2 写了: 2022年 9月 14日 08:57 确定性微分方程加noise term,这个有。但是这里好像不是。
TheMatrix2楼主
论坛点评
论坛点评
帖子互动: 30
帖子: 2497
注册时间: 2022年 8月 20日 22:11

Re: Diffusion Model 最近很火,谁谈谈?技术层面,哲学层面?

帖子 TheMatrix2楼主 »

弃婴千枝 写了: 2022年 9月 14日 10:12 你们这些转行码农连fokker planck怎么得出来的,是关于什么的方程都不知道,就在这里指手画脚,

太搞笑了
我不是说了嘛,Fokker Planck方程描述的是一个随机微分方程的解,也就是一个随机过程,的概率密度函数的时间演化。

当然它也有其他的来源。
头像
hci(海螺子)
论坛支柱
论坛支柱
帖子互动: 469
帖子: 9931
注册时间: 2022年 7月 22日 15:29

Re: Diffusion Model 最近很火,谁谈谈?技术层面,哲学层面?

帖子 hci(海螺子) »

因为图灵不是心理学家。智能是个量,有IQ为60的,也有IQ为150的人。你不能说前者没有智能,对不。所以只要能干一点有智能的事的算法,就有智能。

数学公式,再复杂,也没有智能。不会运行的东西都没有智能。智能是一种能力。公式不能运行。运行公式的,要么是电脑,或者人脑,这些才能运行。

数学公式被认为是人类共享的知识,连专利都不能申请。算法可以。
FoxMe 写了: 2022年 9月 14日 09:40 很好的观点,你给的条件比图灵测试弱。

那么你倾向于同意算法是人工智能?我再钻点牛角尖:diffusion model由两个公式组成:随机微分方程和神经网络(其实其它的非线性拟合也行;公式可能比较复杂),能说二者之一有智能吗?
回复

回到 “STEM”