给你们讲讲深度学习真正的牛逼之处

对应老买买提的军事天地,观点交锋比较激烈。因为此版帖子太多,所以新帖不出现在首页新帖列表,防止首页新帖刷屏太快。

版主: Softfist

xiaoju(可爱的龙猫)楼主
论坛元老
论坛元老
帖子互动: 914
帖子: 23964
注册时间: 2023年 9月 5日 20:18

#1 给你们讲讲深度学习真正的牛逼之处

帖子 xiaoju(可爱的龙猫)楼主 »

算法没有太高技巧,BP也不过是机器学习里优化逻辑回归模型的简单扩展

早期(2020年之前)深度学习里有价值的东西不是算法,而是超参数,即算法的组成结构

现在的LLM,甚至连结构也几乎都一样,真正核心是训练和微调的方法

历史上任何企图用某种算法,公式或者模型模拟人工智能的想法最后都是粉身碎骨,收敛后的模型远超过人类数学语言的表现能力

所以本轮深度学习浪潮的真正推动者不是辛顿等三人,而是Alex Krizhevsky,Feifei这些认识到了关键不在于算法的新一代研究者
x3 图片
heteroclinic(Heteroclinic)
著名点评
著名点评
heteroclinic 的博客
帖子互动: 37
帖子: 3714
注册时间: 2022年 10月 31日 00:35

#2 Re: 给你们讲讲深度学习真正的牛逼之处

帖子 heteroclinic(Heteroclinic) »

信息本身
信息编址
地址路由

知识越多约反动
heteroclinic(Heteroclinic)
著名点评
著名点评
heteroclinic 的博客
帖子互动: 37
帖子: 3714
注册时间: 2022年 10月 31日 00:35

#3 Re: 给你们讲讲深度学习真正的牛逼之处

帖子 heteroclinic(Heteroclinic) »

heteroclinic 写了: 2024年 10月 11日 00:59 信息本身
信息编址
地址路由

知识越多约反动
根本也没有数学模型解释复杂度
在老菌斑就问过好几遍
hahan
论坛元老
论坛元老
hahan 的博客
帖子互动: 768
帖子: 17218
注册时间: 2022年 7月 23日 23:48

#4 Re: 给你们讲讲深度学习真正的牛逼之处

帖子 hahan »

xiaoju 写了: 2024年 10月 11日 00:55 算法没有太高技巧,BP也不过是机器学习里优化逻辑回归模型的简单扩展

早期(2020年之前)深度学习里有价值的东西不是算法,而是超参数,即算法的组成结构

现在的LLM,甚至连结构也几乎都一样,真正核心是训练和微调的方法

历史上任何企图用某种算法,公式或者模型模拟人工智能的想法最后都是粉身碎骨,收敛后的模型远超过人类数学语言的表现能力

所以本轮深度学习浪潮的真正推动者不是辛顿等三人,而是Alex Krizhevsky,Feifei这些认识到了关键不在于算法的新一代研究者
这不是老生常谈嘛
人人都知道
有啥牛逼的
打桥牌的黄俄凋零殆尽
穿汉服的汉儿何能为也
Caravel
论坛元老
论坛元老
Caravel 的博客
帖子互动: 510
帖子: 23363
注册时间: 2022年 7月 24日 17:21

#5 Re: 给你们讲讲深度学习真正的牛逼之处

帖子 Caravel »

xiaoju 写了: 2024年 10月 11日 00:55 算法没有太高技巧,BP也不过是机器学习里优化逻辑回归模型的简单扩展

早期(2020年之前)深度学习里有价值的东西不是算法,而是超参数,即算法的组成结构

现在的LLM,甚至连结构也几乎都一样,真正核心是训练和微调的方法

历史上任何企图用某种算法,公式或者模型模拟人工智能的想法最后都是粉身碎骨,收敛后的模型远超过人类数学语言的表现能力

所以本轮深度学习浪潮的真正推动者不是辛顿等三人,而是Alex Krizhevsky,Feifei这些认识到了关键不在于算法的新一代研究者
神经网络最重要是architecture,早期网络最多就10-20层,kaiming搞出resnet瞬间无上限了。后来又兴起一波自动架构搜索,其实没搞出什么名堂。再后来发现transformer,包打天下。

神经网络的进步很像是生物进化,没什么理由,但是如果新的形状有优势会很快dominant
rihai(temp)
版内封禁中版内封禁中
帖子互动: 789
帖子: 21330
注册时间: 2022年 8月 16日 00:45

#6 Re: 给你们讲讲深度学习真正的牛逼之处

帖子 rihai(temp) »

笑死叔了
就是数据大了, 算力大了, 有东西可以训练了而已
打个比方, 就是专利里面“显然”的东西, 完全谈不上啥贡献
吨吨吨

xiaoju 写了: 2024年 10月 11日 00:55 算法没有太高技巧,BP也不过是机器学习里优化逻辑回归模型的简单扩展

早期(2020年之前)深度学习里有价值的东西不是算法,而是超参数,即算法的组成结构

现在的LLM,甚至连结构也几乎都一样,真正核心是训练和微调的方法

历史上任何企图用某种算法,公式或者模型模拟人工智能的想法最后都是粉身碎骨,收敛后的模型远超过人类数学语言的表现能力

所以本轮深度学习浪潮的真正推动者不是辛顿等三人,而是Alex Krizhevsky,Feifei这些认识到了关键不在于算法的新一代研究者
xiaoju(可爱的龙猫)楼主
论坛元老
论坛元老
帖子互动: 914
帖子: 23964
注册时间: 2023年 9月 5日 20:18

#7 Re: 给你们讲讲深度学习真正的牛逼之处

帖子 xiaoju(可爱的龙猫)楼主 »

2002年集群的算力就完全足够训练AlexNet的,单机也跑得动预训练模型,但是没有人想去利用算力

整个学术界都在找一个神奇简单的公式,一劳永逸解决AI所有问题
rihai 写了: 2024年 10月 11日 01:37 笑死叔了
就是数据大了, 算力大了, 有东西可以训练了而已
打个比方, 就是专利里面“显然”的东西, 完全谈不上啥贡献
吨吨吨
xiaoju(可爱的龙猫)楼主
论坛元老
论坛元老
帖子互动: 914
帖子: 23964
注册时间: 2023年 9月 5日 20:18

#8 Re: 给你们讲讲深度学习真正的牛逼之处

帖子 xiaoju(可爱的龙猫)楼主 »

kaiming的resnet实际上把CV问题完美解决了,错误率比imagenet的人为错误还低

剩下的搞不定的图片需要作为时序问题解决,比如标语,漫画等等,必须上RNN/LSTM。那些在特定任务奇奇怪怪的搜索出来的架构,本质上就包含了一些进化出来的类RNN结构

transformer本质上来说等同于RNN/LSTM等网络,但是LSTM对并行不友好,训练规模上不去,而transformer可以大规模并行
Caravel 写了: 2024年 10月 11日 01:30 神经网络最重要是architecture,早期网络最多就10-20层,kaiming搞出resnet瞬间无上限了。后来又兴起一波自动架构搜索,其实没搞出什么名堂。再后来发现transformer,包打天下。

神经网络的进步很像是生物进化,没什么理由,但是如果新的形状有优势会很快dominant
keyrock
知名作家
知名作家
帖子互动: 12
帖子: 1130
注册时间: 2022年 8月 2日 10:08

#9 Re: 给你们讲讲深度学习真正的牛逼之处

帖子 keyrock »

Caravel 写了: 2024年 10月 11日 01:30 神经网络最重要是architecture,早期网络最多就10-20层,kaiming搞出resnet瞬间无上限了。后来又兴起一波自动架构搜索,其实没搞出什么名堂。再后来发现transformer,包打天下。

神经网络的进步很像是生物进化,没什么理由,但是如果新的形状有优势会很快dominant
生物根本不是进化的

我们宇宙就是个虚拟世界,是工程设计出来的,我在菌斑证明多次了

什么宇宙有95%暗物质,暗能量,就知道我们宇宙不是正常的世界。投胎转世,前世记忆,根本就是虚拟世界才有的东西

所以这些AI就是泡沫,思维上就是错误的,也根本不存在什么万能公式,下面完全走不通
llling369
论坛点评
论坛点评
帖子互动: 48
帖子: 2069
注册时间: 2022年 7月 22日 10:01

#10 Re: 给你们讲讲深度学习真正的牛逼之处

帖子 llling369 »

Www.nderf.org
同意这个,这次诺奖是为了炒股票。
keyrock 写了: 2024年 10月 11日 06:56 生物根本不是进化的

我们宇宙就是个虚拟世界,是工程设计出来的,我在菌斑证明多次了

什么宇宙有95%暗物质,暗能量,就知道我们宇宙不是正常的世界。投胎转世,前世记忆,根本就是虚拟世界才有的东西

所以这些AI就是泡沫,思维上就是错误的,也根本不存在什么万能公式,下面完全走不通
头像
none
论坛元老
论坛元老
2024年度十大优秀网友
帖子互动: 605
帖子: 21282
注册时间: 2022年 7月 22日 13:46

#11 Re: 给你们讲讲深度学习真正的牛逼之处

帖子 none »

为什么李飞飞没获奖?
xiaoju 写了: 2024年 10月 11日 00:55 算法没有太高技巧,BP也不过是机器学习里优化逻辑回归模型的简单扩展

早期(2020年之前)深度学习里有价值的东西不是算法,而是超参数,即算法的组成结构

现在的LLM,甚至连结构也几乎都一样,真正核心是训练和微调的方法

历史上任何企图用某种算法,公式或者模型模拟人工智能的想法最后都是粉身碎骨,收敛后的模型远超过人类数学语言的表现能力

所以本轮深度学习浪潮的真正推动者不是辛顿等三人,而是Alex Krizhevsky,Feifei这些认识到了关键不在于算法的新一代研究者
xiaoju(可爱的龙猫)楼主
论坛元老
论坛元老
帖子互动: 914
帖子: 23964
注册时间: 2023年 9月 5日 20:18

#12 Re: 给你们讲讲深度学习真正的牛逼之处

帖子 xiaoju(可爱的龙猫)楼主 »

诺贝尔生物奖?
none 写了: 2024年 10月 11日 08:03 为什么李飞飞没获奖?
头像
cover
著名点评
著名点评
帖子互动: 117
帖子: 3393
注册时间: 2023年 5月 9日 09:53

#13 Re: 给你们讲讲深度学习真正的牛逼之处

帖子 cover »

习大大早知道AI是泡沫了

外星人9月初去北京就告诉他,我们世界真相了

所以要pump中国A股,反向抽血,泡沫最怕被抽血
wanmeishijie(石昊)
版内封禁中版内封禁中

wanmeishijie 的博客
帖子互动: 1929
帖子: 66682
注册时间: 2022年 12月 10日 23:58

#14 Re: 给你们讲讲深度学习真正的牛逼之处

帖子 wanmeishijie(石昊) »

xiaoju 写了: 2024年 10月 11日 04:29 2002年集群的算力就完全足够训练AlexNet的,单机也跑得动预训练模型,但是没有人想去利用算力

整个学术界都在找一个神奇简单的公式,一劳永逸解决AI所有问题
那么训练和微调的方法有了什么革命进步?
理解了老将是代入狗的视角之后,你就理解了老将
viewtopic.php?t=120513

理解了它们是代入狗的视角之后,它们为什么会嘲笑不愿意当狗的人,以及为什么会害怕想要反抗的人,就都可以理解了:
“放着好好的狗不当” :lol:
头像
cover
著名点评
著名点评
帖子互动: 117
帖子: 3393
注册时间: 2023年 5月 9日 09:53

#15 Re: 给你们讲讲深度学习真正的牛逼之处

帖子 cover »

美国用诺奖和假数据想继续维持泡沫

习大大因为已经知道我们是在虚拟世界,AI是泡沫

泡沫支持不了太久,习大大对反向抽血信心十足
Cellcycle2
论坛元老
论坛元老
帖子互动: 335
帖子: 33554
注册时间: 2022年 9月 10日 11:22

#16 Re: 给你们讲讲深度学习真正的牛逼之处

帖子 Cellcycle2 »

keyrock 写了: 2024年 10月 11日 06:56 生物根本不是进化的

我们宇宙就是个虚拟世界,是工程设计出来的,我在菌斑证明多次了

什么宇宙有95%暗物质,暗能量,就知道我们宇宙不是正常的世界。投胎转世,前世记忆,根本就是虚拟世界才有的东西

所以这些AI就是泡沫,思维上就是错误的,也根本不存在什么万能公式,下面完全走不通
完了, 完了,,,虚拟人 还挺快乐的 忙活
PPTT123(大熊猫)
论坛支柱
论坛支柱
帖子互动: 354
帖子: 10460
注册时间: 2022年 7月 30日 01:02

#17 Re: 给你们讲讲深度学习真正的牛逼之处

帖子 PPTT123(大熊猫) »

xiaoju 写了: 2024年 10月 11日 04:29 2002年集群的算力就完全足够训练AlexNet的,单机也跑得动预训练模型,但是没有人想去利用算力

整个学术界都在找一个神奇简单的公式,一劳永逸解决AI所有问题
说明还是不懂原理,只想找一个更方便的公式硬套而已
keyrock
知名作家
知名作家
帖子互动: 12
帖子: 1130
注册时间: 2022年 8月 2日 10:08

#18 Re: 给你们讲讲深度学习真正的牛逼之处

帖子 keyrock »

Cellcycle2 写了: 2024年 10月 11日 09:55 完了, 完了,,,虚拟人 还挺快乐的 忙活
游戏里虚拟人不快乐的 忙活吗?

概念是虚拟世界,比电脑的软件虚拟世界高级多了

是从宇宙物理定律就是专门设计,从头开始搭建的虚拟世界宇宙

缺乏想象力的地球人,想象不出这样的虚拟世界,只能想象matrix这样的
头像
huangchong(净坛使者)
论坛元老
论坛元老
2023-24年度优秀版主
帖子互动: 3232
帖子: 54035
注册时间: 2022年 7月 22日 01:22

#19 Re: 给你们讲讲深度学习真正的牛逼之处

帖子 huangchong(净坛使者) »

xiaoju 写了: 2024年 10月 11日 04:29 2002年集群的算力就完全足够训练AlexNet的,单机也跑得动预训练模型,但是没有人想去利用算力

整个学术界都在找一个神奇简单的公式,一劳永逸解决AI所有问题
2002年估计集群都拿去给“更重要”的计算了 神经网络看图片这种事情 估计申请机时不容易 而且要传很多数据上去也麻烦 这就是为啥gpu计算这么重要 并不是非有它不可 但是这种廉价的并行计算democratized 高性能计算
Cellcycle2
论坛元老
论坛元老
帖子互动: 335
帖子: 33554
注册时间: 2022年 9月 10日 11:22

#20 Re: 给你们讲讲深度学习真正的牛逼之处

帖子 Cellcycle2 »

keyrock 写了: 2024年 10月 11日 09:58 游戏里虚拟人不快乐的 忙活吗?

概念是虚拟世界,比电脑的软件虚拟世界高级多了

是从宇宙物理定律就是专门设计,从头开始搭建的虚拟世界宇宙

缺乏想象力的地球人,想象不出这样的虚拟世界,只能想象matrix这样的
就是 虚拟人 能创造 虚拟人,,, 那我们算 底层虚拟人, 还是 最高级的虚拟人,

哦好, 不对, 我们 不能最高级, 我们也是 被 创造的 虚拟人,,,
回复

回到 “军事天地(Military)”