给你们讲讲深度学习真正的牛逼之处
版主: Softfist
#1 给你们讲讲深度学习真正的牛逼之处
算法没有太高技巧,BP也不过是机器学习里优化逻辑回归模型的简单扩展
早期(2020年之前)深度学习里有价值的东西不是算法,而是超参数,即算法的组成结构
现在的LLM,甚至连结构也几乎都一样,真正核心是训练和微调的方法
历史上任何企图用某种算法,公式或者模型模拟人工智能的想法最后都是粉身碎骨,收敛后的模型远超过人类数学语言的表现能力
所以本轮深度学习浪潮的真正推动者不是辛顿等三人,而是Alex Krizhevsky,Feifei这些认识到了关键不在于算法的新一代研究者
早期(2020年之前)深度学习里有价值的东西不是算法,而是超参数,即算法的组成结构
现在的LLM,甚至连结构也几乎都一样,真正核心是训练和微调的方法
历史上任何企图用某种算法,公式或者模型模拟人工智能的想法最后都是粉身碎骨,收敛后的模型远超过人类数学语言的表现能力
所以本轮深度学习浪潮的真正推动者不是辛顿等三人,而是Alex Krizhevsky,Feifei这些认识到了关键不在于算法的新一代研究者
x3

-
- 著名点评
heteroclinic 的博客 - 帖子互动: 37
- 帖子: 3714
- 注册时间: 2022年 10月 31日 00:35
-
- 著名点评
heteroclinic 的博客 - 帖子互动: 37
- 帖子: 3714
- 注册时间: 2022年 10月 31日 00:35
#4 Re: 给你们讲讲深度学习真正的牛逼之处
这不是老生常谈嘛xiaoju 写了: 2024年 10月 11日 00:55 算法没有太高技巧,BP也不过是机器学习里优化逻辑回归模型的简单扩展
早期(2020年之前)深度学习里有价值的东西不是算法,而是超参数,即算法的组成结构
现在的LLM,甚至连结构也几乎都一样,真正核心是训练和微调的方法
历史上任何企图用某种算法,公式或者模型模拟人工智能的想法最后都是粉身碎骨,收敛后的模型远超过人类数学语言的表现能力
所以本轮深度学习浪潮的真正推动者不是辛顿等三人,而是Alex Krizhevsky,Feifei这些认识到了关键不在于算法的新一代研究者
人人都知道
有啥牛逼的
打桥牌的黄俄凋零殆尽
穿汉服的汉儿何能为也
穿汉服的汉儿何能为也
-
- 论坛元老
Caravel 的博客 - 帖子互动: 510
- 帖子: 23363
- 注册时间: 2022年 7月 24日 17:21
#5 Re: 给你们讲讲深度学习真正的牛逼之处
神经网络最重要是architecture,早期网络最多就10-20层,kaiming搞出resnet瞬间无上限了。后来又兴起一波自动架构搜索,其实没搞出什么名堂。再后来发现transformer,包打天下。xiaoju 写了: 2024年 10月 11日 00:55 算法没有太高技巧,BP也不过是机器学习里优化逻辑回归模型的简单扩展
早期(2020年之前)深度学习里有价值的东西不是算法,而是超参数,即算法的组成结构
现在的LLM,甚至连结构也几乎都一样,真正核心是训练和微调的方法
历史上任何企图用某种算法,公式或者模型模拟人工智能的想法最后都是粉身碎骨,收敛后的模型远超过人类数学语言的表现能力
所以本轮深度学习浪潮的真正推动者不是辛顿等三人,而是Alex Krizhevsky,Feifei这些认识到了关键不在于算法的新一代研究者
神经网络的进步很像是生物进化,没什么理由,但是如果新的形状有优势会很快dominant
#6 Re: 给你们讲讲深度学习真正的牛逼之处
笑死叔了
就是数据大了, 算力大了, 有东西可以训练了而已
打个比方, 就是专利里面“显然”的东西, 完全谈不上啥贡献
吨吨吨
就是数据大了, 算力大了, 有东西可以训练了而已
打个比方, 就是专利里面“显然”的东西, 完全谈不上啥贡献
吨吨吨
xiaoju 写了: 2024年 10月 11日 00:55 算法没有太高技巧,BP也不过是机器学习里优化逻辑回归模型的简单扩展
早期(2020年之前)深度学习里有价值的东西不是算法,而是超参数,即算法的组成结构
现在的LLM,甚至连结构也几乎都一样,真正核心是训练和微调的方法
历史上任何企图用某种算法,公式或者模型模拟人工智能的想法最后都是粉身碎骨,收敛后的模型远超过人类数学语言的表现能力
所以本轮深度学习浪潮的真正推动者不是辛顿等三人,而是Alex Krizhevsky,Feifei这些认识到了关键不在于算法的新一代研究者
#7 Re: 给你们讲讲深度学习真正的牛逼之处
2002年集群的算力就完全足够训练AlexNet的,单机也跑得动预训练模型,但是没有人想去利用算力
整个学术界都在找一个神奇简单的公式,一劳永逸解决AI所有问题
整个学术界都在找一个神奇简单的公式,一劳永逸解决AI所有问题
#8 Re: 给你们讲讲深度学习真正的牛逼之处
kaiming的resnet实际上把CV问题完美解决了,错误率比imagenet的人为错误还低
剩下的搞不定的图片需要作为时序问题解决,比如标语,漫画等等,必须上RNN/LSTM。那些在特定任务奇奇怪怪的搜索出来的架构,本质上就包含了一些进化出来的类RNN结构
transformer本质上来说等同于RNN/LSTM等网络,但是LSTM对并行不友好,训练规模上不去,而transformer可以大规模并行
剩下的搞不定的图片需要作为时序问题解决,比如标语,漫画等等,必须上RNN/LSTM。那些在特定任务奇奇怪怪的搜索出来的架构,本质上就包含了一些进化出来的类RNN结构
transformer本质上来说等同于RNN/LSTM等网络,但是LSTM对并行不友好,训练规模上不去,而transformer可以大规模并行
Caravel 写了: 2024年 10月 11日 01:30 神经网络最重要是architecture,早期网络最多就10-20层,kaiming搞出resnet瞬间无上限了。后来又兴起一波自动架构搜索,其实没搞出什么名堂。再后来发现transformer,包打天下。
神经网络的进步很像是生物进化,没什么理由,但是如果新的形状有优势会很快dominant
#9 Re: 给你们讲讲深度学习真正的牛逼之处
生物根本不是进化的Caravel 写了: 2024年 10月 11日 01:30 神经网络最重要是architecture,早期网络最多就10-20层,kaiming搞出resnet瞬间无上限了。后来又兴起一波自动架构搜索,其实没搞出什么名堂。再后来发现transformer,包打天下。
神经网络的进步很像是生物进化,没什么理由,但是如果新的形状有优势会很快dominant
我们宇宙就是个虚拟世界,是工程设计出来的,我在菌斑证明多次了
什么宇宙有95%暗物质,暗能量,就知道我们宇宙不是正常的世界。投胎转世,前世记忆,根本就是虚拟世界才有的东西
所以这些AI就是泡沫,思维上就是错误的,也根本不存在什么万能公式,下面完全走不通
#10 Re: 给你们讲讲深度学习真正的牛逼之处
Www.nderf.org
同意这个,这次诺奖是为了炒股票。
同意这个,这次诺奖是为了炒股票。
keyrock 写了: 2024年 10月 11日 06:56 生物根本不是进化的
我们宇宙就是个虚拟世界,是工程设计出来的,我在菌斑证明多次了
什么宇宙有95%暗物质,暗能量,就知道我们宇宙不是正常的世界。投胎转世,前世记忆,根本就是虚拟世界才有的东西
所以这些AI就是泡沫,思维上就是错误的,也根本不存在什么万能公式,下面完全走不通
#11 Re: 给你们讲讲深度学习真正的牛逼之处
为什么李飞飞没获奖?
xiaoju 写了: 2024年 10月 11日 00:55 算法没有太高技巧,BP也不过是机器学习里优化逻辑回归模型的简单扩展
早期(2020年之前)深度学习里有价值的东西不是算法,而是超参数,即算法的组成结构
现在的LLM,甚至连结构也几乎都一样,真正核心是训练和微调的方法
历史上任何企图用某种算法,公式或者模型模拟人工智能的想法最后都是粉身碎骨,收敛后的模型远超过人类数学语言的表现能力
所以本轮深度学习浪潮的真正推动者不是辛顿等三人,而是Alex Krizhevsky,Feifei这些认识到了关键不在于算法的新一代研究者
-
- 版内封禁中
wanmeishijie 的博客 - 帖子互动: 1929
- 帖子: 66682
- 注册时间: 2022年 12月 10日 23:58
#14 Re: 给你们讲讲深度学习真正的牛逼之处
那么训练和微调的方法有了什么革命进步?xiaoju 写了: 2024年 10月 11日 04:29 2002年集群的算力就完全足够训练AlexNet的,单机也跑得动预训练模型,但是没有人想去利用算力
整个学术界都在找一个神奇简单的公式,一劳永逸解决AI所有问题
理解了老将是代入狗的视角之后,你就理解了老将
viewtopic.php?t=120513
理解了它们是代入狗的视角之后,它们为什么会嘲笑不愿意当狗的人,以及为什么会害怕想要反抗的人,就都可以理解了:
“放着好好的狗不当”
viewtopic.php?t=120513
理解了它们是代入狗的视角之后,它们为什么会嘲笑不愿意当狗的人,以及为什么会害怕想要反抗的人,就都可以理解了:
“放着好好的狗不当”

#16 Re: 给你们讲讲深度学习真正的牛逼之处
完了, 完了,,,虚拟人 还挺快乐的 忙活keyrock 写了: 2024年 10月 11日 06:56 生物根本不是进化的
我们宇宙就是个虚拟世界,是工程设计出来的,我在菌斑证明多次了
什么宇宙有95%暗物质,暗能量,就知道我们宇宙不是正常的世界。投胎转世,前世记忆,根本就是虚拟世界才有的东西
所以这些AI就是泡沫,思维上就是错误的,也根本不存在什么万能公式,下面完全走不通
#17 Re: 给你们讲讲深度学习真正的牛逼之处
说明还是不懂原理,只想找一个更方便的公式硬套而已xiaoju 写了: 2024年 10月 11日 04:29 2002年集群的算力就完全足够训练AlexNet的,单机也跑得动预训练模型,但是没有人想去利用算力
整个学术界都在找一个神奇简单的公式,一劳永逸解决AI所有问题
#18 Re: 给你们讲讲深度学习真正的牛逼之处
游戏里虚拟人不快乐的 忙活吗?
概念是虚拟世界,比电脑的软件虚拟世界高级多了
是从宇宙物理定律就是专门设计,从头开始搭建的虚拟世界宇宙
缺乏想象力的地球人,想象不出这样的虚拟世界,只能想象matrix这样的
#19 Re: 给你们讲讲深度学习真正的牛逼之处
2002年估计集群都拿去给“更重要”的计算了 神经网络看图片这种事情 估计申请机时不容易 而且要传很多数据上去也麻烦 这就是为啥gpu计算这么重要 并不是非有它不可 但是这种廉价的并行计算democratized 高性能计算xiaoju 写了: 2024年 10月 11日 04:29 2002年集群的算力就完全足够训练AlexNet的,单机也跑得动预训练模型,但是没有人想去利用算力
整个学术界都在找一个神奇简单的公式,一劳永逸解决AI所有问题
#20 Re: 给你们讲讲深度学习真正的牛逼之处
就是 虚拟人 能创造 虚拟人,,, 那我们算 底层虚拟人, 还是 最高级的虚拟人,keyrock 写了: 2024年 10月 11日 09:58 游戏里虚拟人不快乐的 忙活吗?
概念是虚拟世界,比电脑的软件虚拟世界高级多了
是从宇宙物理定律就是专门设计,从头开始搭建的虚拟世界宇宙
缺乏想象力的地球人,想象不出这样的虚拟世界,只能想象matrix这样的
哦好, 不对, 我们 不能最高级, 我们也是 被 创造的 虚拟人,,,