分页： 1 / 3
#1 给你们讲讲深度学习真正的牛逼之处
发表于 ： 2024年 10月 11日 00:55
由 xiaoju
算法没有太高技巧，BP也不过是机器学习里优化逻辑回归模型的简单扩展
早期（2020年之前）深度学习里有价值的东西不是算法，而是超参数，即算法的组成结构
现在的LLM，甚至连结构也几乎都一样，真正核心是训练和微调的方法
历史上任何企图用某种算法，公式或者模型模拟人工智能的想法最后都是粉身碎骨，收敛后的模型远超过人类数学语言的表现能力
所以本轮深度学习浪潮的真正推动者不是辛顿等三人，而是Alex Krizhevsky，Feifei这些认识到了关键不在于算法的新一代研究者
#2 Re: 给你们讲讲深度学习真正的牛逼之处
发表于 ： 2024年 10月 11日 00:59
由 heteroclinic
信息本身
信息编址
地址路由
知识越多约反动
#3 Re: 给你们讲讲深度学习真正的牛逼之处
发表于 ： 2024年 10月 11日 01:01
由 heteroclinic
根本也没有数学模型解释复杂度
在老菌斑就问过好几遍
#4 Re: 给你们讲讲深度学习真正的牛逼之处
发表于 ： 2024年 10月 11日 01:04
由 hahan
xiaoju 写了： 2024年 10月 11日 00:55
算法没有太高技巧，BP也不过是机器学习里优化逻辑回归模型的简单扩展
早期（2020年之前）深度学习里有价值的东西不是算法，而是超参数，即算法的组成结构
现在的LLM，甚至连结构也几乎都一样，真正核心是训练和微调的方法
历史上任何企图用某种算法，公式或者模型模拟人工智能的想法最后都是粉身碎骨，收敛后的模型远超过人类数学语言的表现能力
所以本轮深度学习浪潮的真正推动者不是辛顿等三人，而是Alex Krizhevsky，Feifei这些认识到了关键不在于算法的新一代研究者
这不是老生常谈嘛
人人都知道
有啥牛逼的
#5 Re: 给你们讲讲深度学习真正的牛逼之处
发表于 ： 2024年 10月 11日 01:30
由 Caravel
xiaoju 写了： 2024年 10月 11日 00:55
算法没有太高技巧，BP也不过是机器学习里优化逻辑回归模型的简单扩展
早期（2020年之前）深度学习里有价值的东西不是算法，而是超参数，即算法的组成结构
现在的LLM，甚至连结构也几乎都一样，真正核心是训练和微调的方法
历史上任何企图用某种算法，公式或者模型模拟人工智能的想法最后都是粉身碎骨，收敛后的模型远超过人类数学语言的表现能力
所以本轮深度学习浪潮的真正推动者不是辛顿等三人，而是Alex Krizhevsky，Feifei这些认识到了关键不在于算法的新一代研究者
神经网络最重要是architecture，早期网络最多就10-20层，kaiming搞出resnet瞬间无上限了。后来又兴起一波自动架构搜索，其实没搞出什么名堂。再后来发现transformer，包打天下。
神经网络的进步很像是生物进化，没什么理由，但是如果新的形状有优势会很快dominant
#6 Re: 给你们讲讲深度学习真正的牛逼之处
发表于 ： 2024年 10月 11日 01:37
由 rihai
笑死叔了
就是数据大了， 算力大了， 有东西可以训练了而已
打个比方， 就是专利里面“显然”的东西， 完全谈不上啥贡献
吨吨吨
xiaoju 写了： 2024年 10月 11日 00:55
算法没有太高技巧，BP也不过是机器学习里优化逻辑回归模型的简单扩展
早期（2020年之前）深度学习里有价值的东西不是算法，而是超参数，即算法的组成结构
现在的LLM，甚至连结构也几乎都一样，真正核心是训练和微调的方法
历史上任何企图用某种算法，公式或者模型模拟人工智能的想法最后都是粉身碎骨，收敛后的模型远超过人类数学语言的表现能力
所以本轮深度学习浪潮的真正推动者不是辛顿等三人，而是Alex Krizhevsky，Feifei这些认识到了关键不在于算法的新一代研究者
#7 Re: 给你们讲讲深度学习真正的牛逼之处
发表于 ： 2024年 10月 11日 04:29
由 xiaoju
2002年集群的算力就完全足够训练AlexNet的，单机也跑得动预训练模型，但是没有人想去利用算力
整个学术界都在找一个神奇简单的公式，一劳永逸解决AI所有问题
rihai 写了： 2024年 10月 11日 01:37
笑死叔了
就是数据大了， 算力大了， 有东西可以训练了而已
打个比方， 就是专利里面“显然”的东西， 完全谈不上啥贡献
吨吨吨
#8 Re: 给你们讲讲深度学习真正的牛逼之处
发表于 ： 2024年 10月 11日 04:37
由 xiaoju
kaiming的resnet实际上把CV问题完美解决了，错误率比imagenet的人为错误还低
剩下的搞不定的图片需要作为时序问题解决，比如标语，漫画等等，必须上RNN/LSTM。那些在特定任务奇奇怪怪的搜索出来的架构，本质上就包含了一些进化出来的类RNN结构
transformer本质上来说等同于RNN/LSTM等网络，但是LSTM对并行不友好，训练规模上不去，而transformer可以大规模并行
Caravel 写了： 2024年 10月 11日 01:30
神经网络最重要是architecture，早期网络最多就10-20层，kaiming搞出resnet瞬间无上限了。后来又兴起一波自动架构搜索，其实没搞出什么名堂。再后来发现transformer，包打天下。
神经网络的进步很像是生物进化，没什么理由，但是如果新的形状有优势会很快dominant
#9 Re: 给你们讲讲深度学习真正的牛逼之处
发表于 ： 2024年 10月 11日 06:56
由 keyrock
Caravel 写了： 2024年 10月 11日 01:30
神经网络最重要是architecture，早期网络最多就10-20层，kaiming搞出resnet瞬间无上限了。后来又兴起一波自动架构搜索，其实没搞出什么名堂。再后来发现transformer，包打天下。
神经网络的进步很像是生物进化，没什么理由，但是如果新的形状有优势会很快dominant
生物根本不是进化的
我们宇宙就是个虚拟世界，是工程设计出来的，我在菌斑证明多次了
什么宇宙有95%暗物质，暗能量，就知道我们宇宙不是正常的世界。投胎转世，前世记忆，根本就是虚拟世界才有的东西
所以这些AI就是泡沫，思维上就是错误的，也根本不存在什么万能公式，下面完全走不通
#10 Re: 给你们讲讲深度学习真正的牛逼之处
发表于 ： 2024年 10月 11日 07:59
由 llling369
Www.nderf.org
同意这个，这次诺奖是为了炒股票。
keyrock 写了： 2024年 10月 11日 06:56
生物根本不是进化的
我们宇宙就是个虚拟世界，是工程设计出来的，我在菌斑证明多次了
什么宇宙有95%暗物质，暗能量，就知道我们宇宙不是正常的世界。投胎转世，前世记忆，根本就是虚拟世界才有的东西
所以这些AI就是泡沫，思维上就是错误的，也根本不存在什么万能公式，下面完全走不通
#11 Re: 给你们讲讲深度学习真正的牛逼之处
发表于 ： 2024年 10月 11日 08:03
由 none
为什么李飞飞没获奖？
xiaoju 写了： 2024年 10月 11日 00:55
算法没有太高技巧，BP也不过是机器学习里优化逻辑回归模型的简单扩展
早期（2020年之前）深度学习里有价值的东西不是算法，而是超参数，即算法的组成结构
现在的LLM，甚至连结构也几乎都一样，真正核心是训练和微调的方法
历史上任何企图用某种算法，公式或者模型模拟人工智能的想法最后都是粉身碎骨，收敛后的模型远超过人类数学语言的表现能力
所以本轮深度学习浪潮的真正推动者不是辛顿等三人，而是Alex Krizhevsky，Feifei这些认识到了关键不在于算法的新一代研究者
#12 Re: 给你们讲讲深度学习真正的牛逼之处
发表于 ： 2024年 10月 11日 08:06
由 xiaoju
诺贝尔生物奖？
none 写了： 2024年 10月 11日 08:03
为什么李飞飞没获奖？
#13 Re: 给你们讲讲深度学习真正的牛逼之处
发表于 ： 2024年 10月 11日 09:28
由 cover
习大大早知道AI是泡沫了
外星人9月初去北京就告诉他，我们世界真相了
所以要pump中国A股，反向抽血，泡沫最怕被抽血
#14 Re: 给你们讲讲深度学习真正的牛逼之处
发表于 ： 2024年 10月 11日 09:33
由 wanmeishijie
xiaoju 写了： 2024年 10月 11日 04:29
2002年集群的算力就完全足够训练AlexNet的，单机也跑得动预训练模型，但是没有人想去利用算力
整个学术界都在找一个神奇简单的公式，一劳永逸解决AI所有问题
那么训练和微调的方法有了什么革命进步？
#15 Re: 给你们讲讲深度学习真正的牛逼之处
发表于 ： 2024年 10月 11日 09:48
由 cover
美国用诺奖和假数据想继续维持泡沫
习大大因为已经知道我们是在虚拟世界，AI是泡沫
泡沫支持不了太久，习大大对反向抽血信心十足
#16 Re: 给你们讲讲深度学习真正的牛逼之处
发表于 ： 2024年 10月 11日 09:55
由 Cellcycle2
keyrock 写了： 2024年 10月 11日 06:56
生物根本不是进化的
我们宇宙就是个虚拟世界，是工程设计出来的，我在菌斑证明多次了
什么宇宙有95%暗物质，暗能量，就知道我们宇宙不是正常的世界。投胎转世，前世记忆，根本就是虚拟世界才有的东西
所以这些AI就是泡沫，思维上就是错误的，也根本不存在什么万能公式，下面完全走不通
完了， 完了，，，虚拟人 还挺快乐的 忙活
#17 Re: 给你们讲讲深度学习真正的牛逼之处
发表于 ： 2024年 10月 11日 09:57
由 PPTT123
xiaoju 写了： 2024年 10月 11日 04:29
2002年集群的算力就完全足够训练AlexNet的，单机也跑得动预训练模型，但是没有人想去利用算力
整个学术界都在找一个神奇简单的公式，一劳永逸解决AI所有问题
说明还是不懂原理，只想找一个更方便的公式硬套而已
#18 Re: 给你们讲讲深度学习真正的牛逼之处
发表于 ： 2024年 10月 11日 09:58
由 keyrock
Cellcycle2 写了： 2024年 10月 11日 09:55
完了， 完了，，，虚拟人 还挺快乐的 忙活
游戏里虚拟人不快乐的 忙活吗？
概念是虚拟世界，比电脑的软件虚拟世界高级多了
是从宇宙物理定律就是专门设计，从头开始搭建的虚拟世界宇宙
缺乏想象力的地球人，想象不出这样的虚拟世界，只能想象matrix这样的
#19 Re: 给你们讲讲深度学习真正的牛逼之处
发表于 ： 2024年 10月 11日 09:59
由 huangchong
xiaoju 写了： 2024年 10月 11日 04:29
2002年集群的算力就完全足够训练AlexNet的，单机也跑得动预训练模型，但是没有人想去利用算力
整个学术界都在找一个神奇简单的公式，一劳永逸解决AI所有问题
2002年估计集群都拿去给“更重要”的计算了 神经网络看图片这种事情 估计申请机时不容易 而且要传很多数据上去也麻烦 这就是为啥gpu计算这么重要 并不是非有它不可 但是这种廉价的并行计算democratized 高性能计算
#20 Re: 给你们讲讲深度学习真正的牛逼之处
发表于 ： 2024年 10月 11日 10:00
由 Cellcycle2
keyrock 写了： 2024年 10月 11日 09:58
游戏里虚拟人不快乐的 忙活吗？
概念是虚拟世界，比电脑的软件虚拟世界高级多了
是从宇宙物理定律就是专门设计，从头开始搭建的虚拟世界宇宙
缺乏想象力的地球人，想象不出这样的虚拟世界，只能想象matrix这样的
就是 虚拟人 能创造 虚拟人，，， 那我们算 底层虚拟人， 还是 最高级的虚拟人，
哦好， 不对， 我们 不能最高级， 我们也是 被 创造的 虚拟人，，，