不就是反向传播对多层结构进行训练？感觉简单得很，不值得一个图灵奖。
学术上而论，Shor用算力践踏NP世界才是最应该图灵的。
Hinton在80年代就提出BP了，咋现在才深度学习？
版主： Softfist
#3 Re: Hinton在80年代就提出BP了，咋现在才深度学习？
BP没有卵用，MLP最多3层就优化不动了。真正的突破是CNN的小卷积核。
DonnieTrump 写了： 2024年 8月 9日 06:35 不就是反向传播对多层结构进行训练？感觉简单得很，不值得一个图灵奖。
学术上而论，Shor、Grover用算力践踏NP世界才是最应该图灵的。
#4 Re: Hinton在80年代就提出BP了，咋现在才深度学习？
1. 1957 年，Frank Rosenblat 发明感知机（Perceptron）, 奠定了之后深度学习的基本结构。
2. 1974 年，Paul Werbos 在博士论文“Beyond regression : new tools for prediction and analysis in the behavioral sciences” 中提出了用误差反向传播来训练人工神经网络的算法，使得训练多层神经网络成为可能，有效解决了异或回路问题。这个工作奠定了之后深度学习的训练方式，深度学习训练系统中最为重要的执行步骤就是通过迭代不断进行反向传播训练模型。
3. BP（Back Propagation）神经网络是1986年由Rumelhart和McCelland为首的科研小组提出，参见他们发表在Nature上的论文 Learning representations by back-propagating errors 值得一提的是，该文的第三作者Geoffrey E. Hinton。
3. 1989 年，Yann LeCun 在论文“Backpropagation Applied to Handwritten Zip Code Recognition”[9]提出了一种用反向传播进行更新的卷积神经网络，称为 LeNet 。启发了后续卷积神经网络的研究与发展。卷积神经网络为深度学习系统的重要算子，大多数的计算机视觉领域的深度学习系统都需要在卷积神经网络上验证性能。
4. 1982年，美国John Hopfield发明了一种单层反馈神经网络Hopfield Network。 1990年，美国Jeffrey L.Elman对Jordan Network进行了简化,并采用BP算法进行训练，便有了如今最简单的包含单个自连接节点的RNN模型。但此时RNN由于梯度消失(Gradient Vanishing)及梯度爆炸(Gradient Exploding)的问题，训练非常困难，应用非常受限。直到1997年，瑞士人工智能研究所的主任Jurgen Schmidhuber提出长短期记忆(LSTM)，LSTM使用门控单元及记忆机制大大缓解了早期RNN训练的问题。同样在1997年，Mike Schuster提出双向RNN模型(Bidirectional RNN)。
5. 2006 年，Geoff Hinton、Ruslan Salakhutdinov、Osindero 的论文“Reducing the Dimensionality of Data with Neural Networks”[10]表明，多层前馈神经网络可以一次有效地预训练一层，依次将每一层视为无监督受限的玻尔兹曼（Boltzmann）机，然后使用监督反向传播对其进行微调，其论文主要研究深度信念网络（Deep Belief Nets）的学习。
6. 2009 年，李飞飞开发 ImageNet数据库，之后大量计算机视觉领域的经典模型在此数据库上进行验证，评测并演进， 使得深度学习算法的效果得到验证，也使得人工智能界意识到深度学习模型的重要性，AI进入深度学习时代。
7. 2017年Transformer架构提出，取代RNN,基于Transformer后出现GPT和BERT, 在之后大模型如雨后春笋般出现。
互联网的海量数据和GPU使得深度学习模型训练成为可能。因此，深度学习算法和大数据同等重要，深度学习算法很早就提出来，等待大规模标注数据来训练，两者缺一不可。以上提到的人都对深度学习有着深刻影响。
2. 1974 年，Paul Werbos 在博士论文“Beyond regression : new tools for prediction and analysis in the behavioral sciences” 中提出了用误差反向传播来训练人工神经网络的算法，使得训练多层神经网络成为可能，有效解决了异或回路问题。这个工作奠定了之后深度学习的训练方式，深度学习训练系统中最为重要的执行步骤就是通过迭代不断进行反向传播训练模型。
3. BP（Back Propagation）神经网络是1986年由Rumelhart和McCelland为首的科研小组提出，参见他们发表在Nature上的论文 Learning representations by back-propagating errors 值得一提的是，该文的第三作者Geoffrey E. Hinton。
3. 1989 年，Yann LeCun 在论文“Backpropagation Applied to Handwritten Zip Code Recognition”[9]提出了一种用反向传播进行更新的卷积神经网络，称为 LeNet 。启发了后续卷积神经网络的研究与发展。卷积神经网络为深度学习系统的重要算子，大多数的计算机视觉领域的深度学习系统都需要在卷积神经网络上验证性能。
4. 1982年，美国John Hopfield发明了一种单层反馈神经网络Hopfield Network。 1990年，美国Jeffrey L.Elman对Jordan Network进行了简化,并采用BP算法进行训练，便有了如今最简单的包含单个自连接节点的RNN模型。但此时RNN由于梯度消失(Gradient Vanishing)及梯度爆炸(Gradient Exploding)的问题，训练非常困难，应用非常受限。直到1997年，瑞士人工智能研究所的主任Jurgen Schmidhuber提出长短期记忆(LSTM)，LSTM使用门控单元及记忆机制大大缓解了早期RNN训练的问题。同样在1997年，Mike Schuster提出双向RNN模型(Bidirectional RNN)。
5. 2006 年，Geoff Hinton、Ruslan Salakhutdinov、Osindero 的论文“Reducing the Dimensionality of Data with Neural Networks”[10]表明，多层前馈神经网络可以一次有效地预训练一层，依次将每一层视为无监督受限的玻尔兹曼（Boltzmann）机，然后使用监督反向传播对其进行微调，其论文主要研究深度信念网络（Deep Belief Nets）的学习。
6. 2009 年，李飞飞开发 ImageNet数据库，之后大量计算机视觉领域的经典模型在此数据库上进行验证，评测并演进， 使得深度学习算法的效果得到验证，也使得人工智能界意识到深度学习模型的重要性，AI进入深度学习时代。
7. 2017年Transformer架构提出，取代RNN,基于Transformer后出现GPT和BERT, 在之后大模型如雨后春笋般出现。
互联网的海量数据和GPU使得深度学习模型训练成为可能。因此，深度学习算法和大数据同等重要，深度学习算法很早就提出来，等待大规模标注数据来训练，两者缺一不可。以上提到的人都对深度学习有着深刻影响。
#5 Re: Hinton在80年代就提出BP了，咋现在才深度学习？
有几句话说得特别膈应futureLL 写了： 2024年 8月 9日 07:40 1. 1957 年，Frank Rosenblat 发明感知机（Perceptron）, 奠定了之后深度学习的基本结构。
2. 1974 年，Paul Werbos 在博士论文“Beyond regression : new tools for prediction and analysis in the behavioral sciences” 中提出了用误差反向传播来训练人工神经网络的算法，使得训练多层神经网络成为可能，有效解决了异或回路问题。这个工作奠定了之后深度学习的训练方式，深度学习训练系统中最为重要的执行步骤就是通过迭代不断进行反向传播训练模型。
3. BP（Back Propagation）神经网络是1986年由Rumelhart和McCelland为首的科研小组提出，参见他们发表在Nature上的论文 Learning representations by back-propagating errors 值得一提的是，该文的第三作者Geoffrey E. Hinton。
3. 1989 年，Yann LeCun 在论文“Backpropagation Applied to Handwritten Zip Code Recognition”[9]提出了一种用反向传播进行更新的卷积神经网络，称为 LeNet 。启发了后续卷积神经网络的研究与发展。卷积神经网络为深度学习系统的重要算子，大多数的计算机视觉领域的深度学习系统都需要在卷积神经网络上验证性能。
4. 1982年，美国John Hopfield发明了一种单层反馈神经网络Hopfield Network。 1990年，美国Jeffrey L.Elman对Jordan Network进行了简化,并采用BP算法进行训练，便有了如今最简单的包含单个自连接节点的RNN模型。但此时RNN由于梯度消失(Gradient Vanishing)及梯度爆炸(Gradient Exploding)的问题，训练非常困难，应用非常受限。直到1997年，瑞士人工智能研究所的主任Jurgen Schmidhuber提出长短期记忆(LSTM)，LSTM使用门控单元及记忆机制大大缓解了早期RNN训练的问题。同样在1997年，Mike Schuster提出双向RNN模型(Bidirectional RNN)。
5. 2006 年，Geoff Hinton、Ruslan Salakhutdinov、Osindero 的论文“Reducing the Dimensionality of Data with Neural Networks”[10]表明，多层前馈神经网络可以一次有效地预训练一层，依次将每一层视为无监督受限的玻尔兹曼（Boltzmann）机，然后使用监督反向传播对其进行微调，其论文主要研究深度信念网络（Deep Belief Nets）的学习。
6. 2009 年，李飞飞开发 ImageNet数据库，之后大量计算机视觉领域的经典模型在此数据库上进行验证，评测并演进， 使得深度学习算法的效果得到验证，也使得人工智能界意识到深度学习模型的重要性，AI进入深度学习时代。
7. 2017年Transformer架构提出，取代RNN,基于Transformer后出现GPT和BERT, 在之后大模型如雨后春笋般出现。
互联网的海量数据和GPU使得深度学习模型训练成为可能。因此，深度学习算法和大数据同等重要，深度学习算法很早就提出来，等待大规模标注数据来训练，两者缺一不可。以上提到的人都对深度学习有着深刻影响。
#7 Re: Hinton在80年代就提出BP了，咋现在才深度学习？
好几句话，比如第一句，“感知器奠定了深度学习的基本结构”，等于说细胞奠定了人类的基本结构，也不能说全错，但是也不大对头。
后面还有大部分视觉神经网络都要在卷积网络上验证性能，这啥意思，卷积网络成了质检工具了。
当然李飞飞开发imagenet也算一句，这句不算太严重，毕竟领导开发也是开发。
google “李飞飞发明imagenet”
看见的世界，看不见的李飞飞
虎嗅网
https://m.huxiu.com › article
·
Translate this page
Jul 29, 2024 — 李飞飞，被全球学界、商界共同誉为人工智能奠基人，2006年她开始构思发明的ImageNet图片数据集成为新一代人工智能技术的三大基石之一，另两大基石是GPU和 ...
#11 Re: Hinton在80年代就提出BP了，咋现在才深度学习？
现在全连接的MLP网络10几层随便算啊。是因为ADAM算法还是啥？Hinton那个一层层训练的方法究竟有多大地位？
感觉图灵奖就是按名气发。古德费洛的GAN起码应该放进去，BP的改进也应该占三分之一。
上次由 DonnieTrump 在 2024年 8月 9日 10:52 修改。
#13 Re: Hinton在80年代就提出BP了，咋现在才深度学习？
现在一堆10几层DNN的例子在colab上随便跑啊。都不用大数据，MNIST就行。
理论上的推证现在看来都对不上。比如有著名的论断，多层可等同于三层MLP。结果现在多层比三层好太多了。
理论上的推证现在看来都对不上。比如有著名的论断，多层可等同于三层MLP。结果现在多层比三层好太多了。
#14 Re: Hinton在80年代就提出BP了，咋现在才深度学习？
你先想想参数爆炸的意思，以及怎么解决参数爆炸
MNIST不用DL一样跑得起来
MNIST不用DL一样跑得起来
DonnieTrump 写了： 2024年 8月 9日 10:54 现在一堆10几层DNN的例子在colab上随便跑啊。都不用大数据，MNIST就行。
理论上的推证现在看来都对不上。比如有著名的论断，多层可等同于三层MLP。结果现在多层比三层好太多了。
#15 Re: Hinton在80年代就提出BP了，咋现在才深度学习？
就是参数不收敛，发散了？Adams解决得很好啊，当然lr等参数得走经验值。
也就是不能直接牛顿迭代的坑。数学上优化方法基本能解决得很好。
#17 Re: Hinton在80年代就提出BP了，咋现在才深度学习？
尼玛，不是这个意思
DonnieTrump 写了： 2024年 8月 13日 01:11 就是参数不收敛，发散了？Adams解决得很好啊，当然lr等参数得走经验值。
也就是不能直接牛顿迭代的坑。数学上优化方法基本能解决得很好。
#19 Re: Hinton在80年代就提出BP了，咋现在才深度学习？
说的是参数爆炸不是梯度爆炸
DonnieTrump 写了： 2024年 8月 13日 09:20 不是个屁啊，就是震荡不收敛，
https://www.geeksforgeeks.org/vanishing ... -learning/