LSTM之父向何恺明开炮：我学生才是残差学习奠基人（

1.lstm发明者

何恺明残差学习奠基人的身份，也被“挑战”了为什么要说“也”？因为发起讨论的，又双叒是我们熟悉的Jürgen Schmidhuber——LSTM之父不过这一次，他不是要把功劳揽到自己身上，而是替LSTM的另一位作者。

2.lstm谁发明的

Sepp Hochreiter发声：残差学习这把改变深度学习格局的 “钥匙”，其实早在30年前就已经诞生——Sepp Hochreiter在1991年就在使用循环残差连接解决梯度消失问题。

3.lstm简介

有一说一，Jürgen争title也不是第一次了，作为深度学习的先驱者，Jürgen自认为自己的早期贡献被人为忽视了ResNet发布的同年，深度学习三巨头Bengio、Hinton、LeCun在Nature上联合发表有关DL的综述论文，其中大量引用他们三人的自身成果，却对Jürgen等人只字不提。

4.lstm全称

随即他们展开了长达多年的争论，尤其是在18年的图灵奖结果公布后，Jürgen更是洋洋洒洒写了篇援引200多条文献的小作文反击之后在GAN的原创争议上，双方也是争执不休，要知道GAN的提出者正是Bengio的得意门生。

5.lstm作者

而如今有关残差学习的创始之争，也是因为Jürgen自认为将残差学习这一成果的发现完全归因于何恺明团队有失偏颇不过正如网友所说：从Hochreiter到ResNet，光芒随时间递归延续阴影是被模糊的归属，但真理始终不变：1991年的种子闪耀着每一层。

6.lstm知乎

30年前的第一次提出Jürgen Schmidhube这次要讲的故事始于1991年当时还是Jürgen学生的Sepp Hochreiter，正在着手撰写自己的博士论文，也正是在这篇论文里，他首次系统性分析了RNN的梯度消失问题，并提出用。

7.lstm提出者

循环残差连接解决。

8.lstm的主要原理

循环残差连接的核心思想相当简单：一个具有恒等激活函数的神经单元自连接，且权重固定为1.0，使其在每个时间步中仅将输入叠加到先前状态，该单元只作为增量积分器存在于是误差信号就能在反向传播中保持恒定，不会消失或爆炸。

9.lstm原理

不过与此前任意实数权重的自连接不同，只有权重严格为1.0，才能完全避免梯度问题接近1.0的近似值虽然可以接受，但衰减速度会随时间加快，例如0.99的权重下误差信号会在100个时间步后减少到原来的37%（0.99¹⁰⁰≈37%），0.9的权重则只有原来的0.0027%（0.9¹⁰⁰≈0.0027%）。

10.lstm 例子

但尽管如此，这也为后来的深度学习残差思想奠定了理论基础。

直到1997年，Jürgen和Hochreiter共同提出了著名的LSTM，在该理论的基础上实现了进一步的扩展LSTM的核心单元是权重为1.0的循环残差连接，也就是恒定误差轮盘（CECs），这一机制保证了误差可在数百乃至数千时间步中保持不衰减，使LSTM能有效捕捉输入与输出之间的长时间滞后，对语音、语言等任务至关重要。

另外这篇LSTM论文也是20世纪引用次数最多的人工智能论文1999年，LSTM演变出新的形态vanilla LSTM，在原来的基础上加入了初始值为1.0的遗忘门，使其具备可控的残差连接，既能保持长时依赖，又能在需要时重置记忆。

虽然这样做会重新引入一定的梯度消失，不过整体仍然处于可控状态到2005年，通过时间反向传播