长短时记忆(LSTM)

长期短期记忆网络是一种递归神经网络。lstm擅长学习、处理和分类顺序数据。常见的应用领域包括情感分析、语言建模、语音识别和视频分析。

训练RNN最常用的方法是通过时间反向传播。然而，梯度消失的问题往往导致参数捕获短期依赖，而来自早期时间步长的信息衰减。相反的问题，也可能发生爆炸性的梯度，导致误差随着每个时间步长而急剧增长。

长期短期记忆网络的目标是克服消失梯度的问题，通过使用“门”选择性地保留相关信息，忘记无关信息。较低的时间间隔敏感性使得LSTM网络比简单的rnn更适合于分析顺序数据。

LSTM块的体系结构如下所示。除了传统rnn中的隐藏状态外，LSTM块通常还有一个存储单元、输入门、输出门和遗忘门。

对输入门的权重和偏差控制新值流入单元的程度。类似地，对遗忘门和输出门的权重和偏差分别控制一个值在单元格中保留的程度和该值在单元格中用于计算LSTM块的输出激活的程度。

有关LSTM网络的更多详细信息，请参见深度学习工具箱™。