长短期记忆网络是一种类型的复发神经网络(RNN)。LSTMs擅长的学习,处理和连续数据进行分类。应用的常见领域包括情感分析,语言模型,语音识别和视频分析。
训练的RNN最流行的方式是通过反向传播时间。然而,梯度消失的问题,往往会导致参数来捕捉短线的依赖,同时从较早的时间信息的步骤衰变。相反的问题,爆炸梯度,也可能会出现,导致错误与每个时间步长显着。
长短期记忆网络的目标是通过使用门来选择性地保留一个相关的信息,忘记了是不相关的信息,以克服消失梯度的问题。到时间间隙较低的灵敏度使得LSTM网络更好的为比简单RNNs顺序数据的分析。
用于LSTM块结构如下所示。一个LSTM块典型地具有存储单元,输入门,输出门,并在除了隐藏状态在传统RNNs一个忘记栅极。
的权重和偏置到输入门控制到一个新的值流入细胞的程度。类似地,权重和偏置到忘记栅极和输出门控制的程度的值保留在细胞和到在小区中的值被用于计算LSTM块的输出激活,分别的程度。
对于LSTM网络的更多详细信息,请参阅深度学习工具箱™。