长期内存网络是一种类型经常性神经网络(RNN)。LSTMS主要用于学习,过程和分类顺序数据因为这些网络可以在数据的时间步骤之间学习长期依赖性。常见的LSTM应用包括情感分析,语言建模,语音识别和视频分析。
LSTM应用与示例
以下例子使用马铃薯®和深度学习工具箱™在特定应用程序中应用LSTM。初学者可以通过这个简单的示例开始使用LSTM网络:LSTMs时间序列预测。
RNN和LSTM的技术特征
LSTM网络是一种专用形式的RNN架构。差异
在本节中突出了架构和LSTMS的优点。
经常性神经网络的基本结构(RNN)。
在实践中,简单的RNNS的能力受到学习长期依赖性的能力。RNN通常通过BackProjagation培训,其中他们可能会遇到“消失”或“爆炸”渐变问题。这些问题导致网络权重变得非常小或非常大,限制了需要网络学习长期关系的应用中的有效性。
为了克服这个问题,LSTM网络使用额外的门来控制隐藏小区中的哪些信息导出为输出和下一个隐藏状态。额外的栅极允许网络更有效地学习数据中的长期关系。对时间间隙的敏感性降低,使LSTM网络更好地分析顺序数据而不是简单的RNN。
除了传统rnn中的隐藏状态外,LSTM块的架构通常有一个存储单元、输入门、输出门和遗忘门,如下所示。
对输入门的权重和偏置控制新值流入小区的程度。类似地,对忘记门和输出门的权重和偏置控制在小区中保持值的程度以及小区中的值的范围用于分别计算LSTM块的输出激活。
有关LSTM网络的更多详细信息,请参阅深度学习工具箱™。