长短期记忆(LSTM)

长期内存网络是一种类型经常性神经网络(RNN)。LSTMS主要用于学习,过程和分类顺序数据因为这些网络可以在数据的时间步骤之间学习长期依赖性。常见的LSTM应用包括情感分析,语言建模,语音识别和视频分析。

LSTM应用与示例

以下例子使用马铃薯®深度学习工具箱™在特定应用程序中应用LSTM。初学者可以通过这个简单的示例开始使用LSTM网络:LSTMs时间序列预测

雷达目标分类

使用Matlab中的长短期内存(LSTM)经常性神经网络分类雷达返回

关键词斑点

当用户说出预定义的关键字时唤醒系统

文本生成

培训深度学习LSTM网络以生成文本逐字

分类ECG信号

分类ECG信号,记录一个人心脏的电气活动随着时间的推移,正常或AFIB

配水系统调度

使用强化学习(RL)为水分配系统产生最佳泵调度策略

视频分类

通过组合佩带的图像分类模型和LSTM网络来分类视频

RNN和LSTM的技术特征

LSTM网络是一种专用形式的RNN架构。差异

经常性的神经网络。

在本节中突出了架构和LSTMS的优点。

经常性神经网络的基本结构(RNN)。

在实践中,简单的RNNS的能力受到学习长期依赖性的能力。RNN通常通过BackProjagation培训,其中他们可能会遇到“消失”或“爆炸”渐变问题。这些问题导致网络权重变得非常小或非常大,限制了需要网络学习长期关系的应用中的有效性。

为了克服这个问题,LSTM网络使用额外的门来控制隐藏小区中的哪些信息导出为输出和下一个隐藏状态。额外的栅极允许网络更有效地学习数据中的长期关系。对时间间隙的敏感性降低,使LSTM网络更好地分析顺序数据而不是简单的RNN。

除了传统rnn中的隐藏状态外,LSTM块的架构通常有一个存储单元、输入门、输出门和遗忘门,如下所示。

与RNN相比,长短期内存(LSTM)架构具有更多栅极来控制信息流。

对输入门的权重和偏置控制新值流入小区的程度。类似地,对忘记门和输出门的权重和偏置控制在小区中保持值的程度以及小区中的值的范围用于分别计算LSTM块的输出激活。

有关LSTM网络的更多详细信息,请参阅深度学习工具箱™

另请参阅:Matlab深入学习机器学习MATLAB用于数据科学GPU计算人工智能