长短期记忆

长短期记忆网络是一种递归神经网络.lstm主要用于学习、处理和序列数据进行分类因为这些网络可以学习数据的时间步长之间的长期依赖性。常见的LSTM应用包括情感分析、语言建模、语音识别和视频分析。

LSTM应用与示例

下面的例子使用了MATLAB®深度学习工具箱™将LSTM应用于具体应用。初学者可以通过下面这个简单的例子开始学习LSTM网络:LSTMs时间序列预测

雷达目标分类

在MATLAB中使用长短期记忆(LSTM)递归神经网络对雷达回波进行分类

关键字识别

当用户说出预定义的关键字时唤醒系统

文本生成

训练深度学习LSTM网络逐字生成文本

心电信号分类

将记录一段时间内心脏电活动的心电信号分类为Normal或AFib

配水系统调度

使用强化学习(RL)生成配水系统的最优泵调度策略

视频分类

结合预训练的图像分类模型和LSTM网络对视频进行分类

RNN和LSTM的技术特点

LSTM网络是RNN体系结构的一种特殊形式。两者的区别

复发性神经网络。

本节重点介绍lstm的体系结构和优点。

递归神经网络的基本结构。

在实践中,简单rnn学习长期依赖关系的能力是有限的。rnn通常通过反向传播进行训练,在此过程中,它们可能经历“消失”或“爆炸”梯度问题。这些问题导致网络权值要么变得非常小,要么变得非常大,限制了需要网络学习长期关系的应用的有效性。

为了克服这个问题,LSTM网络使用额外的门来控制隐藏单元中的哪些信息作为输出输出到下一个隐藏状态。附加的门允许网络更有效地了解数据中的长期关系。LSTM网络对时间间隔的敏感性较低,这使得LSTM网络比简单的rnn更好地分析序列数据。

除了传统rnn中的隐藏状态外,LSTM块的架构通常有一个存储单元、输入门、输出门和遗忘门,如下所示。

与RNN相比,长短期记忆(LSTM)体系结构有更多的门来控制信息流。

输入门的权重和偏差控制新值流入单元的程度。类似地,遗忘门和输出门的权重和偏差分别控制一个值在细胞中停留的程度和在细胞中用于计算LSTM块的输出激活的程度。

有关LSTM网络的详细信息,请参见深度学习工具箱™

参见:用于深度学习的MATLAB机器学习用于数据科学的MATLABGPU计算人工智能