RNN如何知道如何将过去的信息应用于当前输入?网络具有两组权重,一个用于隐藏状态向量,一个用于输入。在培训期间,网络了解输入和隐藏状态的权重。实施时,输出基于当前输入,以及基于先前输入的隐藏状态。
LSTM.
在实践中,简单的RNN经历了学习长期依赖的问题。RNN通常通过BackPropagation培训,在那里他们可以体验'消失'或'爆炸'渐变问题。这些问题导致网络权重变得非常小或非常大,限制了学习长期关系的有效性。
一种克服这个问题的特殊类型的经常性神经网络是长期短期记忆(LSTM)网络。LSTM网络使用额外的门来控制隐藏单元格中的信息使其成为输出和下一个隐藏状态。这允许网络更有效地学习数据中的长期关系。LSTMS是一种常用的RNN类型。
马铃薯®拥有完整的功能和功能,可以使用文本,图像,信号和时间序列数据培训和实现LSTM网络。下一节将探讨RNN和一些示例的应用程序使用MATLAB。
RNNS的应用
自然语言处理
语言是自然顺序的,文本的长度变化。这使得RNN是一个很好的工具来解决这一领域的问题,因为它们可以学会在句子中的语境中展示文字。一个例子包括情绪分析,一种对单词和短语的含义进行分类的方法。机器翻译或使用算法在语言之间翻译,是另一个常见应用程序。单词首先需要从文本数据转换为数字序列。一种有效的做法是一个单词嵌入层。Word Embeddings地图单词转为数字向量。这例子下面使用Word Embeddings培训一个词情绪分类器,并使用MATLAB WordCloud功能显示结果。