长——MATLAB和Simulink短期记忆网络金宝appgydF4y2Ba - 金宝app,下载188bet金宝搏,金宝搏官方网站

长期短期记忆网络gydF4y2Ba

这个主题解释了如何使用顺序和时间序列数据分类和回归任务使用久了短期记忆(LSTM)网络。为例展示如何使用一个LSTM序列数据分类网络,看到的gydF4y2Ba使用深度学习序列分类gydF4y2Ba。gydF4y2Ba

LSTM网络是一种递归神经网络(RNN),可以学习长期时间步骤的序列数据之间的依赖关系。gydF4y2Ba

LSTM网络体系结构gydF4y2Ba

LSTM网络的核心组件是一个序列的输入层和一个LSTM层。一个gydF4y2Ba序列输入层gydF4y2Ba输入序列或时间序列数据到网络。一个gydF4y2BaLSTM层gydF4y2Ba长期的学习步骤的序列数据之间的依赖关系。gydF4y2Ba

这个图显示了一个简单的架构LSTM网络分类。网络开始的序列输入层一层LSTM紧随其后。预测类标签,网络以一个完全连接层,softmax层和输出层分类。gydF4y2Ba

这个图显示了一个简单的架构LSTM网络回归。网络开始的序列输入层一层LSTM紧随其后。网络以一个完全连接层和回归的输出层。gydF4y2Ba

这个图表说明了网络视频的结构分类。向网络输入图像序列,使用序列输入层。利用卷积层提取特征,也就是说,应用卷积操作独立视频的每一帧,使用序列折叠层随后卷积层,然后一个序列展开层。使用LSTM层学习向量序列,使用平层随后LSTM和输出层。gydF4y2Ba

分类LSTM网络gydF4y2Ba

打开生活的脚本gydF4y2Ba

创建一个LSTM sequence-to-label分类网络,创建数组包含一个序列输入层,一层一层LSTM,完全连接层,softmax层和输出层分类。gydF4y2Ba

组的大小顺序输入层特性的输入数据的数量。设置大小完全连接层的类的数量。你不需要指定序列长度。gydF4y2Ba

对于LSTM层,指定隐藏单位的数量和输出模式gydF4y2Ba“最后一次”gydF4y2Ba。gydF4y2Ba

numFeatures = 12;numHiddenUnits = 100;numClasses = 9;层= [gydF4y2Ba…gydF4y2BasequenceInputLayer numFeatures lstmLayer (numHiddenUnits,gydF4y2Ba“OutputMode”gydF4y2Ba,gydF4y2Ba“最后一次”gydF4y2Ba)fullyConnectedLayer (numClasses) softmaxLayer classificationLayer];gydF4y2Ba

为一个例子,演示如何为sequence-to-label培训LSTM网络分类和分类新数据,看到的gydF4y2Ba使用深度学习序列分类gydF4y2Ba。gydF4y2Ba

创建一个LSTM sequence-to-sequence网络分类,使用相同的架构对于sequence-to-label分类,但LSTM层的设置输出模式gydF4y2Ba“序列”gydF4y2Ba。gydF4y2Ba

numFeatures = 12;numHiddenUnits = 100;numClasses = 9;层= [gydF4y2Ba…gydF4y2BasequenceInputLayer numFeatures lstmLayer (numHiddenUnits,gydF4y2Ba“OutputMode”gydF4y2Ba,gydF4y2Ba“序列”gydF4y2Ba)fullyConnectedLayer (numClasses) softmaxLayer classificationLayer];gydF4y2Ba

回归LSTM网络gydF4y2Ba

打开生活的脚本gydF4y2Ba

创建一个LSTM sequence-to-one回归网络,创建数组包含一个序列输入层,一层一层LSTM,完全连接层和回归输出层。gydF4y2Ba

组的大小顺序输入层特性的输入数据的数量。完全连接层的大小设置为响应的数量。你不需要指定序列长度。gydF4y2Ba

对于LSTM层,指定隐藏单位的数量和输出模式gydF4y2Ba“最后一次”gydF4y2Ba。gydF4y2Ba

numFeatures = 12;numHiddenUnits = 125;numResponses = 1;层= [gydF4y2Ba…gydF4y2BasequenceInputLayer numFeatures lstmLayer (numHiddenUnits,gydF4y2Ba“OutputMode”gydF4y2Ba,gydF4y2Ba“最后一次”gydF4y2Ba)fullyConnectedLayer (numResponses) regressionLayer];gydF4y2Ba

创建一个LSTM sequence-to-sequence回归网络使用相同的架构对于sequence-to-one回归,但LSTM层的设置输出模式gydF4y2Ba“序列”gydF4y2Ba。gydF4y2Ba

numFeatures = 12;numHiddenUnits = 125;numResponses = 1;层= [gydF4y2Ba…gydF4y2BasequenceInputLayer numFeatures lstmLayer (numHiddenUnits,gydF4y2Ba“OutputMode”gydF4y2Ba,gydF4y2Ba“序列”gydF4y2Ba)fullyConnectedLayer (numResponses) regressionLayer];gydF4y2Ba

为一个例子,演示如何训练一个LSTM网络sequence-to-sequence回归和预测新数据,看到的gydF4y2Ba使用深度学习Sequence-to-Sequence回归gydF4y2Ba。gydF4y2Ba

视频分类网络gydF4y2Ba

打开生活的脚本gydF4y2Ba

创建一个深入学习网络视频数据等数据包含序列图像和医学图像,使用序列指定图像序列输入输入层。gydF4y2Ba

利用卷积层提取特征,也就是说,应用卷积操作独立视频的每一帧,使用序列折叠层随后卷积层,然后一个序列展开层。使用LSTM层学习向量序列,使用平层随后LSTM和输出层。gydF4y2Ba

inputSize = [28 28 1];filterSize = 5;numFilters = 20;numHiddenUnits = 200;numClasses = 10;层= [gydF4y2Ba…gydF4y2BasequenceInputLayer (inputSizegydF4y2Ba“名字”gydF4y2Ba,gydF4y2Ba“输入”gydF4y2Ba)sequenceFoldingLayer (gydF4y2Ba“名字”gydF4y2Ba,gydF4y2Ba“折”gydF4y2Ba)convolution2dLayer (filterSize numFilters,gydF4y2Ba“名字”gydF4y2Ba,gydF4y2Ba“conv”gydF4y2Ba)batchNormalizationLayer (gydF4y2Ba“名字”gydF4y2Ba,gydF4y2Babn的gydF4y2Ba)reluLayer (gydF4y2Ba“名字”gydF4y2Ba,gydF4y2Ba“relu”gydF4y2Ba)sequenceUnfoldingLayer (gydF4y2Ba“名字”gydF4y2Ba,gydF4y2Ba“展开”gydF4y2Ba)flattenLayer (gydF4y2Ba“名字”gydF4y2Ba,gydF4y2Ba“平”gydF4y2Ba)lstmLayer (numHiddenUnitsgydF4y2Ba“OutputMode”gydF4y2Ba,gydF4y2Ba“最后一次”gydF4y2Ba,gydF4y2Ba“名字”gydF4y2Ba,gydF4y2Ba“lstm”gydF4y2Ba)fullyConnectedLayer (numClassesgydF4y2Ba“名字”gydF4y2Ba,gydF4y2Ba“俱乐部”gydF4y2Ba)softmaxLayer (gydF4y2Ba“名字”gydF4y2Ba,gydF4y2Ba“softmax”gydF4y2Ba)classificationLayer (gydF4y2Ba“名字”gydF4y2Ba,gydF4y2Ba“分类”gydF4y2Ba));gydF4y2Ba

转换层一层图和连接gydF4y2BaminiBatchSizegydF4y2Ba的输出序列折叠层的相应输入序列展开层。gydF4y2Ba

lgraph = layerGraph(层);lgraph = connectLayers (lgraph,gydF4y2Ba“折/ miniBatchSize”gydF4y2Ba,gydF4y2Ba“展开/ miniBatchSize”gydF4y2Ba);gydF4y2Ba

为一个例子,演示如何深入学习网络视频分类训练,明白了gydF4y2Ba分类使用深度学习视频gydF4y2Ba。gydF4y2Ba

更深层次的LSTM网络gydF4y2Ba

打开生活的脚本gydF4y2Ba

你可以更深的插入额外的LSTM LSTM网络层与输出模式gydF4y2Ba“序列”gydF4y2Ba之前LSTM层。为了防止过度拟合,可以插入后辍学层LSTM层。gydF4y2Ba

sequence-to-label分类网络,输出模式的最后LSTM层必须gydF4y2Ba“最后一次”gydF4y2Ba。gydF4y2Ba

numFeatures = 12;numHiddenUnits1 = 125;numHiddenUnits2 = 100;numClasses = 9;层= [gydF4y2Ba…gydF4y2BasequenceInputLayer numFeatures lstmLayer (numHiddenUnits1,gydF4y2Ba“OutputMode”gydF4y2Ba,gydF4y2Ba“序列”gydF4y2Ba)dropoutLayer (0.2) lstmLayer (numHiddenUnits2gydF4y2Ba“OutputMode”gydF4y2Ba,gydF4y2Ba“最后一次”gydF4y2Ba)dropoutLayer (0.2) fullyConnectedLayer (numClasses) softmaxLayer classificationLayer];gydF4y2Ba

sequence-to-sequence分类网络,输出模式的最后LSTM层必须gydF4y2Ba“序列”gydF4y2Ba。gydF4y2Ba

numFeatures = 12;numHiddenUnits1 = 125;numHiddenUnits2 = 100;numClasses = 9;层= [gydF4y2Ba…gydF4y2BasequenceInputLayer numFeatures lstmLayer (numHiddenUnits1,gydF4y2Ba“OutputMode”gydF4y2Ba,gydF4y2Ba“序列”gydF4y2Ba)dropoutLayer (0.2) lstmLayer (numHiddenUnits2gydF4y2Ba“OutputMode”gydF4y2Ba,gydF4y2Ba“序列”gydF4y2Ba)dropoutLayer (0.2) fullyConnectedLayer (numClasses) softmaxLayer classificationLayer];gydF4y2Ba

层gydF4y2Ba

层gydF4y2Ba	描述gydF4y2Ba
`sequenceInputLayergydF4y2Ba`	一个序列输入序列数据网络输入层。gydF4y2Ba
`lstmLayergydF4y2Ba`	LSTM层长期学习时间步骤时间序列和序列数据之间的依赖关系。gydF4y2Ba
`bilstmLayergydF4y2Ba`	双向LSTM (BiLSTM)层学习双向长期时间步长之间的依赖关系的时间序列或序列数据。这些依赖项可以是有用的,当你想要完成网络学习时间序列在每个时间步。gydF4y2Ba
`gruLayergydF4y2Ba`	格勒乌层学习时间步骤时间序列和序列数据之间的依赖关系。gydF4y2Ba
`sequenceFoldingLayergydF4y2Ba`	一个序列折叠层转换一批一批图像的图像序列。使用一个折叠层按时执行卷积操作步骤序列独立的图像序列。gydF4y2Ba
`sequenceUnfoldingLayergydF4y2Ba`	一个序列展开层恢复后的输入数据序列的序列结构折叠。gydF4y2Ba
`flattenLayergydF4y2Ba`	平层坍塌的输入通道的空间维度的维度。gydF4y2Ba
`wordEmbeddingLayergydF4y2Ba`(文本分析工具箱)gydF4y2Ba	一个字嵌入层地图单词索引向量。gydF4y2Ba

分类,预测和预报gydF4y2Ba

分类或预测新数据,使用gydF4y2Ba分类gydF4y2Ba和gydF4y2Ba预测gydF4y2Ba。gydF4y2Ba

LSTM网络能记住网络之间的状态预测。网络状态是有用的,当你没有完整的提前时间序列,或如果你想让多个长时间序列预测。gydF4y2Ba

时间序列的预测和分类部分和更新网络状态,使用gydF4y2BapredictAndUpdateStategydF4y2Ba和gydF4y2BaclassifyAndUpdateStategydF4y2Ba。重置预测之间的网络状态,使用gydF4y2BaresetStategydF4y2Ba。gydF4y2Ba

为一个例子,演示如何预测未来时间序列的步骤,看看gydF4y2Ba使用深度学习时间序列预测gydF4y2Ba。gydF4y2Ba

序列填充、截断和分裂gydF4y2Ba

LSTM网络支持与不同的输入金宝app数据序列长度。通过网络传递数据时,软件垫,截断或分割序列,这样所有的序列每个mini-batch有指定的长度。您可以指定序列长度和用来垫序列使用价值gydF4y2BaSequenceLengthgydF4y2Ba和gydF4y2BaSequencePaddingValuegydF4y2Ba名称-值对的论据gydF4y2BatrainingOptionsgydF4y2Ba。gydF4y2Ba

训练后的网络,使用相同的mini-batch大小和填充选项时使用gydF4y2Ba分类gydF4y2Ba,gydF4y2Ba预测gydF4y2Ba,gydF4y2BaclassifyAndUpdateStategydF4y2Ba,gydF4y2BapredictAndUpdateStategydF4y2Ba,gydF4y2Ba激活gydF4y2Ba功能。gydF4y2Ba

排序序列的长度gydF4y2Ba

减少填充或丢弃的数据填充或删除序列时,试试排序数据序列长度。对数据序列长度进行排序,首先得到每个序列通过应用的列数gydF4y2Ba大小(X, 2)gydF4y2Ba每一个序列使用gydF4y2BacellfungydF4y2Ba。然后使用排序序列的长度gydF4y2Ba排序gydF4y2Ba,使用第二个输出排序原始序列。gydF4y2Ba

sequenceLengths = cellfun (@ (X)大小(X, 2), XTrain);[sequenceLengthsSorted, idx] = (sequenceLengths)进行排序;XTrain = XTrain (idx);gydF4y2Ba

以下数据显示排序的序列长度和无序数据条形图。gydF4y2Ba

垫序列gydF4y2Ba

如果你指定序列长度gydF4y2Ba“最长”gydF4y2Ba,那么软件垫mini-batch中的序列,这样所有的序列有相同的长度作为mini-batch最长的序列。这个选项是默认的。gydF4y2Ba

下图演示的效果设置gydF4y2Ba“SequenceLength”gydF4y2Ba来gydF4y2Ba“最长”gydF4y2Ba。gydF4y2Ba

截短的序列gydF4y2Ba

如果你指定序列长度gydF4y2Ba“最短”gydF4y2Ba,然后软件序列,以便所有序列mini-batch有相同的长度最短mini-batch序列。其余序列中的数据就会被丢弃。gydF4y2Ba

下图演示的效果设置gydF4y2Ba“SequenceLength”gydF4y2Ba来gydF4y2Ba“最短”gydF4y2Ba。gydF4y2Ba

分割序列gydF4y2Ba

如果你设定序列长度为一个整数值,然后软件垫中的所有序列mini-batch到最近的多个指定的长度大于mini-batch最长的序列长度。然后,软件将每个序列分为较小的指定长度的序列。如果发生分裂,那么软件创建额外的mini-batches。gydF4y2Ba

使用这个选项如果完整的序列不适合在内存中。或者,你可以试着减少序列的数量每mini-batch通过设置gydF4y2Ba“MiniBatchSize”gydF4y2Ba选项gydF4y2BatrainingOptionsgydF4y2Ba到一个较低的值。gydF4y2Ba

如果您指定序列长度为一个正整数,然后小序列的软件过程连续迭代。网络更新网络状态之间的分离序列。gydF4y2Ba

下图演示的效果设置gydF4y2Ba“SequenceLength”gydF4y2Ba5。gydF4y2Ba

填充指定方向gydF4y2Ba

填充和截断的位置会影响训练、分类和预测精度。尝试设置gydF4y2Ba“SequencePaddingDirection”gydF4y2Ba选项gydF4y2BatrainingOptionsgydF4y2Ba来gydF4y2Ba“左”gydF4y2Ba或gydF4y2Ba“对”gydF4y2Ba看看哪个工具最适合您的数据。gydF4y2Ba

因为LSTM层过程序列数据一次一个时间步,当层gydF4y2BaOutputModegydF4y2Ba属性是gydF4y2Ba“最后一次”gydF4y2Ba,任何填充在最后时间步可以负面影响层的输出。垫或截断左边序列数据,设置gydF4y2Ba“SequencePaddingDirection”gydF4y2Ba选项gydF4y2Ba“左”gydF4y2Ba。gydF4y2Ba

sequence-to-sequence网络(当gydF4y2BaOutputModegydF4y2Ba属性是gydF4y2Ba“序列”gydF4y2Ba对于每个LSTM层),任何填充在第一次的步骤可以负面影响的预测更早的时间步骤。垫或截断序列数据在右边,设置gydF4y2Ba“SequencePaddingDirection”gydF4y2Ba选项gydF4y2Ba“对”gydF4y2Ba。gydF4y2Ba

下图说明填充序列数据左边和右边。gydF4y2Ba

下图说明删除序列数据左边和右边。gydF4y2Ba

标准化序列数据gydF4y2Ba

为了唤醒训练数据在使用中心零位规范化培训时间,自动设置gydF4y2Ba归一化gydF4y2Ba选择gydF4y2BasequenceInputLayergydF4y2Ba来gydF4y2Ba“zerocenter”gydF4y2Ba。或者,您可以正常序列数据首先计算一个部分所有序列的平均值和标准偏差。然后,对于每个训练观察,减去均值,再除以标准差。gydF4y2Ba

μ=意味着([XTrain {:}), 2);σ=性病([XTrain {}):, 0, 2);XTrain = cellfun (@ (X)(即Xμ)。/σ,XTrain,gydF4y2Ba“UniformOutput”gydF4y2Ba、假);gydF4y2Ba

内存不足的数据gydF4y2Ba

使用数据存储顺序、时间序列和信号数据,当数据太大了,适合在内存中或执行特定的操作时阅读批次的数据。gydF4y2Ba

欲了解更多,请看gydF4y2Ba列车网络的使用内存不足的序列数据gydF4y2Ba和gydF4y2Ba内存不足使用深度学习文本数据进行分类gydF4y2Ba。gydF4y2Ba

可视化gydF4y2Ba

调查和可视化功能学和LSTM网络从序列的时间序列数据提取激活使用gydF4y2Ba激活gydF4y2Ba函数。欲了解更多,请看gydF4y2Ba可视化LSTM网络的激活gydF4y2Ba。gydF4y2Ba

LSTM层架构gydF4y2Ba

这个图表说明了时间序列的流动gydF4y2BaXgydF4y2Ba与gydF4y2BaCgydF4y2Ba特性(渠道)的长度gydF4y2Ba年代gydF4y2Ba通过一个LSTM层。在图中,gydF4y2Ba ${hgydF4y2Ba}_{tgydF4y2Ba}$ 和gydF4y2Ba ${cgydF4y2Ba}_{tgydF4y2Ba}$ 表示输出(也称为gydF4y2Ba隐藏状态gydF4y2Ba)和gydF4y2Ba细胞状态gydF4y2Ba在时间步gydF4y2BatgydF4y2Ba,分别。gydF4y2Ba

第一个LSTM块使用网络的初始状态和第一次步骤序列的计算第一个输出和更新的细胞状态。在时间步gydF4y2BatgydF4y2Ba块,使用网络的当前状态gydF4y2Ba $(gydF4y2Ba {cgydF4y2Ba}_{tgydF4y2Ba -gydF4y2Ba 1gydF4y2Ba},gydF4y2Ba {hgydF4y2Ba}_{tgydF4y2Ba -gydF4y2Ba 1gydF4y2Ba})gydF4y2Ba$ 和下一个时间步长序列的计算和更新的细胞状态的输出gydF4y2Ba ${cgydF4y2Ba}_{tgydF4y2Ba}$ 。gydF4y2Ba

的层包含的状态gydF4y2Ba隐藏状态gydF4y2Ba(也被称为gydF4y2Ba输出状态gydF4y2Ba)和gydF4y2Ba细胞状态gydF4y2Ba。在时间步隐藏的状态gydF4y2BatgydF4y2Ba包含LSTM层的输出时间步。细胞状态包含信息从上一次的步骤。在每个时间步,图层添加或删除信息从细胞状态。层控制这些更新使用gydF4y2Ba盖茨gydF4y2Ba。gydF4y2Ba

以下组件控制层的细胞状态和隐藏状态。gydF4y2Ba

组件gydF4y2Ba	目的gydF4y2Ba
输入门(gydF4y2Ba我gydF4y2Ba)gydF4y2Ba	控制水平的细胞状态更新gydF4y2Ba
忘记门(gydF4y2BafgydF4y2Ba)gydF4y2Ba	控制水平的细胞状态重置(忘记)gydF4y2Ba
细胞的候选人(gydF4y2BaggydF4y2Ba)gydF4y2Ba	添加信息到细胞状态gydF4y2Ba
输出门(gydF4y2BaogydF4y2Ba)gydF4y2Ba	控制水平的细胞状态添加到隐藏状态gydF4y2Ba

这个图表说明了在时间步的数据流gydF4y2BatgydF4y2Ba。图中突显出盖茨忘记,更新和输出单元和隐状态。gydF4y2Ba

的可学的权重LSTM层输入权重gydF4y2BaWgydF4y2Ba(gydF4y2BaInputWeightsgydF4y2Ba),复发性权重gydF4y2BaRgydF4y2Ba(gydF4y2BaRecurrentWeightsgydF4y2Ba)和偏见gydF4y2BabgydF4y2Ba(gydF4y2Ba偏见gydF4y2Ba)。的矩阵gydF4y2BaWgydF4y2Ba,gydF4y2BaRgydF4y2Ba,gydF4y2BabgydF4y2Ba输入权重的串连,经常性的权重,分别和每个组件的偏见。这些矩阵连接如下:gydF4y2Ba

$WgydF4y2Ba =gydF4y2Ba (gydF4y2Ba \begin{matrix} {WgydF4y2Ba}_{我gydF4y2Ba} \\ {WgydF4y2Ba}_{fgydF4y2Ba} \\ {WgydF4y2Ba}_{ggydF4y2Ba} \\ {WgydF4y2Ba}_{ogydF4y2Ba} \end{matrix}]gydF4y2Ba,gydF4y2Ba RgydF4y2Ba =gydF4y2Ba (gydF4y2Ba \begin{matrix} {RgydF4y2Ba}_{我gydF4y2Ba} \\ {RgydF4y2Ba}_{fgydF4y2Ba} \\ {RgydF4y2Ba}_{ggydF4y2Ba} \\ {RgydF4y2Ba}_{ogydF4y2Ba} \end{matrix}]gydF4y2Ba,gydF4y2Ba bgydF4y2Ba =gydF4y2Ba (gydF4y2Ba \begin{matrix} {bgydF4y2Ba}_{我gydF4y2Ba} \\ {bgydF4y2Ba}_{fgydF4y2Ba} \\ {bgydF4y2Ba}_{ggydF4y2Ba} \\ {bgydF4y2Ba}_{ogydF4y2Ba} \end{matrix}]gydF4y2Ba,gydF4y2Ba$

在哪里gydF4y2Ba我gydF4y2Ba,gydF4y2BafgydF4y2Ba,gydF4y2BaggydF4y2Ba,gydF4y2BaogydF4y2Ba表示输入门,忘记门,细胞的候选人,分别和输出门。gydF4y2Ba

在时间步细胞状态gydF4y2BatgydF4y2Ba是由gydF4y2Ba

${cgydF4y2Ba}_{tgydF4y2Ba} =gydF4y2Ba {fgydF4y2Ba}_{tgydF4y2Ba} ⊙gydF4y2Ba {cgydF4y2Ba}_{tgydF4y2Ba -gydF4y2Ba 1gydF4y2Ba} +gydF4y2Ba {我gydF4y2Ba}_{tgydF4y2Ba} ⊙gydF4y2Ba {ggydF4y2Ba}_{tgydF4y2Ba},gydF4y2Ba$

在哪里gydF4y2Ba $⊙gydF4y2Ba$ 表示阿达玛产品(element-wise向量的乘法)。gydF4y2Ba

在时间步隐藏的状态gydF4y2BatgydF4y2Ba是由gydF4y2Ba

${hgydF4y2Ba}_{tgydF4y2Ba} =gydF4y2Ba {ogydF4y2Ba}_{tgydF4y2Ba} ⊙gydF4y2Ba {σgydF4y2Ba}_{cgydF4y2Ba} (gydF4y2Ba {cgydF4y2Ba}_{tgydF4y2Ba})gydF4y2Ba,gydF4y2Ba$

在哪里gydF4y2Ba ${σgydF4y2Ba}_{cgydF4y2Ba}$ 表示状态的激活函数。的gydF4y2BalstmLayergydF4y2Ba函数,默认情况下,使用双曲正切函数(双曲正切)计算状态激活函数。gydF4y2Ba

下面的公式描述的组件在时间步gydF4y2BatgydF4y2Ba。gydF4y2Ba

组件gydF4y2Ba	公式gydF4y2Ba
输入门gydF4y2Ba	${我gydF4y2Ba}_{tgydF4y2Ba} =gydF4y2Ba {σgydF4y2Ba}_{ggydF4y2Ba} (gydF4y2Ba {WgydF4y2Ba}_{我gydF4y2Ba} {xgydF4y2Ba}_{tgydF4y2Ba} +gydF4y2Ba {RgydF4y2Ba}_{我gydF4y2Ba} {hgydF4y2Ba}_{tgydF4y2Ba -gydF4y2Ba 1gydF4y2Ba} +gydF4y2Ba {bgydF4y2Ba}_{我gydF4y2Ba})gydF4y2Ba$
忘记门gydF4y2Ba	${fgydF4y2Ba}_{tgydF4y2Ba} =gydF4y2Ba {σgydF4y2Ba}_{ggydF4y2Ba} (gydF4y2Ba {WgydF4y2Ba}_{fgydF4y2Ba} {xgydF4y2Ba}_{tgydF4y2Ba} +gydF4y2Ba {RgydF4y2Ba}_{fgydF4y2Ba} {hgydF4y2Ba}_{tgydF4y2Ba -gydF4y2Ba 1gydF4y2Ba} +gydF4y2Ba {bgydF4y2Ba}_{fgydF4y2Ba})gydF4y2Ba$
细胞的候选人gydF4y2Ba	${ggydF4y2Ba}_{tgydF4y2Ba} =gydF4y2Ba {σgydF4y2Ba}_{cgydF4y2Ba} (gydF4y2Ba {WgydF4y2Ba}_{ggydF4y2Ba} {xgydF4y2Ba}_{tgydF4y2Ba} +gydF4y2Ba {RgydF4y2Ba}_{ggydF4y2Ba} {hgydF4y2Ba}_{tgydF4y2Ba -gydF4y2Ba 1gydF4y2Ba} +gydF4y2Ba {bgydF4y2Ba}_{ggydF4y2Ba})gydF4y2Ba$
输出门gydF4y2Ba	${ogydF4y2Ba}_{tgydF4y2Ba} =gydF4y2Ba {σgydF4y2Ba}_{ggydF4y2Ba} (gydF4y2Ba {WgydF4y2Ba}_{ogydF4y2Ba} {xgydF4y2Ba}_{tgydF4y2Ba} +gydF4y2Ba {RgydF4y2Ba}_{ogydF4y2Ba} {hgydF4y2Ba}_{tgydF4y2Ba -gydF4y2Ba 1gydF4y2Ba} +gydF4y2Ba {bgydF4y2Ba}_{ogydF4y2Ba})gydF4y2Ba$

在这些计算,gydF4y2Ba ${σgydF4y2Ba}_{ggydF4y2Ba}$ 表示门激活函数。的gydF4y2BalstmLayergydF4y2Ba函数,默认情况下,使用乙状结肠函数给出的gydF4y2Ba $σgydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba =gydF4y2Ba {(gydF4y2Ba 1gydF4y2Ba +gydF4y2Ba {egydF4y2Ba}^{-gydF4y2Ba xgydF4y2Ba})gydF4y2Ba}^{-gydF4y2Ba 1gydF4y2Ba}$ 计算门激活函数。gydF4y2Ba