gruLayer
封闭的复发性单元(格勒乌)层递归神经网络(RNN)
自从R2020a
描述
格勒乌层是一个RNN层,学习时间步骤时间序列和序列数据之间的依赖关系。
创建
描述
层= gruLayer (numHiddenUnits)
创建一个格勒乌层和设置NumHiddenUnits财产。
层= gruLayer (numHiddenUnits,名称,值)
设置额外的OutputMode,激活,状态,参数和初始化,学习速率、正规化,的名字使用一个或多个名称-值对参数属性。您可以指定多个参数名称-值对。在报价附上每个属性的名字。
属性
格勒乌
NumHiddenUnits
- - - - - -<年代pan itemprop="purpose">隐藏的数量单位
正整数
这个属性是只读的。
隐藏的数量单位(也称为隐藏的大小),指定为一个正整数。
隐藏的数量单位对应的信息量之间的层记得时间步骤(隐藏状态)。隐藏的状态可以包含信息从前面所有的时间步骤,不管序列长度。如果隐藏单位的数量太大,然后层可能overfit训练数据。
隐藏的状态不限制时间的数量层过程在一个迭代的步骤。将你的序列分割成更小的序列,当你使用trainNetwork功能,使用SequenceLength培训的选择。
层输出数据NumHiddenUnits频道。
数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64
OutputMode
- - - - - -<年代pan itemprop="purpose">输出模式
“序列”
(默认)|<年代pan itemprop="inputvalue">“最后一次”
这个属性是只读的。
输出模式,指定这些值之一:
“序列”——输出完整的序列。
“最后一次”——输出序列的最后一次一步。
HasStateInputs
- - - - - -<年代pan itemprop="purpose">为输入层
0(假)(默认)|<年代pan itemprop="inputvalue">1(真正的)
国旗的国家输入层,指定为1(真正的)或0(假)。
如果HasStateInputs属性是0(假),然后有一个输入层的名字“在”,对应于输入数据。在这种情况下,层使用HiddenState属性层操作。
如果HasStateInputs属性是1(真正的),然后有两个输入层的名字“在”和“隐藏”对应于输入数据和隐藏状态,分别。在这种情况下,层使用的值传递给这些输入层操作。如果HasStateInputs是1(真正的),然后HiddenState属性必须是空的。
HasStateOutputs
- - - - - -<年代pan itemprop="purpose">国旗的国家输出层
0(假)(默认)|<年代pan itemprop="inputvalue">1(真正的)
国旗的国家输出层,指定为真正的或假。
如果HasStateOutputs属性是0(假),然后有一个输出层的名字“出”对应的输出数据。
如果HasStateOutputs属性是1(真正的),然后用名字层有两个输出“出”和“隐藏”对应的输出数据和隐藏状态,分别。在这种情况下,一层一层也输出状态值计算在操作。
ResetGateMode
- - - - - -<年代pan itemprop="purpose">重置门模式
“after-multiplication”
(默认)|<年代pan itemprop="inputvalue">“before-multiplication”
|<年代pan itemprop="inputvalue">“recurrent-bias-after-multiplication”
重置门模式下,指定为以下之一:
“after-multiplication”——申请重置门后的矩阵乘法。这个选项是cuDNN兼容。
“before-multiplication”——申请重置门之前矩阵乘法。
“recurrent-bias-after-multiplication”——申请重置门后矩阵乘法和使用一组额外的偏见条款复发性权重。
更多信息重置门计算,看看封闭的复发性单元层。
R2023a之前:dlnetwork对象支持格勒乌层金宝appResetGateMode设置为“after-multiplication”只有。
InputSize
- - - - - -<年代pan itemprop="purpose">输入的大小
“汽车”
(默认)|<年代pan itemprop="inputvalue">正整数
这个属性是只读的。
输入大小,指定为一个正整数或“汽车”。如果InputSize是“汽车”软件自动分配,然后输入大小在训练时间。
数据类型:双|字符
激活
StateActivationFunction
- - - - - -<年代pan itemprop="purpose">激活函数来更新隐藏状态
的双曲正切
(默认)|<年代pan itemprop="inputvalue">“softsign”
激活函数来更新隐藏状态,指定为以下之一:
的双曲正切-使用双曲正切函数(双曲正切)。
“softsign”——使用softsign函数<年代pan class="inlineequation">
。
层使用这个选项作为函数<年代pan class="inlineequation">
在计算更新隐藏状态。
GateActivationFunction
- - - - - -<年代pan itemprop="purpose">激活函数适用于盖茨
“乙状结肠”
(默认)|<年代pan itemprop="inputvalue">“hard-sigmoid”
这个属性是只读的。
激活函数适用于盖茨,指定这些值之一:
“乙状结肠”——使用s形的函数<年代pan class="inlineequation">
。
“hard-sigmoid”——使用硬乙状结肠函数
层使用这个选项作为函数<年代pan class="inlineequation">
在计算层门。
状态
HiddenState
- - - - - -<年代pan itemprop="purpose">隐藏状态
[]
(默认)|<年代pan itemprop="inputvalue">数值向量
隐藏的状态使用层操作,指定为一个NumHiddenUnits1数字向量。这个值对应于初始数据传递给层时隐藏状态。
手动设置该属性后,调用resetState函数设置隐藏状态到这个值。
如果HasStateInputs是1(真正的),然后HiddenState属性必须是空的。
数据类型:单|双
参数和初始化
InputWeightsInitializer
- - - - - -<年代pan itemprop="purpose">函数来初始化输入权重
“glorot”
(默认)|<年代pan itemprop="inputvalue">“他”
|<年代pan itemprop="inputvalue">“正交”
|<年代pan itemprop="inputvalue">“narrow-normal”|<年代pan itemprop="inputvalue">“零”|<年代pan itemprop="inputvalue">“的”|<年代pan itemprop="inputvalue">函数处理
函数初始化输入重量、指定为以下之一:
“glorot”——初始化输入权重Glorot初始值设定项[2](也称为Xavier初始化)。Glorot初始化样本独立均匀分布与零均值和方差2 / (InputSize + numOut),在那里numOut = 3 * NumHiddenUnits。
“他”——初始化输入权重的初始值设定项[3]。他初始化样本正态分布与零均值和方差2 / InputSize。
“正交”——初始化输入权重问正交矩阵的QR分解Z=问R对于一个随机矩阵Z抽样单位正态分布。[4]
“narrow-normal”——初始化输入权重独立抽样从正态分布与零均值和标准偏差0.01。
“零”——初始化输入权重与零。
“的”——初始化输入权重的。
函数处理——初始化输入自定义函数的权重。如果你指定一个函数处理,那么必须表单的功能重量= func(深圳),在那里深圳是输入权重的大小。
层时才初始化输入权重InputWeights属性是空的。
数据类型:字符|字符串|function_handle
RecurrentWeightsInitializer
- - - - - -<年代pan itemprop="purpose">函数来初始化权重复发
“正交”
(默认)|<年代pan itemprop="inputvalue">“glorot”
|<年代pan itemprop="inputvalue">“他”
|<年代pan itemprop="inputvalue">“narrow-normal”|<年代pan itemprop="inputvalue">“零”|<年代pan itemprop="inputvalue">“的”|<年代pan itemprop="inputvalue">函数处理
初始化函数周期性的权重,指定为以下之一:
“正交”——初始化权重与复发问正交矩阵的QR分解Z=问R对于一个随机矩阵Z抽样单位正态分布。[4]
“glorot”——初始化复发与Glorot初始化权重[2](也称为Xavier初始化)。Glorot初始化样本独立均匀分布与零均值和方差2 / (numIn + numOut),在那里numIn = NumHiddenUnits和numOut = 3 * NumHiddenUnits。
“他”——初始化权重与复发他初始化[3]。他初始化样本正态分布与零均值和方差2 / NumHiddenUnits。
“narrow-normal”——初始化复发的独立抽样权重正态分布与零均值和标准偏差0.01。
“零”——初始化复发与零权重。
“的”——初始化权重复发的。
函数处理,用自定义函数初始化权重复发。如果你指定一个函数处理,那么必须表单的功能重量= func(深圳),在那里深圳是复发性权重的大小。
层只初始化时的复发性权重RecurrentWeights属性是空的。
数据类型:字符|字符串|function_handle
BiasInitializer
- - - - - -<年代pan itemprop="purpose">函数来初始化倾向
“零”
(默认)|<年代pan itemprop="inputvalue">“narrow-normal”
|<年代pan itemprop="inputvalue">“的”
|<年代pan itemprop="inputvalue">函数处理
函数初始化倾向,指定为以下之一:
0的——初始化与零偏差。
“narrow-normal”——初始化倾向独立抽样从正态分布与零均值和标准偏差0.01。
“的”——初始化倾向。
函数处理与自定义函数——初始化倾向。如果你指定一个函数处理,那么必须表单的功能偏见= func(深圳),在那里深圳偏差的大小。
层时才初始化倾向偏见属性是空的。
数据类型:字符|字符串|function_handle
InputWeights
- - - - - -<年代pan itemprop="purpose">输入重量
[]
(默认)|<年代pan itemprop="inputvalue">矩阵
输入权值,指定为一个矩阵。
输入权重矩阵是一个连接的三个输入权重矩阵格勒乌中的组件层。三个矩阵是垂直连接的按照以下顺序:
重设门
更新门
候选人的状态
输入权重可学的参数。当你训练一个神经网络使用trainNetwork功能,如果InputWeights非空的,那么软件使用InputWeights属性的初始值。如果InputWeights是空的,那么软件使用初始化器指定的InputWeightsInitializer。
在培训时,InputWeights是一个3 * NumHiddenUnits——- - - - - -InputSize矩阵。
RecurrentWeights
- - - - - -<年代pan itemprop="purpose">复发性权重
[]
(默认)|<年代pan itemprop="inputvalue">矩阵
经常性的权重,指定为一个矩阵。
复发性权重矩阵的连接三个复发性权重矩阵格勒乌中的组件层。这三个矩阵是垂直连接按照以下顺序:
重设门
更新门
候选人的状态
复发性权重可学的参数。当你训练一个RNN使用trainNetwork功能,如果RecurrentWeights非空的,那么软件使用RecurrentWeights属性的初始值。如果RecurrentWeights是空的,那么软件使用初始化器指定的RecurrentWeightsInitializer。
在训练时间RecurrentWeights是一个3 * NumHiddenUnits——- - - - - -NumHiddenUnits矩阵。
偏见
- - - - - -<年代pan itemprop="purpose">层的偏见
[]
(默认)|<年代pan itemprop="inputvalue">数值向量
一层一层格勒乌的偏见,指定为一个数值向量。
如果ResetGateMode是“after-multiplication”或“before-multiplication”,然后偏差三个偏差向量的向量是一个串联的组件格勒乌层。按照以下顺序三个向量是垂直连接的:
重设门
更新门
候选人的状态
在这种情况下,在培训时,偏见是一个3 * NumHiddenUnits1数字向量。
如果ResetGateMode是recurrent-bias-after-multiplication”,那么偏见六偏差向量的向量是一个串联的组件格勒乌层。六个向量是垂直连接按照以下顺序:
重设门
更新门
候选人的状态
重置门(复发性偏见)
更新门(复发性偏见)
候选人状态(复发性偏见)
在这种情况下,在培训时,偏见是一个6 * NumHiddenUnits1数字向量。
层偏差是可学的参数。当你训练一个神经网络,如果偏见非空的,那么trainNetwork使用偏见属性的初始值。如果偏见是空的,然后trainNetwork使用指定的初始化程序BiasInitializer。
更多信息重置门计算,看看封闭的复发性单元层。
学习速率、正规化
InputWeightsLearnRateFactor
- - - - - -<年代pan itemprop="purpose">学习速率因子输入权重
1(默认)|<年代pan itemprop="inputvalue">数字标量|<年代pan itemprop="inputvalue">1×3数值向量
学习速率因子输入权值,指定为数字标量或1×3数值向量。
软件由全球学习速率繁殖这个因素来确定输入的学习速率因子层的权重。例如,如果InputWeightsLearnRateFactor是2,然后输入的学习速率因子层的权重是当前全球学习速率的两倍。全球软件决定了学习速率根据你指定的设置trainingOptions函数。
的值来控制三个个体的学习速率因子矩阵InputWeights,指定1×3向量。的条目InputWeightsLearnRateFactor对应的学习速率因子:
重设门
更新门
候选人的状态
为所有的矩阵指定相同的值,指定一个负的标量。
例子:2
例子:(1 2)
RecurrentWeightsLearnRateFactor
- - - - - -<年代pan itemprop="purpose">反复的学习速率因素权重
1(默认)|<年代pan itemprop="inputvalue">数字标量|<年代pan itemprop="inputvalue">1×3数值向量
反复的学习速率因素权重,指定为数字标量或1×3数值向量。
软件由全球学习速率繁殖这个因素来确定学习速率的复发性层的权重。例如,如果RecurrentWeightsLearnRateFactor是2,然后反复的学习速率层的权重是当前全球学习速率的两倍。全球学习速率决定了基于的软件设置您指定使用trainingOptions函数。
的值来控制三个个体的学习速率因子矩阵RecurrentWeights,指定1×3向量。的条目RecurrentWeightsLearnRateFactor对应的学习速率因子:
重设门
更新门
候选人的状态
为所有的矩阵指定相同的值,指定一个负的标量。
例子:2
例子:(1 2)
BiasLearnRateFactor
- - - - - -<年代pan itemprop="purpose">学习速率因子偏见
1(默认)|<年代pan itemprop="inputvalue">负的标量|<年代pan itemprop="inputvalue">1×3数值向量
学习速率因子的偏见,指定为负的标量或1×3数值向量。
软件由全球学习速率繁殖这个因素来确定学习速率的偏见在这一层。例如,如果BiasLearnRateFactor是2,那么学习速率的偏见层是当前全球学习速率的两倍。全球学习速率决定了基于的软件设置您指定使用trainingOptions函数。
控制学习速率的价值因素三个独立的向量偏见,指定1×3向量。的条目BiasLearnRateFactor对应的学习速率因子:
重设门
更新门
候选人的状态
如果ResetGateMode是“recurrent-bias-after-multiplication”的软件使用相同的向量,然后反复偏差向量。
为所有的向量指定相同的值,指定一个负的标量。
例子:2
例子:(1 2)
InputWeightsL2Factor
- - - - - -<年代pan itemprop="purpose">L2正则化因子输入权重
1(默认)|<年代pan itemprop="inputvalue">数字标量|<年代pan itemprop="inputvalue">1×3数值向量
L2正则化因子的输入权值,指定为数字标量或1×3数值向量。
全球的软件增加这个因素l<年代ub>2正则化因子来确定l<年代ub>2正则化因子输入层的权重。例如,如果InputWeightsL2Factor是2,那么l<年代ub>2正则化因子为输入层的权重是当前全球的两倍l<年代ub>2正则化因子。软件确定l<年代ub>2正则化因子的基础上,设置您指定使用trainingOptions函数。
控制L2正规化的价值因素三个个人矩阵InputWeights,指定1×3向量。的条目InputWeightsL2Factor对应的L2正则化因子:
重设门
更新门
候选人的状态
为所有的矩阵指定相同的值,指定一个负的标量。
例子:2
例子:(1 2)
RecurrentWeightsL2Factor
- - - - - -<年代pan itemprop="purpose">复发性权重的L2正则化因素
1(默认)|<年代pan itemprop="inputvalue">数字标量|<年代pan itemprop="inputvalue">1×3数值向量
复发性权重L2正则化因子,指定为数字标量或1×3数值向量。
全球的软件增加这个因素l<年代ub>2正则化因子来确定l<年代ub>2正则化因子的复发性层的权重。例如,如果RecurrentWeightsL2Factor是2,那么l<年代ub>2正则化因子的复发性权重层是当前全球的两倍l<年代ub>2正则化因子。软件确定l<年代ub>2正则化因子的基础上,设置您指定使用trainingOptions函数。
控制L2正规化的价值因素三个个人矩阵RecurrentWeights,指定1×3向量。的条目RecurrentWeightsL2Factor对应的L2正则化因子:
重设门
更新门
候选人的状态
为所有的矩阵指定相同的值,指定一个负的标量。
例子:2
例子:(1 2)
BiasL2Factor
- - - - - -<年代pan itemprop="purpose">偏见的L2正则化因素
0(默认)|<年代pan itemprop="inputvalue">负的标量|<年代pan itemprop="inputvalue">1×3数值向量
L2正则化因子的偏见,指定为负的标量或1×3数值向量。
全球的软件增加这个因素l<年代ub>2正则化因子来确定l<年代ub>2在这一层正规化的偏见。例如,如果BiasL2Factor是2,那么l<年代ub>2正规化的偏见这一层是全球的两倍l<年代ub>2正则化因子。决定了全球的软件l<年代ub>2正则化因子的基础上,设置您指定使用trainingOptions函数。
控制个人L2正则化因子的值向量偏见,指定1×3向量。的条目BiasL2Factor对应的L2正则化因子:
重设门
更新门
候选人的状态
如果ResetGateMode是“recurrent-bias-after-multiplication”的软件使用相同的向量,然后反复偏差向量。
为所有的向量指定相同的值,指定一个负的标量。
例子:2
例子:(1 2)
层
的名字
- - - - - -<年代pan itemprop="purpose">层的名字
”
(默认)|<年代pan itemprop="inputvalue">特征向量|<年代pan itemprop="inputvalue">字符串标量
图层名称,指定为一个特征向量或字符串标量。为层数组输入,trainNetwork,assembleNetwork,layerGraph,dlnetwork函数自动分配名称层的名称”。
数据类型:字符|字符串
NumInputs
- - - - - -<年代pan itemprop="purpose">输入数量
1
|<年代pan itemprop="inputvalue">2
输入层的数量。
如果HasStateInputs属性是0(假),然后有一个输入层的名字“在”,对应于输入数据。在这种情况下,层使用HiddenState属性层操作。
如果HasStateInputs属性是1(真正的),然后有两个输入层的名字“在”和“隐藏”对应于输入数据和隐藏状态,分别。在这种情况下,层使用的值传递给这些输入层操作。如果HasStateInputs是1(真正的),然后HiddenState属性必须是空的。
数据类型:双
InputNames
- - - - - -<年代pan itemprop="purpose">输入名字
{'在'}
|<年代pan itemprop="inputvalue">{“在”、“隐藏”}
输入层的名称。
如果HasStateInputs属性是0(假),然后有一个输入层的名字“在”,对应于输入数据。在这种情况下,层使用HiddenState属性层操作。
如果HasStateInputs属性是1(真正的),然后有两个输入层的名字“在”和“隐藏”对应于输入数据和隐藏状态,分别。在这种情况下,层使用的值传递给这些输入层操作。如果HasStateInputs是1(真正的),然后HiddenState属性必须是空的。
NumOutputs
- - - - - -<年代pan itemprop="purpose">数量的输出
1
|<年代pan itemprop="inputvalue">2
输出层的数量。
如果HasStateOutputs属性是0(假),然后有一个输出层的名字“出”对应的输出数据。
如果HasStateOutputs属性是1(真正的),然后用名字层有两个输出“出”和“隐藏”对应的输出数据和隐藏状态,分别。在这种情况下,一层一层也输出状态值计算在操作。
数据类型:双
OutputNames
- - - - - -<年代pan itemprop="purpose">输出的名字
{“出”}
|<年代pan itemprop="inputvalue">{‘出来’,‘隐藏’}
输出层的名称。
如果HasStateOutputs属性是0(假),然后有一个输出层的名字“出”对应的输出数据。
如果HasStateOutputs属性是1(真正的),然后用名字层有两个输出“出”和“隐藏”对应的输出数据和隐藏状态,分别。在这种情况下,一层一层也输出状态值计算在操作。
例子
创建格勒乌层
创建一个格勒乌层的名称“gru1”和100年隐藏的单位。
层= gruLayer (100<年代pan style="color:#A020F0">“名字”,<年代pan style="color:#A020F0">“gru1”)
层= GRULayer属性:名称:“gru1”InputNames: {’’} OutputNames:{“出”}NumInputs: 1 NumOutputs: 1 HasStateInputs: 0 HasStateOutputs: 0 Hyperparameters InputSize:“汽车”NumHiddenUnits: 100 OutputMode:“序列”StateActivationFunction:“双曲正切GateActivationFunction:乙状结肠的ResetGateMode:‘after-multiplication InputWeights可学的参数:[]RecurrentWeights:[]偏见:[]HiddenState状态参数:[]显示所有属性
在一个包括格勒乌层层数组中。
inputSize = 12;numHiddenUnits = 100;numClasses = 9;层= [<年代pan style="color:#0000FF">…sequenceInputLayer (inputSize) gruLayer (numHiddenUnits) fullyConnectedLayer (numClasses) softmaxLayer classificationLayer]
层x1 = 5层阵列层:1“12维度2序列输入序列输入”格勒乌格鲁100隐藏单位3“完全连接9完全连接层4”Softmax Softmax crossentropyex 5”分类输出
算法
封闭的复发性单元层
格勒乌层是一个RNN层,学习时间步骤时间序列和序列数据之间的依赖关系。
的<年代pan class="emphasis">隐藏状态在时间步的层t包含这一次的格勒乌的输出层的步骤。在每个时间步,图层添加或删除信息。层控制这些更新使用<年代pan class="emphasis">盖茨。
以下组件控制层的隐藏状态。
组件
目的
重置门(r)
控制水平的状态重置
更新门(z)
控制水平的状态更新
候选人状态(<年代pan class="inlineequation">
)
更新添加到隐藏状态的控制水平
格勒乌层的权重可学的是输入权重W(InputWeights),复发性权重R(RecurrentWeights)和偏见b(偏见)。如果ResetGateMode属性是“recurrent-bias-after-multiplication”,然后门状态计算需要两套的偏差值。的矩阵W和R串连的输入权重和每个组件的复发性权重,分别。这些矩阵连接如下:
在哪里r,z,<年代pan class="inlineequation">
表示重启门、更新门,分别和候选人的状态。
取决于偏差向量ResetGateMode财产。如果ResetGateMode是“after-multiplication”或“before-multiplication”,然后偏差三个向量的向量是一个连接:
其中下标W表明这是偏见对应输入加权乘法。
如果ResetGateMode是“recurrent-bias-after-multiplication”,然后偏差向量是一个串联的六个向量:
其中下标R表明这是复发性偏差对应权重乘法。
在时间步隐藏的状态t是由
下面的公式描述的组件在时间步t。
组件
ResetGateMode
公式
重设门
“after-multiplication”
“before-multiplication”
“recurrent-bias-after-multiplication”
更新门
“after-multiplication”
“before-multiplication”
“recurrent-bias-after-multiplication”
候选人的状态
“after-multiplication”
“before-multiplication”
“recurrent-bias-after-multiplication”
在这些计算,<年代pan class="inlineequation">
和<年代pan class="inlineequation">
分别表示门和状态激活功能。的gruLayer函数,默认情况下,使用乙状结肠函数给出的<年代pan class="inlineequation">
计算门激活函数和双曲正切函数(双曲正切)计算状态激活函数。指定国家和门激活函数,使用StateActivationFunction和GateActivationFunction属性,分别。
层的输入和输出格式
层一层一层数组或图后续层传递数据格式化dlarray对象。的格式dlarray对象是一个字符串,其中每个字符描述相应的维度的数据。这些字符的格式由一个或多个:
“S”——空间
“C”——频道
“B”——批
“T”——时间
“U”——未指明的
例如,二维图像数据表示成一个四维数组,第一个二维对应于图像的空间维度,第三维对应于图像的通道,第四个维度对应批维度,可以被描述为有格式“SSCB”(空间、空间、通道、批)。
你可以与这些交互dlarray对象等自动分化工作流开发一个自定义图层,使用functionLayer对象,或使用向前和预测功能与dlnetwork对象。
此表显示了支持输入格式金宝appGRULayer对象和相应的输出格式。如果输出层的传递给一个定制的层不继承nnet.layer.Formattable类,或FunctionLayer对象的Formattable属性设置为0(假),然后层接收未格式化dlarray对象的尺寸要求相应的这个表的格式。
输入格式
OutputMode
输出格式
“CB”(通道、批处理)
“序列”
“CB”(通道、批处理)
“最后一次”
“认知行为治疗”(通道、批量、时间)
“序列”
“认知行为治疗”(通道、批量、时间)
“最后一次”
“CB”(通道、批处理)
“某人”(空间、批处理)
“序列”
“CB”(通道、批处理)
“最后一次”
在dlnetwork对象,GRULayer对象也支持这些输入和输出格金宝app式的组合。
输入格式
OutputMode
输出格式
“渣打银行”(空间、通道、批处理)
“序列”
“CB”(通道、批处理)
“最后一次”
“SSCB”(空间、空间、通道、批处理)
“序列”
“最后一次”
“SSSCB”(空间、空间、空间、通道、批处理)
“序列”
“最后一次”
“SCBT”(空间、通道、批量、时间)
“序列”
“认知行为治疗”(通道、批量、时间)
“最后一次”
“CB”(通道、批处理)
“SSCBT”(空间、空间、通道、批处理时间)
“序列”
“认知行为治疗”(通道、批量、时间)
“最后一次”
“CB”(通道、批处理)
“SSSCBT”(空间、空间、空间、通道、批处理时间)
“序列”
“认知行为治疗”(通道、批量、时间)
“最后一次”
“CB”(通道、批处理)
“SC”(空间、通道)
“序列”
“铜”(未指明的通道)
“最后一次”
“SSC”(空间、空间、通道)
“序列”
“最后一次”
“SSSC”(空间、空间、空间、通道)
“序列”
“最后一次”
“CT”(通道、时间)
“序列”
“CT”(通道、时间)
“最后一次”
“铜”(未指明的通道)
“SCT”(空间、通道、时间)
“序列”
“CT”(通道、时间)
“最后一次”
“铜”(未指明的通道)
“SSCT”(空间、空间、通道、时间)
“序列”
“CT”(通道、时间)
“最后一次”
“铜”(未指明的通道)
“SSSCT”(空间、空间、通道、时间)
“序列”
“CT”(通道、时间)
“最后一次”
“铜”(未指明的通道)
“单边带”(空间、空间、批处理)
“序列”
“CB”(通道、批处理)
“最后一次”
“SSSB”(空间、空间、空间、批处理)
“序列”
“最后一次”
“转基因”(批量、时间)
“序列”
“认知行为治疗”(通道、批量、时间)
“最后一次”
“CB”(通道、批处理)
“SBT”(空间、批量、时间)
“序列”
“认知行为治疗”(通道、批量、时间)
“最后一次”
“CB”(通道、批处理)
“名为SSBT”(空间、空间、批量、时间)
“序列”
“认知行为治疗”(通道、批量、时间)
“最后一次”
“CB”(通道、批处理)
“SSSBT”(空间、空间、空间、批处理时间)
“序列”
“认知行为治疗”(通道、批量、时间)
“最后一次”
“CB”(通道、批处理)
使用这些输入格式trainNetwork工作流转换数据“CB”(通道、批处理)“认知行为治疗”(通道、批量、时间)格式使用flattenLayer。
如果HasStateInputs属性是1(真正的),然后层有两个额外的输入名称“隐藏”和“细胞”,隐藏状态和细胞状态相对应,分别。这些额外的输入期望的输入格式“CB”(频道,批处理)。
如果HasStateOutputs属性是1(真正的),然后用名字层有两个额外的输出“隐藏”和“细胞”,隐藏状态和细胞状态相对应,分别。这些额外的输出输出格式“CB”(频道,批处理)。
引用
[1]曹、Kyunghyun Bart Van Merrienboer卡Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, Yoshua Bengio。“学习使用短语表示RNN encoder-decoder统计机器翻译。”arXiv预印本arXiv: 1406.1078(2014)。
[2]Glorot,泽维尔,Yoshua Bengio。“理解的难度训练前馈神经网络。”在《十三人工智能国际会议上和统计,249 - 356。意大利撒丁岛:AISTATS, 2010。https://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf
[3]他开明、象屿张任Shaoqing,剑太阳。“深深入整流器:超越人类表现ImageNet分类。”在学报2015年IEEE计算机视觉国际会议,1026 - 1034。华盛顿特区:IEEE计算机视觉的社会,2015年。https://doi.org/10.1109/ICCV.2015.123
[4]萨克斯,安德鲁·M。,James L. McClelland, and Surya Ganguli. "Exact solutions to the nonlinear dynamics of learning in deep linear neural networks."arXiv预印本arXiv: 1312.6120(2013)。
扩展功能
C / c++代码生成
<年代pan class=" remove_bold add_font_color_general">生成C和c++代码使用MATLAB®编码器™。
使用笔记和限制:
对于一般的代码生成,HasStateInputs和HasStateOutputs属性必须设置为0(假)。
在生成代码与英特尔<年代up>®MKL-DNN或手臂<年代up>®计算库:
的StateActivationFunction属性必须设置为的双曲正切。
的GateActivationFunction属性必须设置为“乙状结肠”。
的ResetGateMode属性必须设置为“after-multiplication”或“recurrent-bias-after-multiplication”。
当生成通用的C / c++代码:
的ResetGateMode属性可以设置为“after-multiplication”,“before-multiplication”或“recurrent-bias-after-multiplication”。
GPU的代码生成
<年代pan class=" remove_bold add_font_color_general">生成NVIDIA的CUDA®代码®GPU使用GPU编码器™。
使用笔记和限制:
的StateActivationFunction属性必须设置为的双曲正切。
的GateActivationFunction属性必须设置为“乙状结肠”。
的ResetGateMode属性必须设置为“after-multiplication”或“recurrent-bias-after-multiplication”。
的HasStateInputs和HasStateOutputs属性必须设置为0(假)。
版本历史
介绍了R2020a
R2023a:<年代pan class="remove_bold">指定复位门格勒乌层模式dlnetwork对象
格勒乌层的dlnetwork对象,指定复位门模式下使用ResetGateMode财产。
另请参阅
trainingOptions
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">trainNetwork
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">sequenceInputLayer
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">lstmLayer
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">bilstmLayer
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">convolution1dLayer
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">maxPooling1dLayer
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">averagePooling1dLayer
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">globalMaxPooling1dLayer
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">globalAveragePooling1dLayer
封闭的复发性单元(格勒乌)层递归神经网络(RNN) 自从R2020a
描述
格勒乌层是一个RNN层,学习时间步骤时间序列和序列数据之间的依赖关系。
格勒乌层是一个RNN层,学习时间步骤时间序列和序列数据之间的依赖关系。
创建
描述
层= gruLayer (numHiddenUnits)
创建一个格勒乌层和设置NumHiddenUnits财产。
层= gruLayer (numHiddenUnits,名称,值)
设置额外的OutputMode,激活,状态,参数和初始化,学习速率、正规化,的名字使用一个或多个名称-值对参数属性。您可以指定多个参数名称-值对。在报价附上每个属性的名字。
描述
层= gruLayer (numHiddenUnits)
创建一个格勒乌层和设置NumHiddenUnits财产。
层= gruLayer (numHiddenUnits,名称,值)
设置额外的OutputMode,激活,状态,参数和初始化,学习速率、正规化,的名字使用一个或多个名称-值对参数属性。您可以指定多个参数名称-值对。在报价附上每个属性的名字。
创建一个格勒乌层和设置层
NumHiddenUnits
设置额外的层
OutputMode
的名字
属性
格勒乌
NumHiddenUnits
- - - - - -<年代pan itemprop="purpose">隐藏的数量单位
正整数
这个属性是只读的。
隐藏的数量单位(也称为隐藏的大小),指定为一个正整数。
隐藏的数量单位对应的信息量之间的层记得时间步骤(隐藏状态)。隐藏的状态可以包含信息从前面所有的时间步骤,不管序列长度。如果隐藏单位的数量太大,然后层可能overfit训练数据。
隐藏的状态不限制时间的数量层过程在一个迭代的步骤。将你的序列分割成更小的序列,当你使用trainNetwork功能,使用SequenceLength培训的选择。
层输出数据NumHiddenUnits频道。
数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64
OutputMode
- - - - - -<年代pan itemprop="purpose">输出模式
“序列”
(默认)|<年代pan itemprop="inputvalue">“最后一次”
这个属性是只读的。
输出模式,指定这些值之一:
“序列”——输出完整的序列。
“最后一次”——输出序列的最后一次一步。
HasStateInputs
- - - - - -<年代pan itemprop="purpose">为输入层
0(假)(默认)|<年代pan itemprop="inputvalue">1(真正的)
国旗的国家输入层,指定为1(真正的)或0(假)。
如果HasStateInputs属性是0(假),然后有一个输入层的名字“在”,对应于输入数据。在这种情况下,层使用HiddenState属性层操作。
如果HasStateInputs属性是1(真正的),然后有两个输入层的名字“在”和“隐藏”对应于输入数据和隐藏状态,分别。在这种情况下,层使用的值传递给这些输入层操作。如果HasStateInputs是1(真正的),然后HiddenState属性必须是空的。
HasStateOutputs
- - - - - -<年代pan itemprop="purpose">国旗的国家输出层
0(假)(默认)|<年代pan itemprop="inputvalue">1(真正的)
国旗的国家输出层,指定为真正的或假。
如果HasStateOutputs属性是0(假),然后有一个输出层的名字“出”对应的输出数据。
如果HasStateOutputs属性是1(真正的),然后用名字层有两个输出“出”和“隐藏”对应的输出数据和隐藏状态,分别。在这种情况下,一层一层也输出状态值计算在操作。
ResetGateMode
- - - - - -<年代pan itemprop="purpose">重置门模式
“after-multiplication”
(默认)|<年代pan itemprop="inputvalue">“before-multiplication”
|<年代pan itemprop="inputvalue">“recurrent-bias-after-multiplication”
重置门模式下,指定为以下之一:
“after-multiplication”——申请重置门后的矩阵乘法。这个选项是cuDNN兼容。
“before-multiplication”——申请重置门之前矩阵乘法。
“recurrent-bias-after-multiplication”——申请重置门后矩阵乘法和使用一组额外的偏见条款复发性权重。
更多信息重置门计算,看看封闭的复发性单元层。
R2023a之前:dlnetwork对象支持格勒乌层金宝appResetGateMode设置为“after-multiplication”只有。
InputSize
- - - - - -<年代pan itemprop="purpose">输入的大小
“汽车”
(默认)|<年代pan itemprop="inputvalue">正整数
这个属性是只读的。
输入大小,指定为一个正整数或“汽车”。如果InputSize是“汽车”软件自动分配,然后输入大小在训练时间。
数据类型:双|字符
激活
StateActivationFunction
- - - - - -<年代pan itemprop="purpose">激活函数来更新隐藏状态
的双曲正切
(默认)|<年代pan itemprop="inputvalue">“softsign”
激活函数来更新隐藏状态,指定为以下之一:
的双曲正切-使用双曲正切函数(双曲正切)。
“softsign”——使用softsign函数<年代pan class="inlineequation">
。
层使用这个选项作为函数<年代pan class="inlineequation">
在计算更新隐藏状态。
GateActivationFunction
- - - - - -<年代pan itemprop="purpose">激活函数适用于盖茨
“乙状结肠”
(默认)|<年代pan itemprop="inputvalue">“hard-sigmoid”
这个属性是只读的。
激活函数适用于盖茨,指定这些值之一:
“乙状结肠”——使用s形的函数<年代pan class="inlineequation">
。
“hard-sigmoid”——使用硬乙状结肠函数
层使用这个选项作为函数<年代pan class="inlineequation">
在计算层门。
状态
HiddenState
- - - - - -<年代pan itemprop="purpose">隐藏状态
[]
(默认)|<年代pan itemprop="inputvalue">数值向量
隐藏的状态使用层操作,指定为一个NumHiddenUnits1数字向量。这个值对应于初始数据传递给层时隐藏状态。
手动设置该属性后,调用resetState函数设置隐藏状态到这个值。
如果HasStateInputs是1(真正的),然后HiddenState属性必须是空的。
数据类型:单|双
参数和初始化
InputWeightsInitializer
- - - - - -<年代pan itemprop="purpose">函数来初始化输入权重
“glorot”
(默认)|<年代pan itemprop="inputvalue">“他”
|<年代pan itemprop="inputvalue">“正交”
|<年代pan itemprop="inputvalue">“narrow-normal”|<年代pan itemprop="inputvalue">“零”|<年代pan itemprop="inputvalue">“的”|<年代pan itemprop="inputvalue">函数处理
函数初始化输入重量、指定为以下之一:
“glorot”——初始化输入权重Glorot初始值设定项[2](也称为Xavier初始化)。Glorot初始化样本独立均匀分布与零均值和方差2 / (InputSize + numOut),在那里numOut = 3 * NumHiddenUnits。
“他”——初始化输入权重的初始值设定项[3]。他初始化样本正态分布与零均值和方差2 / InputSize。
“正交”——初始化输入权重问正交矩阵的QR分解Z=问R对于一个随机矩阵Z抽样单位正态分布。[4]
“narrow-normal”——初始化输入权重独立抽样从正态分布与零均值和标准偏差0.01。
“零”——初始化输入权重与零。
“的”——初始化输入权重的。
函数处理——初始化输入自定义函数的权重。如果你指定一个函数处理,那么必须表单的功能重量= func(深圳),在那里深圳是输入权重的大小。
层时才初始化输入权重InputWeights属性是空的。
数据类型:字符|字符串|function_handle
RecurrentWeightsInitializer
- - - - - -<年代pan itemprop="purpose">函数来初始化权重复发
“正交”
(默认)|<年代pan itemprop="inputvalue">“glorot”
|<年代pan itemprop="inputvalue">“他”
|<年代pan itemprop="inputvalue">“narrow-normal”|<年代pan itemprop="inputvalue">“零”|<年代pan itemprop="inputvalue">“的”|<年代pan itemprop="inputvalue">函数处理
初始化函数周期性的权重,指定为以下之一:
“正交”——初始化权重与复发问正交矩阵的QR分解Z=问R对于一个随机矩阵Z抽样单位正态分布。[4]
“glorot”——初始化复发与Glorot初始化权重[2](也称为Xavier初始化)。Glorot初始化样本独立均匀分布与零均值和方差2 / (numIn + numOut),在那里numIn = NumHiddenUnits和numOut = 3 * NumHiddenUnits。
“他”——初始化权重与复发他初始化[3]。他初始化样本正态分布与零均值和方差2 / NumHiddenUnits。
“narrow-normal”——初始化复发的独立抽样权重正态分布与零均值和标准偏差0.01。
“零”——初始化复发与零权重。
“的”——初始化权重复发的。
函数处理,用自定义函数初始化权重复发。如果你指定一个函数处理,那么必须表单的功能重量= func(深圳),在那里深圳是复发性权重的大小。
层只初始化时的复发性权重RecurrentWeights属性是空的。
数据类型:字符|字符串|function_handle
BiasInitializer
- - - - - -<年代pan itemprop="purpose">函数来初始化倾向
“零”
(默认)|<年代pan itemprop="inputvalue">“narrow-normal”
|<年代pan itemprop="inputvalue">“的”
|<年代pan itemprop="inputvalue">函数处理
函数初始化倾向,指定为以下之一:
0的——初始化与零偏差。
“narrow-normal”——初始化倾向独立抽样从正态分布与零均值和标准偏差0.01。
“的”——初始化倾向。
函数处理与自定义函数——初始化倾向。如果你指定一个函数处理,那么必须表单的功能偏见= func(深圳),在那里深圳偏差的大小。
层时才初始化倾向偏见属性是空的。
数据类型:字符|字符串|function_handle
InputWeights
- - - - - -<年代pan itemprop="purpose">输入重量
[]
(默认)|<年代pan itemprop="inputvalue">矩阵
输入权值,指定为一个矩阵。
输入权重矩阵是一个连接的三个输入权重矩阵格勒乌中的组件层。三个矩阵是垂直连接的按照以下顺序:
重设门
更新门
候选人的状态
输入权重可学的参数。当你训练一个神经网络使用trainNetwork功能,如果InputWeights非空的,那么软件使用InputWeights属性的初始值。如果InputWeights是空的,那么软件使用初始化器指定的InputWeightsInitializer。
在培训时,InputWeights是一个3 * NumHiddenUnits——- - - - - -InputSize矩阵。
RecurrentWeights
- - - - - -<年代pan itemprop="purpose">复发性权重
[]
(默认)|<年代pan itemprop="inputvalue">矩阵
经常性的权重,指定为一个矩阵。
复发性权重矩阵的连接三个复发性权重矩阵格勒乌中的组件层。这三个矩阵是垂直连接按照以下顺序:
重设门
更新门
候选人的状态
复发性权重可学的参数。当你训练一个RNN使用trainNetwork功能,如果RecurrentWeights非空的,那么软件使用RecurrentWeights属性的初始值。如果RecurrentWeights是空的,那么软件使用初始化器指定的RecurrentWeightsInitializer。
在训练时间RecurrentWeights是一个3 * NumHiddenUnits——- - - - - -NumHiddenUnits矩阵。
偏见
- - - - - -<年代pan itemprop="purpose">层的偏见
[]
(默认)|<年代pan itemprop="inputvalue">数值向量
一层一层格勒乌的偏见,指定为一个数值向量。
如果ResetGateMode是“after-multiplication”或“before-multiplication”,然后偏差三个偏差向量的向量是一个串联的组件格勒乌层。按照以下顺序三个向量是垂直连接的:
重设门
更新门
候选人的状态
在这种情况下,在培训时,偏见是一个3 * NumHiddenUnits1数字向量。
如果ResetGateMode是recurrent-bias-after-multiplication”,那么偏见六偏差向量的向量是一个串联的组件格勒乌层。六个向量是垂直连接按照以下顺序:
重设门
更新门
候选人的状态
重置门(复发性偏见)
更新门(复发性偏见)
候选人状态(复发性偏见)
在这种情况下,在培训时,偏见是一个6 * NumHiddenUnits1数字向量。
层偏差是可学的参数。当你训练一个神经网络,如果偏见非空的,那么trainNetwork使用偏见属性的初始值。如果偏见是空的,然后trainNetwork使用指定的初始化程序BiasInitializer。
更多信息重置门计算,看看封闭的复发性单元层。
学习速率、正规化
InputWeightsLearnRateFactor
- - - - - -<年代pan itemprop="purpose">学习速率因子输入权重
1(默认)|<年代pan itemprop="inputvalue">数字标量|<年代pan itemprop="inputvalue">1×3数值向量
学习速率因子输入权值,指定为数字标量或1×3数值向量。
软件由全球学习速率繁殖这个因素来确定输入的学习速率因子层的权重。例如,如果InputWeightsLearnRateFactor是2,然后输入的学习速率因子层的权重是当前全球学习速率的两倍。全球软件决定了学习速率根据你指定的设置trainingOptions函数。
的值来控制三个个体的学习速率因子矩阵InputWeights,指定1×3向量。的条目InputWeightsLearnRateFactor对应的学习速率因子:
重设门
更新门
候选人的状态
为所有的矩阵指定相同的值,指定一个负的标量。
例子:2
例子:(1 2)
RecurrentWeightsLearnRateFactor
- - - - - -<年代pan itemprop="purpose">反复的学习速率因素权重
1(默认)|<年代pan itemprop="inputvalue">数字标量|<年代pan itemprop="inputvalue">1×3数值向量
反复的学习速率因素权重,指定为数字标量或1×3数值向量。
软件由全球学习速率繁殖这个因素来确定学习速率的复发性层的权重。例如,如果RecurrentWeightsLearnRateFactor是2,然后反复的学习速率层的权重是当前全球学习速率的两倍。全球学习速率决定了基于的软件设置您指定使用trainingOptions函数。
的值来控制三个个体的学习速率因子矩阵RecurrentWeights,指定1×3向量。的条目RecurrentWeightsLearnRateFactor对应的学习速率因子:
重设门
更新门
候选人的状态
为所有的矩阵指定相同的值,指定一个负的标量。
例子:2
例子:(1 2)
BiasLearnRateFactor
- - - - - -<年代pan itemprop="purpose">学习速率因子偏见
1(默认)|<年代pan itemprop="inputvalue">负的标量|<年代pan itemprop="inputvalue">1×3数值向量
学习速率因子的偏见,指定为负的标量或1×3数值向量。
软件由全球学习速率繁殖这个因素来确定学习速率的偏见在这一层。例如,如果BiasLearnRateFactor是2,那么学习速率的偏见层是当前全球学习速率的两倍。全球学习速率决定了基于的软件设置您指定使用trainingOptions函数。
控制学习速率的价值因素三个独立的向量偏见,指定1×3向量。的条目BiasLearnRateFactor对应的学习速率因子:
重设门
更新门
候选人的状态
如果ResetGateMode是“recurrent-bias-after-multiplication”的软件使用相同的向量,然后反复偏差向量。
为所有的向量指定相同的值,指定一个负的标量。
例子:2
例子:(1 2)
InputWeightsL2Factor
- - - - - -<年代pan itemprop="purpose">L2正则化因子输入权重
1(默认)|<年代pan itemprop="inputvalue">数字标量|<年代pan itemprop="inputvalue">1×3数值向量
L2正则化因子的输入权值,指定为数字标量或1×3数值向量。
全球的软件增加这个因素l<年代ub>2正则化因子来确定l<年代ub>2正则化因子输入层的权重。例如,如果InputWeightsL2Factor是2,那么l<年代ub>2正则化因子为输入层的权重是当前全球的两倍l<年代ub>2正则化因子。软件确定l<年代ub>2正则化因子的基础上,设置您指定使用trainingOptions函数。
控制L2正规化的价值因素三个个人矩阵InputWeights,指定1×3向量。的条目InputWeightsL2Factor对应的L2正则化因子:
重设门
更新门
候选人的状态
为所有的矩阵指定相同的值,指定一个负的标量。
例子:2
例子:(1 2)
RecurrentWeightsL2Factor
- - - - - -<年代pan itemprop="purpose">复发性权重的L2正则化因素
1(默认)|<年代pan itemprop="inputvalue">数字标量|<年代pan itemprop="inputvalue">1×3数值向量
复发性权重L2正则化因子,指定为数字标量或1×3数值向量。
全球的软件增加这个因素l<年代ub>2正则化因子来确定l<年代ub>2正则化因子的复发性层的权重。例如,如果RecurrentWeightsL2Factor是2,那么l<年代ub>2正则化因子的复发性权重层是当前全球的两倍l<年代ub>2正则化因子。软件确定l<年代ub>2正则化因子的基础上,设置您指定使用trainingOptions函数。
控制L2正规化的价值因素三个个人矩阵RecurrentWeights,指定1×3向量。的条目RecurrentWeightsL2Factor对应的L2正则化因子:
重设门
更新门
候选人的状态
为所有的矩阵指定相同的值,指定一个负的标量。
例子:2
例子:(1 2)
BiasL2Factor
- - - - - -<年代pan itemprop="purpose">偏见的L2正则化因素
0(默认)|<年代pan itemprop="inputvalue">负的标量|<年代pan itemprop="inputvalue">1×3数值向量
L2正则化因子的偏见,指定为负的标量或1×3数值向量。
全球的软件增加这个因素l<年代ub>2正则化因子来确定l<年代ub>2在这一层正规化的偏见。例如,如果BiasL2Factor是2,那么l<年代ub>2正规化的偏见这一层是全球的两倍l<年代ub>2正则化因子。决定了全球的软件l<年代ub>2正则化因子的基础上,设置您指定使用trainingOptions函数。
控制个人L2正则化因子的值向量偏见,指定1×3向量。的条目BiasL2Factor对应的L2正则化因子:
重设门
更新门
候选人的状态
如果ResetGateMode是“recurrent-bias-after-multiplication”的软件使用相同的向量,然后反复偏差向量。
为所有的向量指定相同的值,指定一个负的标量。
例子:2
例子:(1 2)
层
的名字
- - - - - -<年代pan itemprop="purpose">层的名字
”
(默认)|<年代pan itemprop="inputvalue">特征向量|<年代pan itemprop="inputvalue">字符串标量
图层名称,指定为一个特征向量或字符串标量。为层数组输入,trainNetwork,assembleNetwork,layerGraph,dlnetwork函数自动分配名称层的名称”。
数据类型:字符|字符串
NumInputs
- - - - - -<年代pan itemprop="purpose">输入数量
1
|<年代pan itemprop="inputvalue">2
输入层的数量。
如果HasStateInputs属性是0(假),然后有一个输入层的名字“在”,对应于输入数据。在这种情况下,层使用HiddenState属性层操作。
如果HasStateInputs属性是1(真正的),然后有两个输入层的名字“在”和“隐藏”对应于输入数据和隐藏状态,分别。在这种情况下,层使用的值传递给这些输入层操作。如果HasStateInputs是1(真正的),然后HiddenState属性必须是空的。
数据类型:双
InputNames
- - - - - -<年代pan itemprop="purpose">输入名字
{'在'}
|<年代pan itemprop="inputvalue">{“在”、“隐藏”}
输入层的名称。
如果HasStateInputs属性是0(假),然后有一个输入层的名字“在”,对应于输入数据。在这种情况下,层使用HiddenState属性层操作。
如果HasStateInputs属性是1(真正的),然后有两个输入层的名字“在”和“隐藏”对应于输入数据和隐藏状态,分别。在这种情况下,层使用的值传递给这些输入层操作。如果HasStateInputs是1(真正的),然后HiddenState属性必须是空的。
NumOutputs
- - - - - -<年代pan itemprop="purpose">数量的输出
1
|<年代pan itemprop="inputvalue">2
输出层的数量。
如果HasStateOutputs属性是0(假),然后有一个输出层的名字“出”对应的输出数据。
如果HasStateOutputs属性是1(真正的),然后用名字层有两个输出“出”和“隐藏”对应的输出数据和隐藏状态,分别。在这种情况下,一层一层也输出状态值计算在操作。
数据类型:双
OutputNames
- - - - - -<年代pan itemprop="purpose">输出的名字
{“出”}
|<年代pan itemprop="inputvalue">{‘出来’,‘隐藏’}
输出层的名称。
如果HasStateOutputs属性是0(假),然后有一个输出层的名字“出”对应的输出数据。
如果HasStateOutputs属性是1(真正的),然后用名字层有两个输出“出”和“隐藏”对应的输出数据和隐藏状态,分别。在这种情况下,一层一层也输出状态值计算在操作。
格勒乌
NumHiddenUnits
- - - - - -<年代pan itemprop="purpose">隐藏的数量单位
正整数
这个属性是只读的。
隐藏的数量单位(也称为隐藏的大小),指定为一个正整数。
隐藏的数量单位对应的信息量之间的层记得时间步骤(隐藏状态)。隐藏的状态可以包含信息从前面所有的时间步骤,不管序列长度。如果隐藏单位的数量太大,然后层可能overfit训练数据。
隐藏的状态不限制时间的数量层过程在一个迭代的步骤。将你的序列分割成更小的序列,当你使用trainNetwork功能,使用SequenceLength培训的选择。
层输出数据NumHiddenUnits频道。
数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64
OutputMode
- - - - - -<年代pan itemprop="purpose">输出模式
“序列”
(默认)|<年代pan itemprop="inputvalue">“最后一次”
这个属性是只读的。
输出模式,指定这些值之一:
“序列”——输出完整的序列。
“最后一次”——输出序列的最后一次一步。
HasStateInputs
- - - - - -<年代pan itemprop="purpose">为输入层
0(假)(默认)|<年代pan itemprop="inputvalue">1(真正的)
国旗的国家输入层,指定为1(真正的)或0(假)。
如果HasStateInputs属性是0(假),然后有一个输入层的名字“在”,对应于输入数据。在这种情况下,层使用HiddenState属性层操作。
如果HasStateInputs属性是1(真正的),然后有两个输入层的名字“在”和“隐藏”对应于输入数据和隐藏状态,分别。在这种情况下,层使用的值传递给这些输入层操作。如果HasStateInputs是1(真正的),然后HiddenState属性必须是空的。
HasStateOutputs
- - - - - -<年代pan itemprop="purpose">国旗的国家输出层
0(假)(默认)|<年代pan itemprop="inputvalue">1(真正的)
国旗的国家输出层,指定为真正的或假。
如果HasStateOutputs属性是0(假),然后有一个输出层的名字“出”对应的输出数据。
如果HasStateOutputs属性是1(真正的),然后用名字层有两个输出“出”和“隐藏”对应的输出数据和隐藏状态,分别。在这种情况下,一层一层也输出状态值计算在操作。
ResetGateMode
- - - - - -<年代pan itemprop="purpose">重置门模式
“after-multiplication”
(默认)|<年代pan itemprop="inputvalue">“before-multiplication”
|<年代pan itemprop="inputvalue">“recurrent-bias-after-multiplication”
重置门模式下,指定为以下之一:
“after-multiplication”——申请重置门后的矩阵乘法。这个选项是cuDNN兼容。
“before-multiplication”——申请重置门之前矩阵乘法。
“recurrent-bias-after-multiplication”——申请重置门后矩阵乘法和使用一组额外的偏见条款复发性权重。
更多信息重置门计算,看看封闭的复发性单元层。
R2023a之前:dlnetwork对象支持格勒乌层金宝appResetGateMode设置为“after-multiplication”只有。
InputSize
- - - - - -<年代pan itemprop="purpose">输入的大小
“汽车”
(默认)|<年代pan itemprop="inputvalue">正整数
这个属性是只读的。
输入大小,指定为一个正整数或“汽车”。如果InputSize是“汽车”软件自动分配,然后输入大小在训练时间。
数据类型:双|字符
NumHiddenUnits
- - - - - -<年代pan itemprop="purpose">隐藏的数量单位
正整数
正整数
这个属性是只读的。 隐藏的数量单位(也称为隐藏的大小),指定为一个正整数。 隐藏的数量单位对应的信息量之间的层记得时间步骤(隐藏状态)。隐藏的状态可以包含信息从前面所有的时间步骤,不管序列长度。如果隐藏单位的数量太大,然后层可能overfit训练数据。 隐藏的状态不限制时间的数量层过程在一个迭代的步骤。将你的序列分割成更小的序列,当你使用 层输出数据 数据类型:trainNetwork
SequenceLength
单
OutputMode
- - - - - -<年代pan itemprop="purpose">输出模式
“序列”
(默认)|<年代pan itemprop="inputvalue">“最后一次”
“序列”
(默认)|<年代pan itemprop="inputvalue">“最后一次”
这个属性是只读的。 输出模式,指定这些值之一:
“序列”
“最后一次”
HasStateInputs
- - - - - -<年代pan itemprop="purpose">为输入层
0(假)(默认)|<年代pan itemprop="inputvalue">1(真正的)
0(假)(默认)|<年代pan itemprop="inputvalue">1(真正的)
国旗的国家输入层,指定为 如果 如果
HasStateOutputs
- - - - - -<年代pan itemprop="purpose">国旗的国家输出层
0(假)(默认)|<年代pan itemprop="inputvalue">1(真正的)
0(假)(默认)|<年代pan itemprop="inputvalue">1(真正的)
国旗的国家输出层,指定为 如果 如果
ResetGateMode
- - - - - -<年代pan itemprop="purpose">重置门模式
“after-multiplication”
(默认)|<年代pan itemprop="inputvalue">“before-multiplication”
|<年代pan itemprop="inputvalue">“recurrent-bias-after-multiplication”
“after-multiplication”
(默认)|<年代pan itemprop="inputvalue">“before-multiplication”
|<年代pan itemprop="inputvalue">“recurrent-bias-after-multiplication”
重置门模式下,指定为以下之一: 更多信息重置门计算,看看 R2023a之前:
“after-multiplication”
“before-multiplication”
“recurrent-bias-after-multiplication”
InputSize
- - - - - -<年代pan itemprop="purpose">输入的大小
“汽车”
(默认)|<年代pan itemprop="inputvalue">正整数
“汽车”
(默认)|<年代pan itemprop="inputvalue">正整数这个属性是只读的。 输入大小,指定为一个正整数或 数据类型:双
激活
StateActivationFunction
- - - - - -<年代pan itemprop="purpose">激活函数来更新隐藏状态
的双曲正切
(默认)|<年代pan itemprop="inputvalue">“softsign”
激活函数来更新隐藏状态,指定为以下之一:
的双曲正切-使用双曲正切函数(双曲正切)。
“softsign”——使用softsign函数<年代pan class="inlineequation">
。
层使用这个选项作为函数<年代pan class="inlineequation">
在计算更新隐藏状态。
GateActivationFunction
- - - - - -<年代pan itemprop="purpose">激活函数适用于盖茨
“乙状结肠”
(默认)|<年代pan itemprop="inputvalue">“hard-sigmoid”
这个属性是只读的。
激活函数适用于盖茨,指定这些值之一:
“乙状结肠”——使用s形的函数<年代pan class="inlineequation">
。
“hard-sigmoid”——使用硬乙状结肠函数
层使用这个选项作为函数<年代pan class="inlineequation">
在计算层门。
StateActivationFunction
- - - - - -<年代pan itemprop="purpose">激活函数来更新隐藏状态
的双曲正切
(默认)|<年代pan itemprop="inputvalue">“softsign”
的双曲正切
(默认)|<年代pan itemprop="inputvalue">“softsign”
激活函数来更新隐藏状态,指定为以下之一: 层使用这个选项作为函数<年代pan class="inlineequation">
在计算更新隐藏状态。
的双曲正切
“softsign”
GateActivationFunction
- - - - - -<年代pan itemprop="purpose">激活函数适用于盖茨
“乙状结肠”
(默认)|<年代pan itemprop="inputvalue">“hard-sigmoid”
“乙状结肠”
(默认)|<年代pan itemprop="inputvalue">“hard-sigmoid”
这个属性是只读的。 激活函数适用于盖茨,指定这些值之一:
层使用这个选项作为函数<年代pan class="inlineequation">
在计算层门。
“乙状结肠”
“hard-sigmoid”
状态
HiddenState
- - - - - -<年代pan itemprop="purpose">隐藏状态
[]
(默认)|<年代pan itemprop="inputvalue">数值向量
隐藏的状态使用层操作,指定为一个NumHiddenUnits1数字向量。这个值对应于初始数据传递给层时隐藏状态。
手动设置该属性后,调用resetState函数设置隐藏状态到这个值。
如果HasStateInputs是1(真正的),然后HiddenState属性必须是空的。
数据类型:单|双
HiddenState
- - - - - -<年代pan itemprop="purpose">隐藏状态
[]
(默认)|<年代pan itemprop="inputvalue">数值向量
[]
(默认)|<年代pan itemprop="inputvalue">数值向量隐藏的状态使用层操作,指定为一个 手动设置该属性后,调用 如果 数据类型:resetState
单
参数和初始化
InputWeightsInitializer
- - - - - -<年代pan itemprop="purpose">函数来初始化输入权重
“glorot”
(默认)|<年代pan itemprop="inputvalue">“他”
|<年代pan itemprop="inputvalue">“正交”
|<年代pan itemprop="inputvalue">“narrow-normal”|<年代pan itemprop="inputvalue">“零”|<年代pan itemprop="inputvalue">“的”|<年代pan itemprop="inputvalue">函数处理
函数初始化输入重量、指定为以下之一:
“glorot”——初始化输入权重Glorot初始值设定项[2](也称为Xavier初始化)。Glorot初始化样本独立均匀分布与零均值和方差2 / (InputSize + numOut),在那里numOut = 3 * NumHiddenUnits。
“他”——初始化输入权重的初始值设定项[3]。他初始化样本正态分布与零均值和方差2 / InputSize。
“正交”——初始化输入权重问正交矩阵的QR分解Z=问R对于一个随机矩阵Z抽样单位正态分布。[4]
“narrow-normal”——初始化输入权重独立抽样从正态分布与零均值和标准偏差0.01。
“零”——初始化输入权重与零。
“的”——初始化输入权重的。
函数处理——初始化输入自定义函数的权重。如果你指定一个函数处理,那么必须表单的功能重量= func(深圳),在那里深圳是输入权重的大小。
层时才初始化输入权重InputWeights属性是空的。
数据类型:字符|字符串|function_handle
RecurrentWeightsInitializer
- - - - - -<年代pan itemprop="purpose">函数来初始化权重复发
“正交”
(默认)|<年代pan itemprop="inputvalue">“glorot”
|<年代pan itemprop="inputvalue">“他”
|<年代pan itemprop="inputvalue">“narrow-normal”|<年代pan itemprop="inputvalue">“零”|<年代pan itemprop="inputvalue">“的”|<年代pan itemprop="inputvalue">函数处理
初始化函数周期性的权重,指定为以下之一:
“正交”——初始化权重与复发问正交矩阵的QR分解Z=问R对于一个随机矩阵Z抽样单位正态分布。[4]
“glorot”——初始化复发与Glorot初始化权重[2](也称为Xavier初始化)。Glorot初始化样本独立均匀分布与零均值和方差2 / (numIn + numOut),在那里numIn = NumHiddenUnits和numOut = 3 * NumHiddenUnits。
“他”——初始化权重与复发他初始化[3]。他初始化样本正态分布与零均值和方差2 / NumHiddenUnits。
“narrow-normal”——初始化复发的独立抽样权重正态分布与零均值和标准偏差0.01。
“零”——初始化复发与零权重。
“的”——初始化权重复发的。
函数处理,用自定义函数初始化权重复发。如果你指定一个函数处理,那么必须表单的功能重量= func(深圳),在那里深圳是复发性权重的大小。
层只初始化时的复发性权重RecurrentWeights属性是空的。
数据类型:字符|字符串|function_handle
BiasInitializer
- - - - - -<年代pan itemprop="purpose">函数来初始化倾向
“零”
(默认)|<年代pan itemprop="inputvalue">“narrow-normal”
|<年代pan itemprop="inputvalue">“的”
|<年代pan itemprop="inputvalue">函数处理
函数初始化倾向,指定为以下之一:
0的——初始化与零偏差。
“narrow-normal”——初始化倾向独立抽样从正态分布与零均值和标准偏差0.01。
“的”——初始化倾向。
函数处理与自定义函数——初始化倾向。如果你指定一个函数处理,那么必须表单的功能偏见= func(深圳),在那里深圳偏差的大小。
层时才初始化倾向偏见属性是空的。
数据类型:字符|字符串|function_handle
InputWeights
- - - - - -<年代pan itemprop="purpose">输入重量
[]
(默认)|<年代pan itemprop="inputvalue">矩阵
输入权值,指定为一个矩阵。
输入权重矩阵是一个连接的三个输入权重矩阵格勒乌中的组件层。三个矩阵是垂直连接的按照以下顺序:
重设门
更新门
候选人的状态
输入权重可学的参数。当你训练一个神经网络使用trainNetwork功能,如果InputWeights非空的,那么软件使用InputWeights属性的初始值。如果InputWeights是空的,那么软件使用初始化器指定的InputWeightsInitializer。
在培训时,InputWeights是一个3 * NumHiddenUnits——- - - - - -InputSize矩阵。
RecurrentWeights
- - - - - -<年代pan itemprop="purpose">复发性权重
[]
(默认)|<年代pan itemprop="inputvalue">矩阵
经常性的权重,指定为一个矩阵。
复发性权重矩阵的连接三个复发性权重矩阵格勒乌中的组件层。这三个矩阵是垂直连接按照以下顺序:
重设门
更新门
候选人的状态
复发性权重可学的参数。当你训练一个RNN使用trainNetwork功能,如果RecurrentWeights非空的,那么软件使用RecurrentWeights属性的初始值。如果RecurrentWeights是空的,那么软件使用初始化器指定的RecurrentWeightsInitializer。
在训练时间RecurrentWeights是一个3 * NumHiddenUnits——- - - - - -NumHiddenUnits矩阵。
偏见
- - - - - -<年代pan itemprop="purpose">层的偏见
[]
(默认)|<年代pan itemprop="inputvalue">数值向量
一层一层格勒乌的偏见,指定为一个数值向量。
如果ResetGateMode是“after-multiplication”或“before-multiplication”,然后偏差三个偏差向量的向量是一个串联的组件格勒乌层。按照以下顺序三个向量是垂直连接的:
重设门
更新门
候选人的状态
在这种情况下,在培训时,偏见是一个3 * NumHiddenUnits1数字向量。
如果ResetGateMode是recurrent-bias-after-multiplication”,那么偏见六偏差向量的向量是一个串联的组件格勒乌层。六个向量是垂直连接按照以下顺序:
重设门
更新门
候选人的状态
重置门(复发性偏见)
更新门(复发性偏见)
候选人状态(复发性偏见)
在这种情况下,在培训时,偏见是一个6 * NumHiddenUnits1数字向量。
层偏差是可学的参数。当你训练一个神经网络,如果偏见非空的,那么trainNetwork使用偏见属性的初始值。如果偏见是空的,然后trainNetwork使用指定的初始化程序BiasInitializer。
更多信息重置门计算,看看封闭的复发性单元层。
InputWeightsInitializer
- - - - - -<年代pan itemprop="purpose">函数来初始化输入权重
“glorot”
(默认)|<年代pan itemprop="inputvalue">“他”
|<年代pan itemprop="inputvalue">“正交”
|<年代pan itemprop="inputvalue">“narrow-normal”|<年代pan itemprop="inputvalue">“零”|<年代pan itemprop="inputvalue">“的”|<年代pan itemprop="inputvalue">函数处理
“glorot”
(默认)|<年代pan itemprop="inputvalue">“他”
|<年代pan itemprop="inputvalue">“正交”
|<年代pan itemprop="inputvalue">“narrow-normal”|<年代pan itemprop="inputvalue">“零”|<年代pan itemprop="inputvalue">“的”|<年代pan itemprop="inputvalue">函数处理
函数初始化输入重量、指定为以下之一: 函数处理——初始化输入自定义函数的权重。如果你指定一个函数处理,那么必须表单的功能 层时才初始化输入权重 数据类型:
“glorot”
“他”
“正交”
“narrow-normal”
“零”
“的”
字符
RecurrentWeightsInitializer
- - - - - -<年代pan itemprop="purpose">函数来初始化权重复发
“正交”
(默认)|<年代pan itemprop="inputvalue">“glorot”
|<年代pan itemprop="inputvalue">“他”
|<年代pan itemprop="inputvalue">“narrow-normal”|<年代pan itemprop="inputvalue">“零”|<年代pan itemprop="inputvalue">“的”|<年代pan itemprop="inputvalue">函数处理
“正交”
(默认)|<年代pan itemprop="inputvalue">“glorot”
|<年代pan itemprop="inputvalue">“他”
|<年代pan itemprop="inputvalue">“narrow-normal”|<年代pan itemprop="inputvalue">“零”|<年代pan itemprop="inputvalue">“的”|<年代pan itemprop="inputvalue">函数处理
初始化函数周期性的权重,指定为以下之一: 函数处理,用自定义函数初始化权重复发。如果你指定一个函数处理,那么必须表单的功能 层只初始化时的复发性权重 数据类型:
“正交”
“glorot”
“他”
“narrow-normal”
“零”
“的”
字符
BiasInitializer
- - - - - -<年代pan itemprop="purpose">函数来初始化倾向
“零”
(默认)|<年代pan itemprop="inputvalue">“narrow-normal”
|<年代pan itemprop="inputvalue">“的”
|<年代pan itemprop="inputvalue">函数处理
“零”
(默认)|<年代pan itemprop="inputvalue">“narrow-normal”
|<年代pan itemprop="inputvalue">“的”
|<年代pan itemprop="inputvalue">函数处理函数初始化倾向,指定为以下之一: 函数处理与自定义函数——初始化倾向。如果你指定一个函数处理,那么必须表单的功能 层时才初始化倾向 数据类型:
0的
“narrow-normal”
“的”
字符
InputWeights
- - - - - -<年代pan itemprop="purpose">输入重量
[]
(默认)|<年代pan itemprop="inputvalue">矩阵
[]
(默认)|<年代pan itemprop="inputvalue">矩阵输入权值,指定为一个矩阵。 输入权重矩阵是一个连接的三个输入权重矩阵格勒乌中的组件层。三个矩阵是垂直连接的按照以下顺序: 重设门 更新门 候选人的状态 输入权重可学的参数。当你训练一个神经网络使用 在培训时,
trainNetwork
RecurrentWeights
- - - - - -<年代pan itemprop="purpose">复发性权重
[]
(默认)|<年代pan itemprop="inputvalue">矩阵
[]
(默认)|<年代pan itemprop="inputvalue">矩阵经常性的权重,指定为一个矩阵。 复发性权重矩阵的连接三个复发性权重矩阵格勒乌中的组件层。这三个矩阵是垂直连接按照以下顺序: 重设门 更新门 候选人的状态 复发性权重可学的参数。当你训练一个RNN使用 在训练时间
trainNetwork
偏见
- - - - - -<年代pan itemprop="purpose">层的偏见
[]
(默认)|<年代pan itemprop="inputvalue">数值向量
[]
(默认)|<年代pan itemprop="inputvalue">数值向量一层一层格勒乌的偏见,指定为一个数值向量。 如果 重设门 更新门 候选人的状态 在这种情况下,在培训时, 如果 重设门 更新门 候选人的状态 重置门(复发性偏见) 更新门(复发性偏见) 候选人状态(复发性偏见) 在这种情况下,在培训时, 层偏差是可学的参数。当你训练一个神经网络,如果 更多信息重置门计算,看看
trainNetwork
学习速率、正规化
InputWeightsLearnRateFactor
- - - - - -<年代pan itemprop="purpose">学习速率因子输入权重
1(默认)|<年代pan itemprop="inputvalue">数字标量|<年代pan itemprop="inputvalue">1×3数值向量
学习速率因子输入权值,指定为数字标量或1×3数值向量。
软件由全球学习速率繁殖这个因素来确定输入的学习速率因子层的权重。例如,如果InputWeightsLearnRateFactor是2,然后输入的学习速率因子层的权重是当前全球学习速率的两倍。全球软件决定了学习速率根据你指定的设置trainingOptions函数。
的值来控制三个个体的学习速率因子矩阵InputWeights,指定1×3向量。的条目InputWeightsLearnRateFactor对应的学习速率因子:
重设门
更新门
候选人的状态
为所有的矩阵指定相同的值,指定一个负的标量。
例子:2
例子:(1 2)
RecurrentWeightsLearnRateFactor
- - - - - -<年代pan itemprop="purpose">反复的学习速率因素权重
1(默认)|<年代pan itemprop="inputvalue">数字标量|<年代pan itemprop="inputvalue">1×3数值向量
反复的学习速率因素权重,指定为数字标量或1×3数值向量。
软件由全球学习速率繁殖这个因素来确定学习速率的复发性层的权重。例如,如果RecurrentWeightsLearnRateFactor是2,然后反复的学习速率层的权重是当前全球学习速率的两倍。全球学习速率决定了基于的软件设置您指定使用trainingOptions函数。
的值来控制三个个体的学习速率因子矩阵RecurrentWeights,指定1×3向量。的条目RecurrentWeightsLearnRateFactor对应的学习速率因子:
重设门
更新门
候选人的状态
为所有的矩阵指定相同的值,指定一个负的标量。
例子:2
例子:(1 2)
BiasLearnRateFactor
- - - - - -<年代pan itemprop="purpose">学习速率因子偏见
1(默认)|<年代pan itemprop="inputvalue">负的标量|<年代pan itemprop="inputvalue">1×3数值向量
学习速率因子的偏见,指定为负的标量或1×3数值向量。
软件由全球学习速率繁殖这个因素来确定学习速率的偏见在这一层。例如,如果BiasLearnRateFactor是2,那么学习速率的偏见层是当前全球学习速率的两倍。全球学习速率决定了基于的软件设置您指定使用trainingOptions函数。
控制学习速率的价值因素三个独立的向量偏见,指定1×3向量。的条目BiasLearnRateFactor对应的学习速率因子:
重设门
更新门
候选人的状态
如果ResetGateMode是“recurrent-bias-after-multiplication”的软件使用相同的向量,然后反复偏差向量。
为所有的向量指定相同的值,指定一个负的标量。
例子:2
例子:(1 2)
InputWeightsL2Factor
- - - - - -<年代pan itemprop="purpose">L2正则化因子输入权重
1(默认)|<年代pan itemprop="inputvalue">数字标量|<年代pan itemprop="inputvalue">1×3数值向量
L2正则化因子的输入权值,指定为数字标量或1×3数值向量。
全球的软件增加这个因素l<年代ub>2正则化因子来确定l<年代ub>2正则化因子输入层的权重。例如,如果InputWeightsL2Factor是2,那么l<年代ub>2正则化因子为输入层的权重是当前全球的两倍l<年代ub>2正则化因子。软件确定l<年代ub>2正则化因子的基础上,设置您指定使用trainingOptions函数。
控制L2正规化的价值因素三个个人矩阵InputWeights,指定1×3向量。的条目InputWeightsL2Factor对应的L2正则化因子:
重设门
更新门
候选人的状态
为所有的矩阵指定相同的值,指定一个负的标量。
例子:2
例子:(1 2)
RecurrentWeightsL2Factor
- - - - - -<年代pan itemprop="purpose">复发性权重的L2正则化因素
1(默认)|<年代pan itemprop="inputvalue">数字标量|<年代pan itemprop="inputvalue">1×3数值向量
复发性权重L2正则化因子,指定为数字标量或1×3数值向量。
全球的软件增加这个因素l<年代ub>2正则化因子来确定l<年代ub>2正则化因子的复发性层的权重。例如,如果RecurrentWeightsL2Factor是2,那么l<年代ub>2正则化因子的复发性权重层是当前全球的两倍l<年代ub>2正则化因子。软件确定l<年代ub>2正则化因子的基础上,设置您指定使用trainingOptions函数。
控制L2正规化的价值因素三个个人矩阵RecurrentWeights,指定1×3向量。的条目RecurrentWeightsL2Factor对应的L2正则化因子:
重设门
更新门
候选人的状态
为所有的矩阵指定相同的值,指定一个负的标量。
例子:2
例子:(1 2)
BiasL2Factor
- - - - - -<年代pan itemprop="purpose">偏见的L2正则化因素
0(默认)|<年代pan itemprop="inputvalue">负的标量|<年代pan itemprop="inputvalue">1×3数值向量
L2正则化因子的偏见,指定为负的标量或1×3数值向量。
全球的软件增加这个因素l<年代ub>2正则化因子来确定l<年代ub>2在这一层正规化的偏见。例如,如果BiasL2Factor是2,那么l<年代ub>2正规化的偏见这一层是全球的两倍l<年代ub>2正则化因子。决定了全球的软件l<年代ub>2正则化因子的基础上,设置您指定使用trainingOptions函数。
控制个人L2正则化因子的值向量偏见,指定1×3向量。的条目BiasL2Factor对应的L2正则化因子:
重设门
更新门
候选人的状态
如果ResetGateMode是“recurrent-bias-after-multiplication”的软件使用相同的向量,然后反复偏差向量。
为所有的向量指定相同的值,指定一个负的标量。
例子:2
例子:(1 2)
InputWeightsLearnRateFactor
- - - - - -<年代pan itemprop="purpose">学习速率因子输入权重
1(默认)|<年代pan itemprop="inputvalue">数字标量|<年代pan itemprop="inputvalue">1×3数值向量
1
学习速率因子输入权值,指定为数字标量或1×3数值向量。 软件由全球学习速率繁殖这个因素来确定输入的学习速率因子层的权重。例如,如果 的值来控制三个个体的学习速率因子矩阵 重设门 更新门 候选人的状态 为所有的矩阵指定相同的值,指定一个负的标量。 例子: 例子:trainingOptions
2
(1 2)
RecurrentWeightsLearnRateFactor
- - - - - -<年代pan itemprop="purpose">反复的学习速率因素权重
1(默认)|<年代pan itemprop="inputvalue">数字标量|<年代pan itemprop="inputvalue">1×3数值向量
1
反复的学习速率因素权重,指定为数字标量或1×3数值向量。 软件由全球学习速率繁殖这个因素来确定学习速率的复发性层的权重。例如,如果 的值来控制三个个体的学习速率因子矩阵 重设门 更新门 候选人的状态 为所有的矩阵指定相同的值,指定一个负的标量。 例子: 例子:trainingOptions
2
(1 2)
BiasLearnRateFactor
- - - - - -<年代pan itemprop="purpose">学习速率因子偏见
1(默认)|<年代pan itemprop="inputvalue">负的标量|<年代pan itemprop="inputvalue">1×3数值向量
1
学习速率因子的偏见,指定为负的标量或1×3数值向量。 软件由全球学习速率繁殖这个因素来确定学习速率的偏见在这一层。例如,如果 控制学习速率的价值因素三个独立的向量 重设门 更新门 候选人的状态 如果 为所有的向量指定相同的值,指定一个负的标量。 例子: 例子:trainingOptions
2
(1 2)
InputWeightsL2Factor
- - - - - -<年代pan itemprop="purpose">L2正则化因子输入权重
1(默认)|<年代pan itemprop="inputvalue">数字标量|<年代pan itemprop="inputvalue">1×3数值向量
1
L2正则化因子的输入权值,指定为数字标量或1×3数值向量。 全球的软件增加这个因素 控制L2正规化的价值因素三个个人矩阵 重设门 更新门 候选人的状态 为所有的矩阵指定相同的值,指定一个负的标量。 例子: 例子:trainingOptions
2
(1 2)
RecurrentWeightsL2Factor
- - - - - -<年代pan itemprop="purpose">复发性权重的L2正则化因素
1(默认)|<年代pan itemprop="inputvalue">数字标量|<年代pan itemprop="inputvalue">1×3数值向量
1
复发性权重L2正则化因子,指定为数字标量或1×3数值向量。 全球的软件增加这个因素 控制L2正规化的价值因素三个个人矩阵 重设门 更新门 候选人的状态 为所有的矩阵指定相同的值,指定一个负的标量。 例子: 例子:trainingOptions
2
(1 2)
BiasL2Factor
- - - - - -<年代pan itemprop="purpose">偏见的L2正则化因素
0(默认)|<年代pan itemprop="inputvalue">负的标量|<年代pan itemprop="inputvalue">1×3数值向量
0
L2正则化因子的偏见,指定为负的标量或1×3数值向量。 全球的软件增加这个因素 控制个人L2正则化因子的值向量 重设门 更新门 候选人的状态 如果 为所有的向量指定相同的值,指定一个负的标量。 例子: 例子:trainingOptions
2
(1 2)
层
的名字
- - - - - -<年代pan itemprop="purpose">层的名字
”
(默认)|<年代pan itemprop="inputvalue">特征向量|<年代pan itemprop="inputvalue">字符串标量
图层名称,指定为一个特征向量或字符串标量。为层数组输入,trainNetwork,assembleNetwork,layerGraph,dlnetwork函数自动分配名称层的名称”。
数据类型:字符|字符串
NumInputs
- - - - - -<年代pan itemprop="purpose">输入数量
1
|<年代pan itemprop="inputvalue">2
输入层的数量。
如果HasStateInputs属性是0(假),然后有一个输入层的名字“在”,对应于输入数据。在这种情况下,层使用HiddenState属性层操作。
如果HasStateInputs属性是1(真正的),然后有两个输入层的名字“在”和“隐藏”对应于输入数据和隐藏状态,分别。在这种情况下,层使用的值传递给这些输入层操作。如果HasStateInputs是1(真正的),然后HiddenState属性必须是空的。
数据类型:双
InputNames
- - - - - -<年代pan itemprop="purpose">输入名字
{'在'}
|<年代pan itemprop="inputvalue">{“在”、“隐藏”}
输入层的名称。
如果HasStateInputs属性是0(假),然后有一个输入层的名字“在”,对应于输入数据。在这种情况下,层使用HiddenState属性层操作。
如果HasStateInputs属性是1(真正的),然后有两个输入层的名字“在”和“隐藏”对应于输入数据和隐藏状态,分别。在这种情况下,层使用的值传递给这些输入层操作。如果HasStateInputs是1(真正的),然后HiddenState属性必须是空的。
NumOutputs
- - - - - -<年代pan itemprop="purpose">数量的输出
1
|<年代pan itemprop="inputvalue">2
输出层的数量。
如果HasStateOutputs属性是0(假),然后有一个输出层的名字“出”对应的输出数据。
如果HasStateOutputs属性是1(真正的),然后用名字层有两个输出“出”和“隐藏”对应的输出数据和隐藏状态,分别。在这种情况下,一层一层也输出状态值计算在操作。
数据类型:双
OutputNames
- - - - - -<年代pan itemprop="purpose">输出的名字
{“出”}
|<年代pan itemprop="inputvalue">{‘出来’,‘隐藏’}
输出层的名称。
如果HasStateOutputs属性是0(假),然后有一个输出层的名字“出”对应的输出数据。
如果HasStateOutputs属性是1(真正的),然后用名字层有两个输出“出”和“隐藏”对应的输出数据和隐藏状态,分别。在这种情况下,一层一层也输出状态值计算在操作。
的名字
- - - - - -<年代pan itemprop="purpose">层的名字
”
(默认)|<年代pan itemprop="inputvalue">特征向量|<年代pan itemprop="inputvalue">字符串标量
”
(默认)|<年代pan itemprop="inputvalue">特征向量图层名称,指定为一个特征向量或字符串标量。为trainNetwork
assembleNetwork
layerGraph
dlnetwork
数据类型:字符
NumInputs
- - - - - -<年代pan itemprop="purpose">输入数量
1
|<年代pan itemprop="inputvalue">2
1
|<年代pan itemprop="inputvalue">2
输入层的数量。 如果 如果 数据类型:双
InputNames
- - - - - -<年代pan itemprop="purpose">输入名字
{'在'}
|<年代pan itemprop="inputvalue">{“在”、“隐藏”}
{'在'}
|<年代pan itemprop="inputvalue">{“在”、“隐藏”}
输入层的名称。 如果 如果
NumOutputs
- - - - - -<年代pan itemprop="purpose">数量的输出
1
|<年代pan itemprop="inputvalue">2
1
|<年代pan itemprop="inputvalue">2
输出层的数量。 如果 如果 数据类型:双
OutputNames
- - - - - -<年代pan itemprop="purpose">输出的名字
{“出”}
|<年代pan itemprop="inputvalue">{‘出来’,‘隐藏’}
{“出”}
|<年代pan itemprop="inputvalue">{‘出来’,‘隐藏’}
输出层的名称。 如果 如果
例子
创建格勒乌层
创建一个格勒乌层的名称“gru1”和100年隐藏的单位。
层= gruLayer (100<年代pan style="color:#A020F0">“名字”,<年代pan style="color:#A020F0">“gru1”)
层= GRULayer属性:名称:“gru1”InputNames: {’’} OutputNames:{“出”}NumInputs: 1 NumOutputs: 1 HasStateInputs: 0 HasStateOutputs: 0 Hyperparameters InputSize:“汽车”NumHiddenUnits: 100 OutputMode:“序列”StateActivationFunction:“双曲正切GateActivationFunction:乙状结肠的ResetGateMode:‘after-multiplication InputWeights可学的参数:[]RecurrentWeights:[]偏见:[]HiddenState状态参数:[]显示所有属性
在一个包括格勒乌层层数组中。
inputSize = 12;numHiddenUnits = 100;numClasses = 9;层= [<年代pan style="color:#0000FF">…sequenceInputLayer (inputSize) gruLayer (numHiddenUnits) fullyConnectedLayer (numClasses) softmaxLayer classificationLayer]
层x1 = 5层阵列层:1“12维度2序列输入序列输入”格勒乌格鲁100隐藏单位3“完全连接9完全连接层4”Softmax Softmax crossentropyex 5”分类输出
创建格勒乌层
创建一个格勒乌层的名称 在一个包括格勒乌层层= gruLayer (100<年代pan style="color:#A020F0">“名字”
层= GRULayer属性:名称:“gru1”InputNames: {’’} OutputNames:{“出”}NumInputs: 1 NumOutputs: 1 HasStateInputs: 0 HasStateOutputs: 0 Hyperparameters InputSize:“汽车”NumHiddenUnits: 100 OutputMode:“序列”StateActivationFunction:“双曲正切GateActivationFunction:乙状结肠的ResetGateMode:‘after-multiplication InputWeights可学的参数:[]RecurrentWeights:[]偏见:[]HiddenState状态参数:[]显示所有属性
inputSize = 12;numHiddenUnits = 100;numClasses = 9;层= [<年代pan style="color:#0000FF">…
层x1 = 5层阵列层:1“12维度2序列输入序列输入”格勒乌格鲁100隐藏单位3“完全连接9完全连接层4”Softmax Softmax crossentropyex 5”分类输出
算法
封闭的复发性单元层
格勒乌层是一个RNN层,学习时间步骤时间序列和序列数据之间的依赖关系。
的<年代pan class="emphasis">隐藏状态在时间步的层t包含这一次的格勒乌的输出层的步骤。在每个时间步,图层添加或删除信息。层控制这些更新使用<年代pan class="emphasis">盖茨。
以下组件控制层的隐藏状态。
组件
目的
重置门(r)
控制水平的状态重置
更新门(z)
控制水平的状态更新
候选人状态(<年代pan class="inlineequation">
)
更新添加到隐藏状态的控制水平
格勒乌层的权重可学的是输入权重W(InputWeights),复发性权重R(RecurrentWeights)和偏见b(偏见)。如果ResetGateMode属性是“recurrent-bias-after-multiplication”,然后门状态计算需要两套的偏差值。的矩阵W和R串连的输入权重和每个组件的复发性权重,分别。这些矩阵连接如下:
在哪里r,z,<年代pan class="inlineequation">
表示重启门、更新门,分别和候选人的状态。
取决于偏差向量ResetGateMode财产。如果ResetGateMode是“after-multiplication”或“before-multiplication”,然后偏差三个向量的向量是一个连接:
其中下标W表明这是偏见对应输入加权乘法。
如果ResetGateMode是“recurrent-bias-after-multiplication”,然后偏差向量是一个串联的六个向量:
其中下标R表明这是复发性偏差对应权重乘法。
在时间步隐藏的状态t是由
下面的公式描述的组件在时间步t。
组件
ResetGateMode
公式
重设门
“after-multiplication”
“before-multiplication”
“recurrent-bias-after-multiplication”
更新门
“after-multiplication”
“before-multiplication”
“recurrent-bias-after-multiplication”
候选人的状态
“after-multiplication”
“before-multiplication”
“recurrent-bias-after-multiplication”
在这些计算,<年代pan class="inlineequation">
和<年代pan class="inlineequation">
分别表示门和状态激活功能。的gruLayer函数,默认情况下,使用乙状结肠函数给出的<年代pan class="inlineequation">
计算门激活函数和双曲正切函数(双曲正切)计算状态激活函数。指定国家和门激活函数,使用StateActivationFunction和GateActivationFunction属性,分别。
层的输入和输出格式
层一层一层数组或图后续层传递数据格式化dlarray对象。的格式dlarray对象是一个字符串,其中每个字符描述相应的维度的数据。这些字符的格式由一个或多个:
“S”——空间
“C”——频道
“B”——批
“T”——时间
“U”——未指明的
例如,二维图像数据表示成一个四维数组,第一个二维对应于图像的空间维度,第三维对应于图像的通道,第四个维度对应批维度,可以被描述为有格式“SSCB”(空间、空间、通道、批)。
你可以与这些交互dlarray对象等自动分化工作流开发一个自定义图层,使用functionLayer对象,或使用向前和预测功能与dlnetwork对象。
此表显示了支持输入格式金宝appGRULayer对象和相应的输出格式。如果输出层的传递给一个定制的层不继承nnet.layer.Formattable类,或FunctionLayer对象的Formattable属性设置为0(假),然后层接收未格式化dlarray对象的尺寸要求相应的这个表的格式。
输入格式
OutputMode
输出格式
“CB”(通道、批处理)
“序列”
“CB”(通道、批处理)
“最后一次”
“认知行为治疗”(通道、批量、时间)
“序列”
“认知行为治疗”(通道、批量、时间)
“最后一次”
“CB”(通道、批处理)
“某人”(空间、批处理)
“序列”
“CB”(通道、批处理)
“最后一次”
在dlnetwork对象,GRULayer对象也支持这些输入和输出格金宝app式的组合。
输入格式
OutputMode
输出格式
“渣打银行”(空间、通道、批处理)
“序列”
“CB”(通道、批处理)
“最后一次”
“SSCB”(空间、空间、通道、批处理)
“序列”
“最后一次”
“SSSCB”(空间、空间、空间、通道、批处理)
“序列”
“最后一次”
“SCBT”(空间、通道、批量、时间)
“序列”
“认知行为治疗”(通道、批量、时间)
“最后一次”
“CB”(通道、批处理)
“SSCBT”(空间、空间、通道、批处理时间)
“序列”
“认知行为治疗”(通道、批量、时间)
“最后一次”
“CB”(通道、批处理)
“SSSCBT”(空间、空间、空间、通道、批处理时间)
“序列”
“认知行为治疗”(通道、批量、时间)
“最后一次”
“CB”(通道、批处理)
“SC”(空间、通道)
“序列”
“铜”(未指明的通道)
“最后一次”
“SSC”(空间、空间、通道)
“序列”
“最后一次”
“SSSC”(空间、空间、空间、通道)
“序列”
“最后一次”
“CT”(通道、时间)
“序列”
“CT”(通道、时间)
“最后一次”
“铜”(未指明的通道)
“SCT”(空间、通道、时间)
“序列”
“CT”(通道、时间)
“最后一次”
“铜”(未指明的通道)
“SSCT”(空间、空间、通道、时间)
“序列”
“CT”(通道、时间)
“最后一次”
“铜”(未指明的通道)
“SSSCT”(空间、空间、通道、时间)
“序列”
“CT”(通道、时间)
“最后一次”
“铜”(未指明的通道)
“单边带”(空间、空间、批处理)
“序列”
“CB”(通道、批处理)
“最后一次”
“SSSB”(空间、空间、空间、批处理)
“序列”
“最后一次”
“转基因”(批量、时间)
“序列”
“认知行为治疗”(通道、批量、时间)
“最后一次”
“CB”(通道、批处理)
“SBT”(空间、批量、时间)
“序列”
“认知行为治疗”(通道、批量、时间)
“最后一次”
“CB”(通道、批处理)
“名为SSBT”(空间、空间、批量、时间)
“序列”
“认知行为治疗”(通道、批量、时间)
“最后一次”
“CB”(通道、批处理)
“SSSBT”(空间、空间、空间、批处理时间)
“序列”
“认知行为治疗”(通道、批量、时间)
“最后一次”
“CB”(通道、批处理)
使用这些输入格式trainNetwork工作流转换数据“CB”(通道、批处理)“认知行为治疗”(通道、批量、时间)格式使用flattenLayer。
如果HasStateInputs属性是1(真正的),然后层有两个额外的输入名称“隐藏”和“细胞”,隐藏状态和细胞状态相对应,分别。这些额外的输入期望的输入格式“CB”(频道,批处理)。
如果HasStateOutputs属性是1(真正的),然后用名字层有两个额外的输出“隐藏”和“细胞”,隐藏状态和细胞状态相对应,分别。这些额外的输出输出格式“CB”(频道,批处理)。
封闭的复发性单元层
格勒乌层是一个RNN层,学习时间步骤时间序列和序列数据之间的依赖关系。
的<年代pan class="emphasis">隐藏状态在时间步的层t包含这一次的格勒乌的输出层的步骤。在每个时间步,图层添加或删除信息。层控制这些更新使用<年代pan class="emphasis">盖茨。
以下组件控制层的隐藏状态。
组件
目的
重置门(r)
控制水平的状态重置
更新门(z)
控制水平的状态更新
候选人状态(<年代pan class="inlineequation">
)
更新添加到隐藏状态的控制水平
格勒乌层的权重可学的是输入权重W(InputWeights),复发性权重R(RecurrentWeights)和偏见b(偏见)。如果ResetGateMode属性是“recurrent-bias-after-multiplication”,然后门状态计算需要两套的偏差值。的矩阵W和R串连的输入权重和每个组件的复发性权重,分别。这些矩阵连接如下:
在哪里r,z,<年代pan class="inlineequation">
表示重启门、更新门,分别和候选人的状态。
取决于偏差向量ResetGateMode财产。如果ResetGateMode是“after-multiplication”或“before-multiplication”,然后偏差三个向量的向量是一个连接:
其中下标W表明这是偏见对应输入加权乘法。
如果ResetGateMode是“recurrent-bias-after-multiplication”,然后偏差向量是一个串联的六个向量:
其中下标R表明这是复发性偏差对应权重乘法。
在时间步隐藏的状态t是由
下面的公式描述的组件在时间步t。
组件
ResetGateMode
公式
重设门
“after-multiplication”
“before-multiplication”
“recurrent-bias-after-multiplication”
更新门
“after-multiplication”
“before-multiplication”
“recurrent-bias-after-multiplication”
候选人的状态
“after-multiplication”
“before-multiplication”
“recurrent-bias-after-multiplication”
在这些计算,<年代pan class="inlineequation">
和<年代pan class="inlineequation">
分别表示门和状态激活功能。的gruLayer函数,默认情况下,使用乙状结肠函数给出的<年代pan class="inlineequation">
计算门激活函数和双曲正切函数(双曲正切)计算状态激活函数。指定国家和门激活函数,使用StateActivationFunction和GateActivationFunction属性,分别。
格勒乌层是一个RNN层,学习时间步骤时间序列和序列数据之间的依赖关系。
的<年代pan class="emphasis">隐藏状态 以下组件控制层的隐藏状态。 格勒乌层的权重可学的是输入权重
在哪里 取决于偏差向量
其中下标 如果
其中下标 在时间步隐藏的状态
下面的公式描述的组件在时间步 在这些计算,<年代pan class="inlineequation">
和<年代pan class="inlineequation">
分别表示门和状态激活功能。的
组件 目的
重置门( 控制水平的状态重置
更新门( 控制水平的状态更新
候选人状态(<年代pan class="inlineequation">
) 更新添加到隐藏状态的控制水平
组件 ResetGateMode
公式
重设门 “after-multiplication”
“before-multiplication”
“recurrent-bias-after-multiplication”
更新门 “after-multiplication”
“before-multiplication”
“recurrent-bias-after-multiplication”
候选人的状态 “after-multiplication”
“before-multiplication”
“recurrent-bias-after-multiplication”
StateActivationFunction
GateActivationFunction
层的输入和输出格式
层一层一层数组或图后续层传递数据格式化dlarray对象。的格式dlarray对象是一个字符串,其中每个字符描述相应的维度的数据。这些字符的格式由一个或多个:
“S”——空间
“C”——频道
“B”——批
“T”——时间
“U”——未指明的
例如,二维图像数据表示成一个四维数组,第一个二维对应于图像的空间维度,第三维对应于图像的通道,第四个维度对应批维度,可以被描述为有格式“SSCB”(空间、空间、通道、批)。
你可以与这些交互dlarray对象等自动分化工作流开发一个自定义图层,使用functionLayer对象,或使用向前和预测功能与dlnetwork对象。
此表显示了支持输入格式金宝appGRULayer对象和相应的输出格式。如果输出层的传递给一个定制的层不继承nnet.layer.Formattable类,或FunctionLayer对象的Formattable属性设置为0(假),然后层接收未格式化dlarray对象的尺寸要求相应的这个表的格式。
输入格式
OutputMode
输出格式
“CB”(通道、批处理)
“序列”
“CB”(通道、批处理)
“最后一次”
“认知行为治疗”(通道、批量、时间)
“序列”
“认知行为治疗”(通道、批量、时间)
“最后一次”
“CB”(通道、批处理)
“某人”(空间、批处理)
“序列”
“CB”(通道、批处理)
“最后一次”
在dlnetwork对象,GRULayer对象也支持这些输入和输出格金宝app式的组合。
输入格式
OutputMode
输出格式
“渣打银行”(空间、通道、批处理)
“序列”
“CB”(通道、批处理)
“最后一次”
“SSCB”(空间、空间、通道、批处理)
“序列”
“最后一次”
“SSSCB”(空间、空间、空间、通道、批处理)
“序列”
“最后一次”
“SCBT”(空间、通道、批量、时间)
“序列”
“认知行为治疗”(通道、批量、时间)
“最后一次”
“CB”(通道、批处理)
“SSCBT”(空间、空间、通道、批处理时间)
“序列”
“认知行为治疗”(通道、批量、时间)
“最后一次”
“CB”(通道、批处理)
“SSSCBT”(空间、空间、空间、通道、批处理时间)
“序列”
“认知行为治疗”(通道、批量、时间)
“最后一次”
“CB”(通道、批处理)
“SC”(空间、通道)
“序列”
“铜”(未指明的通道)
“最后一次”
“SSC”(空间、空间、通道)
“序列”
“最后一次”
“SSSC”(空间、空间、空间、通道)
“序列”
“最后一次”
“CT”(通道、时间)
“序列”
“CT”(通道、时间)
“最后一次”
“铜”(未指明的通道)
“SCT”(空间、通道、时间)
“序列”
“CT”(通道、时间)
“最后一次”
“铜”(未指明的通道)
“SSCT”(空间、空间、通道、时间)
“序列”
“CT”(通道、时间)
“最后一次”
“铜”(未指明的通道)
“SSSCT”(空间、空间、通道、时间)
“序列”
“CT”(通道、时间)
“最后一次”
“铜”(未指明的通道)
“单边带”(空间、空间、批处理)
“序列”
“CB”(通道、批处理)
“最后一次”
“SSSB”(空间、空间、空间、批处理)
“序列”
“最后一次”
“转基因”(批量、时间)
“序列”
“认知行为治疗”(通道、批量、时间)
“最后一次”
“CB”(通道、批处理)
“SBT”(空间、批量、时间)
“序列”
“认知行为治疗”(通道、批量、时间)
“最后一次”
“CB”(通道、批处理)
“名为SSBT”(空间、空间、批量、时间)
“序列”
“认知行为治疗”(通道、批量、时间)
“最后一次”
“CB”(通道、批处理)
“SSSBT”(空间、空间、空间、批处理时间)
“序列”
“认知行为治疗”(通道、批量、时间)
“最后一次”
“CB”(通道、批处理)
使用这些输入格式trainNetwork工作流转换数据“CB”(通道、批处理)“认知行为治疗”(通道、批量、时间)格式使用flattenLayer。
如果HasStateInputs属性是1(真正的),然后层有两个额外的输入名称“隐藏”和“细胞”,隐藏状态和细胞状态相对应,分别。这些额外的输入期望的输入格式“CB”(频道,批处理)。
如果HasStateOutputs属性是1(真正的),然后用名字层有两个额外的输出“隐藏”和“细胞”,隐藏状态和细胞状态相对应,分别。这些额外的输出输出格式“CB”(频道,批处理)。
层一层一层数组或图后续层传递数据格式化 例如,二维图像数据表示成一个四维数组,第一个二维对应于图像的空间维度,第三维对应于图像的通道,第四个维度对应批维度,可以被描述为有格式 你可以与这些交互 此表显示了支持输入格式金宝app 在 使用这些输入格式 如果 如果dlarray
“S”
“C”
“B”
“T”
“U”
functionLayer
向前
预测
输入格式 OutputMode
输出格式
“CB”
“序列”
“CB”
“最后一次”
“认知行为治疗”
“序列”
“认知行为治疗”
“最后一次”
“CB”
“某人”
“序列”
“CB”
“最后一次”
输入格式 OutputMode
输出格式
“渣打银行”
“序列”
“CB”
“最后一次”
“SSCB”
“序列”
“最后一次”
“SSSCB”
“序列”
“最后一次”
“SCBT”
“序列”
“认知行为治疗”
“最后一次”
“CB”
“SSCBT”
“序列”
“认知行为治疗”
“最后一次”
“CB”
“SSSCBT”
“序列”
“认知行为治疗”
“最后一次”
“CB”
“SC”
“序列”
“铜”
“最后一次”
“SSC”
“序列”
“最后一次”
“SSSC”
“序列”
“最后一次”
“CT”
“序列”
“CT”
“最后一次”
“铜”
“SCT”
“序列”
“CT”
“最后一次”
“铜”
“SSCT”
“序列”
“CT”
“最后一次”
“铜”
“SSSCT”
“序列”
“CT”
“最后一次”
“铜”
“单边带”
“序列”
“CB”
“最后一次”
“SSSB”
“序列”
“最后一次”
“转基因”
“序列”
“认知行为治疗”
“最后一次”
“CB”
“SBT”
“序列”
“认知行为治疗”
“最后一次”
“CB”
“名为SSBT”
“序列”
“认知行为治疗”
“最后一次”
“CB”
“SSSBT”
“序列”
“认知行为治疗”
“最后一次”
“CB”
flattenLayer
引用
[1]曹、Kyunghyun Bart Van Merrienboer卡Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, Yoshua Bengio。“学习使用短语表示RNN encoder-decoder统计机器翻译。”arXiv预印本arXiv: 1406.1078(2014)。
[2]Glorot,泽维尔,Yoshua Bengio。“理解的难度训练前馈神经网络。”在《十三人工智能国际会议上和统计,249 - 356。意大利撒丁岛:AISTATS, 2010。https://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf
[3]他开明、象屿张任Shaoqing,剑太阳。“深深入整流器:超越人类表现ImageNet分类。”在学报2015年IEEE计算机视觉国际会议,1026 - 1034。华盛顿特区:IEEE计算机视觉的社会,2015年。https://doi.org/10.1109/ICCV.2015.123
[4]萨克斯,安德鲁·M。,James L. McClelland, and Surya Ganguli. "Exact solutions to the nonlinear dynamics of learning in deep linear neural networks."arXiv预印本arXiv: 1312.6120(2013)。
[1]曹、Kyunghyun Bart Van Merrienboer卡Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, Yoshua Bengio。“学习使用短语表示RNN encoder-decoder统计机器翻译。”
[2]Glorot,泽维尔,Yoshua Bengio。“理解的难度训练前馈神经网络。”在
[3]他开明、象屿张任Shaoqing,剑太阳。“深深入整流器:超越人类表现ImageNet分类。”在
[4]萨克斯,安德鲁·M。,James L. McClelland, and Surya Ganguli. "Exact solutions to the nonlinear dynamics of learning in deep linear neural networks."arXiv预印本arXiv: 1312.6120
扩展功能
C / c++代码生成
<年代pan class=" remove_bold add_font_color_general">生成C和c++代码使用MATLAB®编码器™。
使用笔记和限制:
对于一般的代码生成,HasStateInputs和HasStateOutputs属性必须设置为0(假)。
在生成代码与英特尔<年代up>®MKL-DNN或手臂<年代up>®计算库:
的StateActivationFunction属性必须设置为的双曲正切。
的GateActivationFunction属性必须设置为“乙状结肠”。
的ResetGateMode属性必须设置为“after-multiplication”或“recurrent-bias-after-multiplication”。
当生成通用的C / c++代码:
的ResetGateMode属性可以设置为“after-multiplication”,“before-multiplication”或“recurrent-bias-after-multiplication”。
GPU的代码生成
<年代pan class=" remove_bold add_font_color_general">生成NVIDIA的CUDA®代码®GPU使用GPU编码器™。
使用笔记和限制:
的StateActivationFunction属性必须设置为的双曲正切。
的GateActivationFunction属性必须设置为“乙状结肠”。
的ResetGateMode属性必须设置为“after-multiplication”或“recurrent-bias-after-multiplication”。
的HasStateInputs和HasStateOutputs属性必须设置为0(假)。
C / c++代码生成
<年代pan class=" remove_bold add_font_color_general">生成C和c++代码使用MATLAB®编码器™。
使用笔记和限制:
对于一般的代码生成, 在生成代码与英特尔<年代up>® 的 的 的 当生成通用的C / c++代码: 的
GPU的代码生成
<年代pan class=" remove_bold add_font_color_general">生成NVIDIA的CUDA®代码®GPU使用GPU编码器™。
使用笔记和限制: 的 的 的 的
版本历史
介绍了R2020a
R2023a:<年代pan class="remove_bold">指定复位门格勒乌层模式dlnetwork对象
格勒乌层的dlnetwork对象,指定复位门模式下使用ResetGateMode财产。
R2023a:<年代pan class="remove_bold">指定复位门格勒乌层模式dlnetwork对象
格勒乌层的dlnetwork
ResetGateMode
另请参阅
trainingOptions
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">trainNetwork
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">sequenceInputLayer
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">lstmLayer
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">bilstmLayer
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">convolution1dLayer
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">maxPooling1dLayer
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">averagePooling1dLayer
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">globalMaxPooling1dLayer
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">globalAveragePooling1dLayer
trainingOptions
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">trainNetwork
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">sequenceInputLayer
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">lstmLayer
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">bilstmLayer
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">convolution1dLayer
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">maxPooling1dLayer
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">averagePooling1dLayer
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">globalMaxPooling1dLayer
|<年代pan itemscope itemtype="//www.tatmou.com/help/schema/MathWorksDocPage/SeeAlso" itemprop="seealso">globalAveragePooling1dLayer
MATLAB命令
你点击一个链接对应MATLAB命令: 运行该命令通过输入MATLAB命令窗口。Web浏览器不支持MATLAB命令。金宝app
你也可以从下面的列表中选择一个网站: 选择中国网站(中文或英文)最佳站点的性能。其他MathWorks国家网站不优化的访问你的位置。表现最好的网站怎么走吗
欧洲