双向长短期记忆(BiLSTM)层
双向LSTM (BiLSTM)层学习时间序列或序列数据的时间步长之间的双向长期依赖关系。当您希望网络在每个时间步骤中从完整的时间序列中学习时,这些依赖项可能会很有用。
NumHiddenUnits
- - - - - -隐藏单元的数量(也称为隐藏大小),指定为正整数。 隐藏单元的数量对应于时间步骤(隐藏状态)之间所记忆的信息量。隐藏状态可以包含所有以前的时间步骤的信息,而不管序列的长度。如果隐藏单元的数量太大,那么该层可能会过度适合训练数据。这个值从几十个到几千个不等。 隐藏状态不限制迭代中处理的时间步骤的数量。将你的序列分割成更小的序列进行训练,使用 例子:“SequenceLength”
trainingOptions
OutputMode
- - - - - -“序列”
(默认)|“最后一次”
输出格式,指定为下列格式之一:
“序列”
“最后一次”
InputSize
- - - - - -“汽车”
(默认)|输入大小,指定为正整数或 例子:
StateActivationFunction
- - - - - -的双曲正切
(默认)|“softsign”
激活函数来更新单元格和隐藏状态,指定为如下之一: 图层使用这个选项作为函数
的双曲正切
“softsign”
GateActivationFunction
- - - - - -“乙状结肠”
(默认)|“hard-sigmoid”
激活功能,以适用于门,指定为以下之一:
图层使用这个选项作为函数
“乙状结肠”
“hard-sigmoid”
CellState
- - - - - -单元格状态的初始值,指定为 设置此属性后,调用
HiddenState
- - - - - -隐藏状态的初始值,指定为 设置此属性后,调用
InputWeightsInitializer
- - - - - -“glorot”
(默认)|“他”
“正交”
“narrow-normal”|“零”|“的”|函数处理
函数初始化输入权值,指定为以下其中之一: 函数句柄——用自定义函数初始化输入权重。如果指定函数句柄,则该函数必须是这种形式的 属性时,该层才初始化输入权重 数据类型:
“glorot”
“他”
“正交”
“narrow-normal”
“零”
“的”
字符
RecurrentWeightsInitializer
- - - - - -“正交”
(默认)|“glorot”
“他”
“narrow-normal”|“零”|“的”|函数处理
函数初始化递归权值,指定为: 函数句柄——用自定义函数初始化递归权值。如果指定函数句柄,则该函数必须是这种形式的 该层只初始化递归权值 数据类型:
“正交”
“glorot”
“他”
“narrow-normal”
“零”
“的”
字符
BiasInitializer
- - - - - -“unit-forget-gate”
(默认)|“narrow-normal”
“的”
函数初始化偏差,指定为以下任意一个: 函数句柄——用自定义函数初始化偏差。如果指定函数句柄,则该函数必须是这种形式的 该层仅在 数据类型:
“unit-forget-gate”
“narrow-normal”
“的”
字符
InputWeights
- - - - - -[]
(默认)|输入权值,指定为一个矩阵。 输入权矩阵是双向LSTM层中组件(门)的八个输入权矩阵的串联。八个矩阵按以下顺序垂直连接: 输入门(向前) 忘记门(向前) 细胞候选人(向前) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选人(向后) 输出门(向后) 输入权值是可学习的参数。当训练一个网络时,如果 在培训时,
trainNetwork
RecurrentWeights
- - - - - -[]
(默认)|递归权值,用矩阵表示。 递归权矩阵是双向LSTM层中各分量(门)的8个递归权矩阵的串联。八个矩阵按以下顺序垂直连接: 输入门(向前) 忘记门(向前) 细胞候选人(向前) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选人(向后) 输出门(向后) 循环权值是可学习的参数。当训练一个网络时,如果 在培训时,
trainNetwork
偏见
- - - - - -[]
(默认)|层偏差,指定为数字向量。 偏置向量是双向LSTM层中组件(门)的八个偏置向量的串联。这八个矢量垂直连接的顺序如下: 输入门(向前) 忘记门(向前) 细胞候选人(向前) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选人(向后) 输出门(向后) 层偏差是可学习的参数。当训练一个网络时,如果 在培训时,
trainNetwork
InputWeightsLearnRateFactor
- - - - - -输入权值的学习率因子,指定为数字标量或1 × 8数字向量。 该软件将该因子乘以全局学习率,以确定该层的输入权值的学习率因子。例如,如果 控制中四个独立矩阵的学习率因子的值 输入门(向前) 忘记门(向前) 细胞候选人(向前) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选人(向后) 输出门(向后) 要为所有矩阵指定相同的值,请指定一个非负标量。 例子:trainingOptions
0.1
RecurrentWeightsLearnRateFactor
- - - - - -递归权值的学习率因子,指定为数值标量或1 × 8数值向量。 该软件将这个因子乘以全局学习率,以确定该层的循环权值的学习率。例如,如果 控制中四个独立矩阵的学习率值 输入门(向前) 忘记门(向前) 细胞候选人(向前) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选人(向后) 输出门(向后) 要为所有矩阵指定相同的值,请指定一个非负标量。 例子: 例子:trainingOptions
0.1
[1 2 1 1 1 1 1]
BiasLearnRateFactor
- - - - - -偏差的学习率因子,指定为非负标量或1 × 8数字向量。 软件将这个因子乘以全局学习率,以确定这一层偏差的学习率。例如,如果 控制中四个独立矩阵的学习率因子的值 输入门(向前) 忘记门(向前) 细胞候选人(向前) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选人(向后) 输出门(向后) 要为所有矩阵指定相同的值,请指定一个非负标量。 例子: 例子:trainingOptions
2
[1 2 1 1 1 1 1]
InputWeightsL2Factor
- - - - - -L2正则化因子的输入权值,指定为一个数字标量或1乘8的数字向量。 该软件将该因子乘以全局L2正则化因子,以确定L2正则化因子作为该层的输入权值。例如,如果 控制L2正则化因子的值为四个独立的矩阵 输入门(向前) 忘记门(向前) 细胞候选人(向前) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选人(向后) 输出门(向后) 要为所有矩阵指定相同的值,请指定一个非负标量。 例子: 例子:trainingOptions
0.1
[1 2 1 1 1 1 1]
RecurrentWeightsL2Factor
- - - - - -L2正则化因子的循环权值,指定为一个数字标量或1乘8的数字向量。 该软件将该因子乘以全局L2正则化因子,以确定L2正则化因子用于层的循环权值。例如,如果 控制L2正则化因子的值为四个独立的矩阵 输入门(向前) 忘记门(向前) 细胞候选人(向前) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选人(向后) 输出门(向后) 要为所有矩阵指定相同的值,请指定一个非负标量。 例子: 例子:trainingOptions
0.1
[1 2 1 1 1 1 1]
BiasL2Factor
- - - - - -偏差的L2正则化因子,指定为非负标量。 该软件将该因子乘以L2的全局正则化因子,以确定该层偏差的L2正则化。例如,如果 控制L2正则化因子的值为四个独立的矩阵 输入门(向前) 忘记门(向前) 细胞候选人(向前) 输出门(向前) 输入门(向后) 忘记门(向后) 细胞候选人(向后) 输出门(向后) 要为所有矩阵指定相同的值,请指定一个非负标量。 例子: 例子:trainingOptions
2
[1 2 1 1 1 1 1]
的名字
- - - - - -”
(默认)|层名,指定为字符向量或字符串标量。如果 数据类型:字符
NumInputs
- - - - - -层的输入数。这一层只接受单个输入。 数据类型:双
InputNames
- - - - - -{'在'}
(默认)输入层名。这一层只接受单个输入。 数据类型:细胞
NumOutputs
- - - - - -层输出的数量。这一层只有一个输出。 数据类型:双
OutputNames
- - - - - -{“出”}
(默认)输出层的名称。这一层只有一个输出。 数据类型:细胞
创建一个具有名称的双向LSTM层 中包含一个双向LSTM层层= bilstmLayer (100
layer = BiLSTMLayer with properties: Name: 'bilstm1' Hyperparameters InputSize: 'auto' NumHiddenUnits: 100 OutputMode: 'sequence' StateActivationFunction: 'tanh' GateActivationFunction: 'sigmoid' Learnable Parameters inputwights: [] recurrentwights: [] Bias: [] State Parameters HiddenState: [] CellState:[]显示所有属性
inputSize = 12;numHiddenUnits = 100;numClasses = 9;层= [
Layer = 5x1 Layer array with layers: 1”Sequence Input with Sequence Input with 12 dimensions 2”BiLSTM BiLSTM with 100 hidden units 3”Fully Connected 9 Fully Connected Layer 4”Softmax Softmax 5”Classification Output crossentropyex .全连接层
行为在R2019a中改变
从R2019a开始,软件默认使用gloria初始化器初始化该层的层输入权值。这种行为有助于稳定训练,通常减少深度网络的训练时间。 在以前的版本中,默认情况下,该软件从均值为零、方差为0.01的正态分布中使用by抽样初始化层输入权值。要重现这种行为,请设置
行为在R2019a中改变
从R2019a开始,软件默认初始化该层的层循环权值 在以前的版本中,默认情况下,该软件使用平均值为零、方差为0.01的正态分布的by抽样初始化层循环权值。要重现这种行为,请设置
[1]格洛洛,泽维尔,还有约书亚·本吉奥。理解训练深度前馈神经网络的困难在
何开明,张翔宇,任少青,孙健深入研究整流器:在图像网分类上超越人类水平的表现。在
Saxe, Andrew M., James L. McClelland和Surya Ganguli。深度线性神经网金宝搏官方网站络中学习的非线性动力学的精确解
使用注意事项及限制:
当用Intel生成代码时 的 的
使用注意事项及限制: 对于GPU代码生成, 对于GPU代码生成,
classifyAndUpdateState
|flattenLayer
|gruLayer
|lstmLayer
|predictAndUpdateState
|resetState
|sequenceFoldingLayer
|sequenceInputLayer
|sequenceUnfoldingLayer
你点击一个链接对应于这个MATLAB命令: 通过在MATLAB命令窗口中输入命令来运行命令。Web浏览器不支持MATLAB命令。金宝app
选择一个网站,在那里获得翻译的内容,并看到当地的活动和优惠。根据您的位置,我们建议您选择:
你也可以从以下列表中选择一个网站: 选择中国网站(中文或英文)以获得最佳网站性能。其他MathWorks国家站点没有针对您所在位置的访问进行优化。如何获得最佳的网站性能
欧洲