批标准化层- MATLAB MathWorks印度 - 金宝app,下载188bet金宝搏,金宝搏官方网站

创建

语法

层= batchNormalizationLayer

层= batchNormalizationLayer(名称、值)

描述

层= batchNormalizationLayer创建一个批处理标准化层。

层= batchNormalizationLayer (名称,值)创建一个批处理归一化层和设置可选的TrainedMean,TrainedVariance,ε,参数和初始化,学习速率、正规化,的名字使用一个或多个属性名称-值对。例如,batchNormalizationLayer('名称',' batchnorm ')创建一个批处理标准化层的名称“batchnorm”。

属性

全部展开

批正常化

`TrainedMean`- - - - - -意味着数据用于预测
数值向量

意味着数据用于预测,指定为每通道的数值向量平均值。

根据层输入的类型,trainNetwork,assembleNetwork,layerGraph,dlnetwork自动功能重塑这个属性有以下尺寸:

层的输入	财产大小
功能的输入	`NumChannels`1
输入向量序列	`NumChannels`1
一维图像输入	1 -`NumChannels`
一维图像序列的输入	1 -`NumChannels`
二维图像输入	1-by-1-by -`NumChannels`
二维图像序列的输入	1-by-1-by -`NumChannels`
三维图像输入	1-by-1-by-1-by -`NumChannels`
三维图像序列的输入	1-by-1-by-1-by -`NumChannels`

如果BatchNormalizationStatistics训练方法是“移动”,那么软件接近批规范化使用运行估计和统计在训练,训练后,设置TrainedMean和TrainedVariance属性的最新值的均值和方差的估计,分别。

如果BatchNormalizationStatistics训练方法是“人口”网络训练完成后,软件通过数据和设置TrainedMean和TrainedVariance属性的均值和方差计算整个训练数据集,分别。

层使用TrainedMean和TrainedVariance在预测正常输入。

数据类型:单|双

`TrainedVariance`- - - - - -用于预测方差的统计
数值向量

方差统计数据用于预测,指定为每通道的数字矢量方差值。

根据层输入的类型,trainNetwork,assembleNetwork,layerGraph,dlnetwork自动功能重塑这个属性有以下尺寸:

层的输入	财产大小
功能的输入	`NumChannels`1
输入向量序列	`NumChannels`1
一维图像输入	1 -`NumChannels`
一维图像序列的输入	1 -`NumChannels`
二维图像输入	1-by-1-by -`NumChannels`
二维图像序列的输入	1-by-1-by -`NumChannels`
三维图像输入	1-by-1-by-1-by -`NumChannels`
三维图像序列的输入	1-by-1-by-1-by -`NumChannels`

如果BatchNormalizationStatistics训练方法是“移动”,那么软件接近批规范化使用运行估计和统计在训练,训练后,设置TrainedMean和TrainedVariance属性的最新值的均值和方差的估计,分别。

如果BatchNormalizationStatistics训练方法是“人口”网络训练完成后,软件通过数据和设置TrainedMean和TrainedVariance属性的均值和方差计算整个训练数据集,分别。

层使用TrainedMean和TrainedVariance在预测正常输入。

数据类型:单|双

`ε`- - - - - -不断增加mini-batch方差
`1 e-5`(默认)|数字标量

常数添加mini-batch方差,指定为数字标量等于或大于1 e-5。

层增加这个常数mini-batch方差标准化之前确保数值稳定,避免除零。

数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64

`NumChannels`- - - - - -数量的输入通道
`“汽车”`(默认)|正整数

这个属性是只读的。

输入通道的数量,指定为以下之一:

“汽车”——自动确定培训时间输入通道的数量。
正整数——配置层指定数量的输入通道。NumChannels和的频道数层输入数据必须匹配。例如,如果输入是一个RGB图像NumChannels必须是3。如果输入是输出的卷积和16层过滤器,然后NumChannels必须是16。

数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64|字符|字符串

参数和初始化

`ScaleInitializer`- - - - - -函数来初始化通道规模因素
`“的”`(默认)|`“narrow-normal”`|函数处理

函数来初始化通道规模因素,指定为以下之一:

“的”——初始化通道规模的因素。
“零”——初始化通道规模因素与零。
“narrow-normal”——初始化通道规模因素独立抽样从正态分布的均值为零和标准偏差为0.01。
函数处理——使用一个自定义函数初始化通道规模因素。如果你指定一个函数处理,那么必须表单的功能规模= func(深圳),在那里深圳规模的大小。例如,看到的指定自定义权重的初始化函数。

层只初始化通道规模因素时规模属性是空的。

数据类型:字符|字符串|function_handle

`OffsetInitializer`- - - - - -函数来初始化通道补偿
`“零”`(默认)|`“的”`|`“narrow-normal”`|函数处理

函数来初始化通道补偿,指定为以下之一:

“零”——初始化通道补偿为零。
“的”——初始化通道补偿的。
“narrow-normal”——初始化通道补偿独立抽样从正态分布的均值为零和标准偏差为0.01。
函数处理——使用一个自定义函数初始化通道补偿。如果你指定一个函数处理,那么必须表单的功能抵消= func(深圳),在那里深圳规模的大小。例如,看到的指定自定义权重的初始化函数。

层时才初始化通道补偿抵消属性是空的。

数据类型:字符|字符串|function_handle

`规模`- - - - - -渠道规模因素
`[]`(默认)|数值向量

渠道规模因素γ,指定为一个数值向量。

渠道规模因素是可学的参数。当你训练一个网络,如果规模非空的,那么trainNetwork使用规模属性的初始值。如果规模是空的,然后trainNetwork使用指定的初始化程序ScaleInitializer。

根据层输入的类型,trainNetwork,assembleNetwork,layerGraph,dlnetwork自动功能重塑这个属性有以下尺寸:

层的输入	财产大小
功能的输入	`NumChannels`1
输入向量序列	`NumChannels`1
一维图像输入	1 -`NumChannels`
一维图像序列的输入	1 -`NumChannels`
二维图像输入	1-by-1-by -`NumChannels`
二维图像序列的输入	1-by-1-by -`NumChannels`
三维图像输入	1-by-1-by-1-by -`NumChannels`
三维图像序列的输入	1-by-1-by-1-by -`NumChannels`

数据类型:单|双

`抵消`- - - - - -通道补偿
`[]`(默认)|数值向量

通道补偿β,指定为一个数值向量。

通道补偿参数可学的。当你训练一个网络,如果抵消非空的,那么trainNetwork使用抵消属性的初始值。如果抵消是空的,然后trainNetwork使用指定的初始化程序OffsetInitializer。

根据层输入的类型,trainNetwork,assembleNetwork,layerGraph,dlnetwork自动功能重塑这个属性有以下尺寸:

层的输入	财产大小
功能的输入	`NumChannels`1
输入向量序列	`NumChannels`1
一维图像输入	1 -`NumChannels`
一维图像序列的输入	1 -`NumChannels`
二维图像输入	1-by-1-by -`NumChannels`
二维图像序列的输入	1-by-1-by -`NumChannels`
三维图像输入	1-by-1-by-1-by -`NumChannels`
三维图像序列的输入	1-by-1-by-1-by -`NumChannels`

数据类型:单|双

`MeanDecay`- - - - - -衰减值移动平均计算
0.1(默认)|数字之间的标量`0`和`1`

衰减值移动平均计算,指定为一个数值之间的标量0和1。

当BatchNormalizationStatistics训练方法是“移动”在每个迭代中,层更新移动平均值

$μ^{*} = λ_{μ} \hat{μ} + (1 - λ_{μ}) μ,$

在哪里 $μ^{*}$ 表示更新的意思是, $λ_{μ}$ 表示的意思是衰减值, $\hat{μ}$ 表示层输入的均值 $μ$ 表示移动平均值的最新值。

如果BatchNormalizationStatistics训练方法是“人口”没有影响,那么这个选项。

数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64

`VarianceDecay`- - - - - -衰减值方差计算移动
0.1(默认)|数字之间的标量`0`和`1`

移动衰减值方差计算,指定为一个数值之间的标量0和1。

当BatchNormalizationStatistics训练方法是“移动”在每个迭代中,层更新移动方差值使用

$σ^{2}^{*} = λ_{σ^{2}} \hat{σ^{2}} + (1 - λ_{σ^{2}}) σ^{2},$

在哪里 $σ^{2}^{*}$ 表示更新的方差, $λ_{σ^{2}}$ 表示方差衰减值, $\hat{σ^{2}}$ 表示层输入的方差 $σ^{2}$ 表示移动的最新值方差值。

如果BatchNormalizationStatistics训练方法是“人口”没有影响,那么这个选项。

数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64

学习速率、正规化

`ScaleLearnRateFactor`- - - - - -学习速率因子规模因素
`1`(默认)|负的标量

学习速率因子规模因素,指定为负的标量。

软件由全球学习速率繁殖这个因素来确定学习速率在一层规模因素。例如,如果ScaleLearnRateFactor是2,那么学习速率的规模因素层是当前全球学习速率的两倍。全球学习速率基于软件确定与指定的设置trainingOptions函数。

数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64

`OffsetLearnRateFactor`- - - - - -学习速率的因素进行补偿
`1`(默认)|负的标量

学习速率因子补偿,指定为负的标量。

软件由全球学习速率繁殖这个因素来确定补偿的学习速率在一层。例如,如果OffsetLearnRateFactor是2,那么学习速率的补偿层是当前全球学习速率的两倍。全球学习速率基于软件确定与指定的设置trainingOptions函数。

数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64

`ScaleL2Factor`- - - - - -l₂正则化因子规模因素
`1`(默认)|负的标量

l₂正则化因子规模因素,指定为负的标量。

由全球L软件繁殖这个因素₂正则化因子来确定学习速率的一层规模因素。例如,如果ScaleL2Factor是2,然后L₂正则化的补偿层是全球L的两倍₂正则化因子。您可以指定全球L₂正则化因子使用trainingOptions函数。

数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64

`OffsetL2Factor`- - - - - -l₂正则化因子补偿
`1`(默认)|负的标量

l₂指定的偏移量,正则化因子作为一个负的标量。

由全球L软件繁殖这个因素₂正则化因子来确定补偿的学习速率在一层。例如,如果OffsetL2Factor是2,然后L₂正则化的补偿层是全球L的两倍₂正则化因子。您可以指定全球L₂正则化因子使用trainingOptions函数。

数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64

层

`的名字`- - - - - -层的名字
`”`(默认)|特征向量|字符串标量

图层名称,指定为一个特征向量或字符串标量。为层数组输入,trainNetwork,assembleNetwork,layerGraph,dlnetwork函数自动分配名称层的名称”。

数据类型:字符|字符串

`NumInputs`- - - - - -输入数量
`1`(默认)

这个属性是只读的。

输入层的数量。这一层只接受一个输入。

数据类型:双

`InputNames`- - - - - -输入名字
`{'在'}`(默认)

这个属性是只读的。

输入层的名称。这一层只接受一个输入。

数据类型:细胞

`NumOutputs`- - - - - -数量的输出
`1`(默认)

这个属性是只读的。

输出层的数量。这一层只有一个输出。

数据类型:双

`OutputNames`- - - - - -输出的名字
`{“出”}`(默认)

这个属性是只读的。

输出层的名称。这一层只有一个输出。

数据类型:细胞

算法

全部展开

批归一化层

一批标准化规范化的数据在所有观测mini-batch层每个通道独立。加快卷积神经网络的训练,减少对网络的初始化,使用批卷积层之间的归一化层和非线性,如ReLU层。

第一层可实现每个通道的激活减去mini-batch均值和除以mini-batch标准差。然后,层变化的输入可学的抵消β可学的比例因子和尺度γ。β和γ本身可学的参数更新在网络训练。

批量标准化层正常激活和梯度通过神经网络传播,使网络训练一个更简单的优化问题。充分利用这个事实,你可以尝试增加了学习速率。自优化问题更简单,参数更新可以更大,网络可以更快的学习。你也可以尝试减少L₂和辍学正规化。批归一化层,激活特定的图像在训练取决于图像出现在同一个mini-batch发生。充分利用这个正则化效果,试着在每次训练前训练数据时代洗牌。指定的频率调整数据训练期间,使用“洗牌”名称-值对的观点trainingOptions。

批处理规范化操作可实现元素x_我的输入,首先计算的意思μ_B和方差σ_B²在空间、时间和观察每个通道独立维度。然后,计算归一化激活

$\hat{x_{我}} = \frac{x_{我} - μ_{B}}{\sqrt{σ_{B}^{2} + ϵ}},$

在哪里ϵ是一个常数,提高数值稳定时方差很小。

允许输入的可能性为零均值和单位方差不是最佳的操作遵循批正常化,批处理规范化操作进一步转变和尺度转换激活使用

$y_{我} = γ {\hat{x}}_{我} + β,$

的偏移量β和规模因素γ在网络训练可学的参数更新。

进行预测和网络训练后,批规范化需要一个固定的均值和方差标准化数据。这个固定的均值和方差可以计算从训练数据训练后,或近似在训练使用运行统计计算。

如果BatchNormalizationStatistics训练方法是“移动”,那么软件接近批规范化使用运行估计和统计在训练,训练后,设置TrainedMean和TrainedVariance属性的最新值的均值和方差的估计,分别。

如果BatchNormalizationStatistics训练方法是“人口”网络训练完成后,软件通过数据和设置TrainedMean和TrainedVariance属性的均值和方差计算整个训练数据集,分别。

层使用TrainedMean和TrainedVariance在预测正常输入。

层的输入和输出格式

层一层一层数组或图后续层传递数据格式化dlarray对象。的格式dlarray对象是一个字符串,其中每个字符描述相应的维度的数据。这些字符的格式由一个或多个:

“S”——空间
“C”——频道
“B”——批
“T”——时间
“U”——未指明的

例如,二维图像数据表示成一个四维数组,第一个二维对应于图像的空间维度,第三维对应于图像的通道,第四个维度对应批维度,可以被描述为有格式“SSCB”(空间、空间、通道、批)。

你可以与这些交互dlarray对象等自动分化工作流开发一个自定义图层,使用functionLayer对象,或使用向前和预测功能与dlnetwork对象。

此表显示了支持输入格式金宝appBatchNormalizationLayer对象和相应的输出格式。如果输出层的传递给一个定制的层不继承nnet.layer.Formattable类,或FunctionLayer对象的Formattable属性设置为0(假),然后层接收未格式化dlarray对象的尺寸要求相应的这个表的格式。

输入格式	输出格式
`“CB”`(通道、批处理)	`“CB”`(通道、批处理)
`“渣打银行”`(空间、通道、批处理)	`“渣打银行”`(空间、通道、批处理)
`“SSCB”`(空间、空间、通道、批处理)	`“SSCB”`(空间、空间、通道、批处理)
`“SSSCB”`(空间、空间、空间、通道、批处理)	`“SSSCB”`(空间、空间、空间、通道、批处理)
`“认知行为治疗”`(通道、批量、时间)	`“认知行为治疗”`(通道、批量、时间)
`“SCBT”`(空间、空间、通道、批处理)	`“SCBT”`(空间、空间、通道、批处理)
`“SSCBT”`(空间、空间、通道、批处理时间)	`“SSCBT”`(空间、空间、通道、批处理时间)
`“SSSCBT”`(空间、空间、空间、通道、批处理时间)	`“SSSCBT”`(空间、空间、空间、通道、批处理时间)

扩展功能

C / c++代码生成
生成C和c++代码使用MATLAB®编码器™。

GPU的代码生成
生成NVIDIA的CUDA®代码®GPU使用GPU编码器™。

版本历史

介绍了R2017b

另请参阅

batchNormalizationLayer

描述

创建

语法

描述

属性

批正常化

TrainedMean- - - - - -意味着数据用于预测数值向量

TrainedVariance- - - - - -用于预测方差的统计数值向量

ε- - - - - -不断增加mini-batch方差1 e-5(默认)|数字标量

NumChannels- - - - - -数量的输入通道“汽车”(默认)|正整数

参数和初始化

ScaleInitializer- - - - - -函数来初始化通道规模因素“的”(默认)|“narrow-normal”|函数处理

OffsetInitializer- - - - - -函数来初始化通道补偿“零”(默认)|“的”|“narrow-normal”|函数处理

规模- - - - - -渠道规模因素[](默认)|数值向量

抵消- - - - - -通道补偿[](默认)|数值向量

MeanDecay- - - - - -衰减值移动平均计算0.1(默认)|数字之间的标量0和1

VarianceDecay- - - - - -衰减值方差计算移动0.1(默认)|数字之间的标量0和1

学习速率、正规化

ScaleLearnRateFactor- - - - - -学习速率因子规模因素1(默认)|负的标量

OffsetLearnRateFactor- - - - - -学习速率的因素进行补偿1(默认)|负的标量

ScaleL2Factor- - - - - -l2正则化因子规模因素1(默认)|负的标量

OffsetL2Factor- - - - - -l2正则化因子补偿1(默认)|负的标量

层

的名字- - - - - -层的名字”(默认)|特征向量|字符串标量

NumInputs- - - - - -输入数量1(默认)

InputNames- - - - - -输入名字{'在'}(默认)

NumOutputs- - - - - -数量的输出1(默认)

OutputNames- - - - - -输出的名字{“出”}(默认)

例子

创建批处理标准化层

算法

批归一化层

层的输入和输出格式

引用

扩展功能

C / c++代码生成生成C和c++代码使用MATLAB®编码器™。

GPU的代码生成生成NVIDIA的CUDA®代码®GPU使用GPU编码器™。

版本历史

另请参阅

主题

`TrainedMean`- - - - - -意味着数据用于预测
数值向量

`TrainedVariance`- - - - - -用于预测方差的统计
数值向量

`ε`- - - - - -不断增加mini-batch方差
`1 e-5`(默认)|数字标量

`NumChannels`- - - - - -数量的输入通道
`“汽车”`(默认)|正整数

`ScaleInitializer`- - - - - -函数来初始化通道规模因素
`“的”`(默认)|`“narrow-normal”`|函数处理

`OffsetInitializer`- - - - - -函数来初始化通道补偿
`“零”`(默认)|`“的”`|`“narrow-normal”`|函数处理

`规模`- - - - - -渠道规模因素
`[]`(默认)|数值向量

`抵消`- - - - - -通道补偿
`[]`(默认)|数值向量

`MeanDecay`- - - - - -衰减值移动平均计算
0.1(默认)|数字之间的标量`0`和`1`

`VarianceDecay`- - - - - -衰减值方差计算移动
0.1(默认)|数字之间的标量`0`和`1`

`ScaleLearnRateFactor`- - - - - -学习速率因子规模因素
`1`(默认)|负的标量

`OffsetLearnRateFactor`- - - - - -学习速率的因素进行补偿
`1`(默认)|负的标量

`ScaleL2Factor`- - - - - -l₂正则化因子规模因素
`1`(默认)|负的标量

`OffsetL2Factor`- - - - - -l₂正则化因子补偿
`1`(默认)|负的标量

`的名字`- - - - - -层的名字
`”`(默认)|特征向量|字符串标量

`NumInputs`- - - - - -输入数量
`1`(默认)

`InputNames`- - - - - -输入名字
`{'在'}`(默认)

`NumOutputs`- - - - - -数量的输出
`1`(默认)

`OutputNames`- - - - - -输出的名字
`{“出”}`(默认)

C / c++代码生成
生成C和c++代码使用MATLAB®编码器™。

GPU的代码生成
生成NVIDIA的CUDA®代码®GPU使用GPU编码器™。