batchNormalizationLayer

批处理规范化层

展开全部页面

描述

批处理归一层对每个通道的所有观测数据分别进行小批处理。为了加快卷积神经网络的训练并降低对网络初始化的敏感性，在卷积层和非线性层之间使用批量归一化层，如ReLU层。

归一化后，该层用一个可学习的比例因子对输入进行缩放γ然后用一个可学习偏移量平移它β．

创建

语法

layer = batchNormalizationLayer

batchNormalizationLayer(名称，值)

描述

层= batchNormalizationLayer创建一个批处理规范化层。

例子

层= batchNormalizationLayer (名称,值）创建一个批处理规范化层并设置可选TrainedMean，TrainedVariance，ε，参数和初始化，学习率和正则化,的名字属性使用一个或多个名称-值对。例如,batchNormalizationLayer('名称',' batchnorm ')创建名称为的批处理规范化层“batchnorm”．

属性

全部展开

批正常化

`TrainedMean`- - - - - -用于预测的平均统计量
数字数组

用于预测的平均统计量，指定为下列之一:

对于2-D图像输入，大小为1 × 1 × -的数值数组NumChannels
对于3-D图像输入，大小为1 × 1 × 1 × -的数值数组NumChannels
对于特征或序列输入，一种大小的数字数组NumChannels1

如果“BatchNormalizationStatistics”培训选项为“移动”，然后软件在训练期间使用运行估计值逼近批归一化统计数据，并在训练后设置TrainedMean而且TrainedVariance属性分别为移动估计的均值和方差的最新值。

如果“BatchNormalizationStatistics”培训选项为“人口”，然后在网络训练结束后，软件再次遍历数据并设置TrainedMean而且TrainedVariance属性分别为从整个训练数据集计算出的平均值和方差。

该层使用TrainedMean而且TrainedVariance在预测过程中对输入进行归一化。

`TrainedVariance`- - - - - -方差统计用于预测
数字数组

方差统计用于预测，指定为以下之一:

对于2-D图像输入，大小为1 × 1 × -的数值数组NumChannels
对于3-D图像输入，大小为1 × 1 × 1 × -的数值数组NumChannels
对于特征或序列输入，一种大小的数字数组NumChannels1

该层使用TrainedMean而且TrainedVariance在预测过程中对输入进行归一化。

`ε`- - - - - -添加到小批量方差的常数
`1 e-5`(默认)|数字标量

要添加到小批方差中的常数，指定为等于或大于的数值标量1 e-5．

该层在归一化之前将该常数添加到小批方差中，以确保数值稳定性并避免除零。

`NumChannels`- - - - - -输入通道数
`“汽车”`(默认)|正整数

输入通道数，指定为“汽车”或者一个正整数。

这个属性总是等于输入到该层的通道数。如果NumChannels是“汽车”，则软件在训练时自动确定正确的通道数值。

参数和初始化

`ScaleInitializer`- - - - - -函数初始化通道比例因子
`“的”`(默认)|`“narrow-normal”`|函数处理

函数初始化通道比例因子，指定为以下之一:

“的”-用1初始化通道比例因子。
“零”-用零初始化通道比例因子。
“narrow-normal”-通过从均值为零、标准差为0.01的正态分布中独立采样，初始化通道尺度因子。
函数句柄——使用自定义函数初始化通道比例因子。如果指定了函数句柄，则该函数必须为Scale = func(sz),在那里深圳是秤的大小。有关示例，请参见指定自定义权重初始化函数．

层只初始化通道比例因子时规模属性为空。

数据类型:字符|字符串|function_handle

`OffsetInitializer`- - - - - -函数初始化通道偏移量
`“零”`(默认)|`“的”`|`“narrow-normal”`|函数处理

函数初始化通道偏移量，指定为以下之一:

“零”-用0初始化通道偏移量。
“的”-用1初始化通道偏移量。
“narrow-normal”-通过从均值为零、标准差为0.01的正态分布中独立采样，初始化通道偏移量。
函数句柄——使用自定义函数初始化通道偏移量。如果指定了函数句柄，则该函数必须为Offset = func(sz),在那里深圳是秤的大小。有关示例，请参见指定自定义权重初始化函数．

层只初始化通道偏移时抵消属性为空。

数据类型:字符|字符串|function_handle

`规模`- - - - - -渠道规模因子
`［］`(默认)|数字数组

渠道规模因子γ，指定为数值数组。

信道尺度因子是可学习的参数。当你训练一个网络时，如果规模非空吗trainNetwork使用规模属性作为初始值。如果规模那么是空的trainNetwork所指定的初始化式ScaleInitializer．

在训练时，规模是下列之一:

对于2-D图像输入，大小为1 × 1 × -的数值数组NumChannels
对于3-D图像输入，大小为1 × 1 × 1 × -的数值数组NumChannels
对于特征或序列输入，一种大小的数字数组NumChannels1

`抵消`- - - - - -通道补偿
`［］`(默认)|数字数组

通道补偿β，指定为数值数组。

信道偏移量是可学习的参数。当你训练一个网络时，如果抵消非空吗trainNetwork使用抵消属性作为初始值。如果抵消那么是空的trainNetwork所指定的初始化式OffsetInitializer．

在训练时，抵消是下列之一:

对于2-D图像输入，大小为1 × 1 × -的数值数组NumChannels
对于3-D图像输入，大小为1 × 1 × 1 × -的数值数组NumChannels
对于特征或序列输入，一种大小的数字数组NumChannels1

`MeanDecay`- - - - - -移动平均计算的衰减值
0．1(默认)|数值标量之间`0`而且`1`

移动平均值计算的衰减值，指定为之间的数值标量0而且1．

当“BatchNormalizationStatistics”培训选项为“移动”，在每次迭代中，该层使用更新移动平均值

$μ^{＊} ＝ λ_{μ} \overset{＾}{μ} + （ 1 - λ_{μ} ） μ ，$

在哪里 $μ^{＊}$ 表示更新后的平均值， $λ_{μ}$ 表示衰减的平均值， $\overset{＾}{μ}$ 表示层输入的平均值，和 $μ$ 表示移动平均值的最新值。

如果“BatchNormalizationStatistics”培训选项为“人口”，则此选项无效。

数据类型:单|双

`VarianceDecay`- - - - - -移动方差计算的衰减值
0．1(默认)|数值标量之间`0`而且`1`

用于移动方差计算的衰减值，指定为之间的数值标量0而且1．

当“BatchNormalizationStatistics”培训选项为“移动”，在每次迭代中，该层使用更新移动方差值

$σ^{2}^{＊} ＝ λ_{σ^{2}} \overset{＾}{σ^{2}} + （ 1 - λ_{σ^{2}} ） σ^{2} ，$

在哪里 $σ^{2}^{＊}$ 表示更新后的方差， $λ_{σ^{2}}$ 表示方差衰减值， $\overset{＾}{σ^{2}}$ 表示层输入的方差，和 $σ^{2}$ 表示移动方差值的最新值。

如果“BatchNormalizationStatistics”培训选项为“人口”，则此选项无效。

数据类型:单|双

学习率和正则化

`ScaleLearnRateFactor`- - - - - -学习率因子为尺度因子
`1`(默认)|负的标量

缩放因子的学习率因子，指定为非负标量。

该软件将该因子乘以全局学习率，以确定一层中尺度因子的学习率。例如，如果ScaleLearnRateFactor是2，则该层中尺度因子的学习率为当前全局学习率的两倍。属性指定的设置来确定全局学习率trainingOptions函数。

`OffsetLearnRateFactor`- - - - - -偏移的学习率因子
`1`(默认)|负的标量

偏移量的学习率因子，指定为非负标量。

该软件将该因子乘以全局学习率，以确定一层中偏移量的学习率。例如，如果OffsetLearnRateFactor是2，则该层中偏移量的学习率为当前全局学习率的两倍。属性指定的设置来确定全局学习率trainingOptions函数。

`ScaleL2Factor`- - - - - -l₂尺度因子的正则化因子
`1`(默认)|负的标量

l₂比例因子的正则化因子，指定为非负标量。

软件将这个因子乘以全局L₂正则化因子来确定一层中尺度因子的学习率。例如，如果ScaleL2Factor是2然后是L₂层中偏移量的正则化是全局L的两倍₂正则化因子。可以指定全局L₂正则化因子使用trainingOptions函数。

`OffsetL2Factor`- - - - - -l₂偏移量的正则化因子
`1`(默认)|负的标量

l₂偏移量的正则化因子，指定为非负标量。

软件将这个因子乘以全局L₂正则化因子来确定一层中偏移量的学习率。例如，如果OffsetL2Factor是2然后是L₂层中偏移量的正则化是全局L的两倍₂正则化因子。可以指定全局L₂正则化因子使用trainingOptions函数。

层

`的名字`- - - - - -层的名字
`”`(默认)|特征向量|字符串标量

层名，指定为字符向量或字符串标量。为层数组输入时，trainNetwork，assembleNetwork，layerGraph,dlnetwork函数自动为层分配名称的名字设置为”．

数据类型:字符|字符串

`NumInputs`- - - - - -输入数量
`1`(默认)

此属性是只读的。

该层的输入数量。该层只接受单个输入。

数据类型:双

`InputNames`- - - - - -输入名字
`{'在'}`(默认)

此属性是只读的。

输入层的名称。该层只接受单个输入。

数据类型:细胞

`NumOutputs`- - - - - -输出数
`1`(默认)

此属性是只读的。

层的输出数量。这个图层只有一个输出。

数据类型:双

`OutputNames`- - - - - -输出的名字
`{“出”}`(默认)

此属性是只读的。

输出层的名称。这个图层只有一个输出。

数据类型:细胞

例子

全部折叠

创建批处理规范化层

打开实时脚本

用名称创建一个批处理规范化层“BN1”．

层= batchNormalizationLayer(“名字”，“BN1”）

layer = BatchNormalizationLayer with properties: Name: 'BN1' NumChannels: 'auto' TrainedMean: [] TrainedVariance:[]超参数MeanDecay: 0.1000 VarianceDecay: 0.1000 Epsilon: 1.0000 -05 Learnable Parameters偏移量:[]Scale:[]显示所有属性

中包含批处理规范化层层数组中。

图层= [imageInputLayer([32 32 3])卷积2dlayer (3,16，“填充”，1) maxPooling2dLayer(2，“步”32岁的,2)convolution2dLayer (3“填充”，1) batchNormalizationLayer reluLayer fullyConnectedLayer(10) softmaxLayer classificationLayer

带有图层的图层数组:1”的形象输入32 x32x3图像zerocenter正常化2”卷积16 3 x3的隆起与步幅[1]和填充[1 1 1 1]3“批量标准化批量标准化4”ReLU ReLU 5”麦克斯池2 x2马克斯池步(2 - 2)和填充[0 0 0 0]6”卷积32 3 x3的隆起与步幅[1]和填充[1 1 1 1]7“批量标准化批量标准化8”ReLU ReLU 9“完全连接10完全连接层”Softmax Softmax 11”分类输出crossentropyex

算法

批归一化操作将元素归一化x_我首先计算平均值μ_B和方差σ_B²在空间，时间和观测维度上为每个通道独立。然后，计算归一化激活为

$\overset{＾}{x_{我}} ＝ \frac{x_{我} - μ_{B}}{\sqrt{σ_{B}^{2} + ϵ}} ，$

在哪里ϵ是在方差很小时提高数值稳定性的常数。

为了考虑均值和单位方差为零的输入对于后续批处理归一化操作不是最优的可能性，批处理归一化操作使用转换进一步转移和缩放激活

$y_{我} ＝ γ {\overset{＾}{x}}_{我} + β ，$

其中偏移量β还有比例因子γ是在网络训练期间更新的可学习参数。

为了在训练后用网络进行预测，批量归一化需要一个固定的均值和方差来归一化数据。这个固定的平均值和方差可以从训练后的训练数据中计算出来，或者在训练期间使用运行统计计算来近似。

该层使用TrainedMean而且TrainedVariance在预测过程中对输入进行归一化。

参考文献

约菲、谢尔盖和克里斯蒂安·塞格迪。“批处理归一化:通过减少内部协变量移位加速深度网络训练。”预印本，2015年3月2日提交。https://arxiv.org/abs/1502.03167。

扩展功能

C/ c++代码生成
使用MATLAB®Coder™生成C和c++代码。

GPU代码生成
使用GPU Coder™为NVIDIA®GPU生成CUDA®代码。

另请参阅

主题

在R2017b中引入

batchNormalizationLayer

描述

创建

语法

描述

属性

批正常化

TrainedMean- - - - - -用于预测的平均统计量数字数组

TrainedVariance- - - - - -方差统计用于预测数字数组

ε- - - - - -添加到小批量方差的常数1 e-5(默认)|数字标量

NumChannels- - - - - -输入通道数“汽车”(默认)|正整数

参数和初始化

ScaleInitializer- - - - - -函数初始化通道比例因子“的”(默认)|“narrow-normal”|函数处理

OffsetInitializer- - - - - -函数初始化通道偏移量“零”(默认)|“的”|“narrow-normal”|函数处理

规模- - - - - -渠道规模因子［］(默认)|数字数组

抵消- - - - - -通道补偿［］(默认)|数字数组

MeanDecay- - - - - -移动平均计算的衰减值0．1(默认)|数值标量之间0而且1

VarianceDecay- - - - - -移动方差计算的衰减值0．1(默认)|数值标量之间0而且1

学习率和正则化

ScaleLearnRateFactor- - - - - -学习率因子为尺度因子1(默认)|负的标量

OffsetLearnRateFactor- - - - - -偏移的学习率因子1(默认)|负的标量

ScaleL2Factor- - - - - -l2尺度因子的正则化因子1(默认)|负的标量

OffsetL2Factor- - - - - -l2偏移量的正则化因子1(默认)|负的标量

层

的名字- - - - - -层的名字”(默认)|特征向量|字符串标量

NumInputs- - - - - -输入数量1(默认)

InputNames- - - - - -输入名字{'在'}(默认)

NumOutputs- - - - - -输出数1(默认)

OutputNames- - - - - -输出的名字{“出”}(默认)

例子

创建批处理规范化层

更多关于

批处理规范化层

算法

参考文献

扩展功能

C/ c++代码生成使用MATLAB®Coder™生成C和c++代码。

GPU代码生成使用GPU Coder™为NVIDIA®GPU生成CUDA®代码。

另请参阅

主题

深度学习工具箱文档

金宝app

用MATLAB介绍深度学习

`TrainedMean`- - - - - -用于预测的平均统计量
数字数组

`TrainedVariance`- - - - - -方差统计用于预测
数字数组

`ε`- - - - - -添加到小批量方差的常数
`1 e-5`(默认)|数字标量

`NumChannels`- - - - - -输入通道数
`“汽车”`(默认)|正整数

`ScaleInitializer`- - - - - -函数初始化通道比例因子
`“的”`(默认)|`“narrow-normal”`|函数处理

`OffsetInitializer`- - - - - -函数初始化通道偏移量
`“零”`(默认)|`“的”`|`“narrow-normal”`|函数处理

`规模`- - - - - -渠道规模因子
`［］`(默认)|数字数组

`抵消`- - - - - -通道补偿
`［］`(默认)|数字数组

`MeanDecay`- - - - - -移动平均计算的衰减值
0．1(默认)|数值标量之间`0`而且`1`

`VarianceDecay`- - - - - -移动方差计算的衰减值
0．1(默认)|数值标量之间`0`而且`1`

`ScaleLearnRateFactor`- - - - - -学习率因子为尺度因子
`1`(默认)|负的标量

`OffsetLearnRateFactor`- - - - - -偏移的学习率因子
`1`(默认)|负的标量

`ScaleL2Factor`- - - - - -l₂尺度因子的正则化因子
`1`(默认)|负的标量

`OffsetL2Factor`- - - - - -l₂偏移量的正则化因子
`1`(默认)|负的标量

`的名字`- - - - - -层的名字
`”`(默认)|特征向量|字符串标量

`NumInputs`- - - - - -输入数量
`1`(默认)

`InputNames`- - - - - -输入名字
`{'在'}`(默认)

`NumOutputs`- - - - - -输出数
`1`(默认)

`OutputNames`- - - - - -输出的名字
`{“出”}`(默认)

C/ c++代码生成
使用MATLAB®Coder™生成C和c++代码。

GPU代码生成
使用GPU Coder™为NVIDIA®GPU生成CUDA®代码。