主要内容

instanceNormalizationLayer

实例规范化层

展开全部页面

描述

实例归一层为每个观察单独地在每个通道上归一小批数据。为了提高卷积神经网络训练的收敛性并降低对网络超参数的敏感性，在卷积层和非线性层之间使用实例归一化层，如ReLU层。

归一化后，该层用一个可学习的比例因子对输入进行缩放γ然后用一个可学习偏移量平移它β．

创建

语法

layer = instanceNormalizationLayer
层= instanceNormalizationLayer(名称，值)

描述

例子

layer = instanceNormalizationLayer创建一个实例规范化层。

例子

层= instanceNormalizationLayer(名称，值)创建实例规范化层并设置可选层ε,参数和初始化,学习率和正则化,的名字使用一个或多个名称-值参数的属性。您可以指定多个名称-值参数。将每个属性名用引号括起来。

例子:instanceNormalizationLayer('名称',' instancenorm ')使用名称创建实例规范化层“instancenorm”

属性

全部展开

实例正常化

要添加到小批方差中的常数，指定为等于或大于的数值标量1 e-5．

该层在归一化之前将该常数添加到小批方差中，以确保数值稳定性并避免除零。

输入通道数，指定为“汽车”或者一个正整数。

这个属性总是等于输入到该层的通道数。如果NumChannels是“汽车”，则软件在训练时自动确定正确的通道数值。

参数和初始化

函数初始化通道比例因子，指定为以下之一:

  • “的”-用1初始化通道比例因子。

  • “零”-用零初始化通道比例因子。

  • “narrow-normal”-通过从均值为零、标准差为0.01的正态分布中独立采样，初始化通道尺度因子。

  • 函数句柄——使用自定义函数初始化通道比例因子。如果指定了函数句柄，则该函数必须为Scale = func(sz),在那里深圳是秤的大小。有关示例，请参见指定自定义权重初始化函数．

层只初始化通道比例因子时规模属性为空。

数据类型:字符|字符串|function_handle

函数初始化通道偏移量，指定为以下之一:

  • “零”-用0初始化通道偏移量。

  • “的”-用1初始化通道偏移量。

  • “narrow-normal”-通过从均值为零、标准差为0.01的正态分布中独立采样，初始化通道偏移量。

  • 函数句柄——使用自定义函数初始化通道偏移量。如果指定了函数句柄，则该函数必须为Offset = func(sz),在那里深圳是秤的大小。有关示例，请参见指定自定义权重初始化函数．

层只初始化通道偏移时抵消属性为空。

数据类型:字符|字符串|function_handle

渠道规模因子γ，指定为数值数组。

信道尺度因子是可学习的参数。当你训练一个网络时，如果规模非空吗trainNetwork使用规模属性作为初始值。如果规模那么是空的trainNetwork所指定的初始化式ScaleInitializer．

在训练时，规模是下列之一:

  • 对于2-D图像输入，大小为1 × 1 × -的数值数组NumChannels

  • 对于3-D图像输入，大小为1 × 1 × 1 × -的数值数组NumChannels

  • 对于特征或序列输入，一种大小的数字数组NumChannels1

通道补偿β，指定为数值数组。

信道偏移量是可学习的参数。当你训练一个网络时，如果抵消非空吗trainNetwork使用抵消属性作为初始值。如果抵消那么是空的trainNetwork所指定的初始化式OffsetInitializer．

在训练时，抵消是下列之一:

  • 对于2-D图像输入，大小为1 × 1 × -的数值数组NumChannels

  • 对于3-D图像输入，大小为1 × 1 × 1 × -的数值数组NumChannels

  • 对于特征或序列输入，一种大小的数字数组NumChannels1

学习率和正则化

缩放因子的学习率因子，指定为非负标量。

该软件将该因子乘以全局学习率，以确定一层中尺度因子的学习率。例如，如果ScaleLearnRateFactor是2，则该层中尺度因子的学习率为当前全局学习率的两倍。属性指定的设置来确定全局学习率trainingOptions函数。

偏移量的学习率因子，指定为非负标量。

该软件将该因子乘以全局学习率，以确定一层中偏移量的学习率。例如，如果OffsetLearnRateFactor是2，则该层中偏移量的学习率为当前全局学习率的两倍。属性指定的设置来确定全局学习率trainingOptions函数。

l2比例因子的正则化因子，指定为非负标量。

软件将这个因子乘以全局L2正则化因子来确定一层中尺度因子的学习率。例如，如果ScaleL2Factor是2然后是L2层中偏移量的正则化是全局L的两倍2正则化因子。可以指定全局L2正则化因子使用trainingOptions函数。

l2偏移量的正则化因子，指定为非负标量。

软件将这个因子乘以全局L2正则化因子来确定一层中偏移量的学习率。例如，如果OffsetL2Factor是2然后是L2层中偏移量的正则化是全局L的两倍2正则化因子。可以指定全局L2正则化因子使用trainingOptions函数。

层

层名，指定为字符向量或字符串标量。为层数组输入时，trainNetwork,assembleNetwork,layerGraph,dlnetwork函数自动为层分配名称的名字设置为”．

数据类型:字符|字符串

此属性是只读的。

该层的输入数量。该层只接受单个输入。

数据类型:双

此属性是只读的。

输入层的名称。该层只接受单个输入。

数据类型:细胞

此属性是只读的。

层的输出数量。这个图层只有一个输出。

数据类型:双

此属性是只读的。

输出层的名称。这个图层只有一个输出。

数据类型:细胞

例子

全部折叠

打开实时脚本

创建一个实例规范化层“instancenorm”．

层= instanceNormalizationLayer(“名字”,“instancenorm”）
layer = InstanceNormalizationLayer with properties: Name: 'instancenorm' NumChannels: 'auto'超参数Epsilon: 1.0000 -05 Learnable Parameters偏移量:[]比例:[]显示所有属性

类中包含实例规范化层层数组中。

layers = [imageInputLayer([28 28 3]) convolution2dLayer(5,20) instanceNormalizationLayer reluLayer maxPooling2dLayer(2，“步”，2) fullyConnectedLayer(10) softmaxLayer classificationLayer]
2 " Convolution 20 5x5 convolutions with stride [1 1] and padding [0 0 0 0 0] 3 " Instance normalization Instance normalization 4 " ReLU ReLU 5 " Max Pooling 2x2 Max Pooling with stride [2 2] and padding [0 0 0 0 0] 6 " Fully Connected 10 Fully Connected Layer 7 " Softmax Softmax 8 " Classification Output crossentropyex

算法

实例规范化操作将元素规范化x我首先计算平均值μ我和方差σ我2在空间和时间维度上为每个通道在每个观测独立。然后，计算归一化激活为

x 我 ＾ ＝ x 我 − μ 我 σ 我 2 + ϵ ,

在哪里ϵ是在方差很小时提高数值稳定性的常数。

为了考虑均值和单位方差为零的输入对于实例归一化之后的操作不是最优的可能性，实例归一化操作使用转换进一步转移和扩展激活

y 我 ＝ γ x ＾ 我 + β ,

其中偏移量β还有比例因子γ是在网络训练期间更新的可学习参数。

另请参阅

|||||||

主题

R2021a中引入

深度学习工具箱文档

金宝app

用MATLAB介绍深度学习

用MATLAB介绍深度学习

下载电子书