主要内容

instanceNormalizationLayer

实例的归一化层

扩展所有的页面

描述

归一化层可实现实例mini-batch跨每个通道的数据为每个独立的观察。提高卷积神经网络训练的收敛和减少网络hyperparameters敏感性,使用实例卷积层之间的归一化层和非线性,如ReLU层。

正常化后,鳞片层的输入可学的比例因子γ可学的抵消和变化β。

创建

语法

层= instanceNormalizationLayer
层= instanceNormalizationLayer(名称、值)

描述

例子

层= instanceNormalizationLayer归一化层创建一个实例。

例子

层= instanceNormalizationLayer(名称、值)创建一个实例归一化层和设置可选的ε,参数和初始化,学习速率、正规化,的名字使用一个或多个属性名称参数。您可以指定多个名称参数。在报价附上每个属性的名字。

例子:instanceNormalizationLayer('名称',' instancenorm ')归一化层的名称创建一个实例“instancenorm”

属性

全部展开

实例正常化

常数添加mini-batch方差,指定为数字标量等于或大于1 e-5。

层增加这个常数mini-batch方差标准化之前确保数值稳定,避免除零。

数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64

这个属性是只读的。

输入通道的数量,指定为以下之一:

  • “汽车”——自动确定培训时间输入通道的数量。

  • 正整数——配置层指定数量的输入通道。NumChannels和的频道数层输入数据必须匹配。例如,如果输入是一个RGB图像NumChannels必须是3。如果输入是输出的卷积和16层过滤器,然后NumChannels必须是16。

数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64|字符|字符串

参数和初始化

函数来初始化通道规模因素,指定为以下之一:

  • “的”——初始化通道规模的因素。

  • “零”——初始化通道规模因素与零。

  • “narrow-normal”——初始化通道规模因素独立抽样从正态分布的均值为零和标准偏差为0.01。

  • 函数处理——使用一个自定义函数初始化通道规模因素。如果你指定一个函数处理,那么必须表单的功能规模= func(深圳),在那里深圳规模的大小。例如,看到的指定自定义权重的初始化函数。

层只初始化通道规模因素时规模属性是空的。

数据类型:字符|字符串|function_handle

函数来初始化通道补偿,指定为以下之一:

  • “零”——初始化通道补偿为零。

  • “的”——初始化通道补偿的。

  • “narrow-normal”——初始化通道补偿独立抽样从正态分布的均值为零和标准偏差为0.01。

  • 函数处理——使用一个自定义函数初始化通道补偿。如果你指定一个函数处理,那么必须表单的功能抵消= func(深圳),在那里深圳规模的大小。例如,看到的指定自定义权重的初始化函数。

层时才初始化通道补偿抵消属性是空的。

数据类型:字符|字符串|function_handle

渠道规模因素γ,指定为一个数字数组。

渠道规模因素是可学的参数。当你训练一个网络,如果规模非空的,那么trainNetwork使用规模属性的初始值。如果规模是空的,然后trainNetwork使用指定的初始化程序ScaleInitializer。

在培训时,规模是下列之一:

  • 对二维图像输入,数字数组大小1-by-1-by -NumChannels

  • 3 d图像输入,数值数组的大小1-by-1-by-1-by -NumChannels

  • 功能或序列输入,数值大小的数组NumChannels1

数据类型:单|双

通道补偿β,指定为一个数字数组。

通道补偿参数可学的。当你训练一个网络,如果抵消非空的,那么trainNetwork使用抵消属性的初始值。如果抵消是空的,然后trainNetwork使用指定的初始化程序OffsetInitializer。

在培训时,抵消是下列之一:

  • 对二维图像输入,数字数组大小1-by-1-by -NumChannels

  • 3 d图像输入,数值数组的大小1-by-1-by-1-by -NumChannels

  • 功能或序列输入,数值大小的数组NumChannels1

数据类型:单|双

学习速率、正规化

学习速率因子规模因素,指定为负的标量。

软件由全球学习速率繁殖这个因素来确定学习速率在一层规模因素。例如,如果ScaleLearnRateFactor是2,那么学习速率的规模因素层是当前全球学习速率的两倍。全球学习速率基于软件确定与指定的设置trainingOptions函数。

数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64

学习速率因子补偿,指定为负的标量。

软件由全球学习速率繁殖这个因素来确定补偿的学习速率在一层。例如,如果OffsetLearnRateFactor是2,那么学习速率的补偿层是当前全球学习速率的两倍。全球学习速率基于软件确定与指定的设置trainingOptions函数。

数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64

l2正则化因子规模因素,指定为负的标量。

由全球L软件繁殖这个因素2正则化因子来确定学习速率的一层规模因素。例如,如果ScaleL2Factor是2,然后L2正则化的补偿层是全球L的两倍2正则化因子。您可以指定全球L2正则化因子使用trainingOptions函数。

数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64

l2指定的偏移量,正则化因子作为一个负的标量。

由全球L软件繁殖这个因素2正则化因子来确定补偿的学习速率在一层。例如,如果OffsetL2Factor是2,然后L2正则化的补偿层是全球L的两倍2正则化因子。您可以指定全球L2正则化因子使用trainingOptions函数。

数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64

层

图层名称,指定为一个特征向量或字符串标量。为层数组输入,trainNetwork,assembleNetwork,layerGraph,dlnetwork函数自动分配名字与名字层”。

数据类型:字符|字符串

这个属性是只读的。

输入层的数量。这一层只接受一个输入。

数据类型:双

这个属性是只读的。

输入层的名称。这一层只接受一个输入。

数据类型:细胞

这个属性是只读的。

输出层的数量。这一层只有一个输出。

数据类型:双

这个属性是只读的。

输出层的名称。这一层只有一个输出。

数据类型:细胞

例子

全部折叠

打开生活的脚本

归一化层的名称创建一个实例“instancenorm”。

层= instanceNormalizationLayer (“名字”,“instancenorm”)
层= InstanceNormalizationLayer属性:名称:“instancenorm”NumChannels:‘汽车’Hyperparametersε:1.0000 e-05可学的参数偏移:[]:[]显示所有属性

包括归一化层的一个实例层数组中。

层= [imageInputLayer([3] 28日28日)convolution2dLayer (5、20) instanceNormalizationLayer reluLayer maxPooling2dLayer (2“步”,2)fullyConnectedLayer (10) softmaxLayer classificationLayer]
层= 8 x1层与层:数组1”的形象输入28 x28x3图像zerocenter正常化2”卷积20 5 x5旋转步[1]和填充[0 0 0 0]3“实例规范化标准化实例4”ReLU ReLU 5”麦克斯池2 x2马克斯池步(2 - 2)和填充[0 0 0 0]6”完全连接10完全连接层7“Softmax Softmax 8”crossentropyex分类输出

算法

实例规范化操作可实现元素x我的输入,首先计算的意思μ我和方差σ我2在每个通道的空间和时间维度在每个独立的观察。然后,计算归一化激活

x 我 ^ = x 我 − μ 我 σ 我 2 + ϵ ,

在哪里ϵ是一个常数,提高数值稳定时方差很小。

允许输入的可能性为零均值和单位方差不是最优的规范化操作,遵循实例,该实例规范化操作进一步转变和尺度转换激活使用

y 我 = γ x ^ 我 + β ,

的偏移量β和规模因素γ在网络训练可学的参数更新。

版本历史

介绍了R2021a

另请参阅

|||||||

主题