主要内容

instancenorm

对每个观察单独在每个通道上进行归一化

折叠所有页面

语法

Y = instancenort (X,offset,scaleFactor)
Y = instancenorm(X,offset,scaleFactor，'DataFormat'，FMT)
Y = instancenorm(___名称、值)

描述

实例归一化操作对每个观察数据独立地跨每个通道的输入数据进行归一化。为了提高训练卷积神经网络的收敛性和降低对网络超参数的敏感性，在卷积和非线性操作之间使用实例归一化，如线性整流函数（Rectified Linear Unit）．

归一化之后，该操作将输入移位一个可学习偏移量β然后用一个可学习的比例因子来衡量γ．

的instancenorm函数将层归一化操作应用于dlarray数据。使用dlarray对象允许您标记维度，从而更容易处理高维数据。属性标记哪些维度对应于空间、时间、通道和批处理维度“S”，“T”，“C”,“B”标签,分别。对于未指定的维度和其他维度，使用“U”标签。为dlarray对象的函数在特定维度上操作时，可以通过格式化dlarray对象，或者使用DataFormat选择。

请注意

类中应用实例规范化layerGraph对象或层数组,使用instanceNormalizationLayer．

例子

Y= instancenorm (X，抵消，scaleFactor）对输入数据应用实例规范化操作X并使用指定的偏移量和比例因子进行转换。

的分组子集上的函数归一化“年代”(空间),“T”(时间)“U”的(未指明的)尺寸X对于每一个观察“C”(频道)和“B”(批量)尺寸，独立。

对于未格式化的输入数据，使用“DataFormat”选择。

Y= instancenorm (X，抵消，scaleFactor、“DataFormat”FMT)将实例规范化操作应用于未格式化的对象dlarray对象X的格式，由FMT使用任何前面的语法。输出Y是未格式化的dlarray对象，其维度顺序与X．例如,“DataFormat”、“SSCB”指定二维图像输入格式的数据“SSCB”(空间，空间，通道，批次)。

Y= instancenorm (___名称,值）除以前语法中的输入参数外，还使用一个或多个名称-值对参数指定选项。例如,‘ε’,3 e-5将方差偏移量设置为3 e-5．

例子

全部折叠

打开实时脚本

创建具有两个空间、一个通道和一个观察维度的随机输入数据。

宽度= 12;身高= 12;通道= 6;numObservations = 16;X = randn(宽度，高度，通道，numObservations);dlX = dlarray(X，“SSCB”）;

创建可学习的参数。

Offset = dlarray(0(通道，1));scaleFactor = dlarray(ones(channels,1));

计算实例规范化。

dlZ = instancenorm(dlX,offset,scaleFactor);

查看规范化数据的大小和格式。

大小(dlZ)
ans =1×412 12 6 16
dim (dlZ)
ans = 'SSCB'

输入参数

全部折叠

输入数据，指定为格式化的dlarray，一个未格式化的dlarray，或数值数组。

如果X是未格式化的dlarray或数值数组，则必须使用DataFormat选择。如果X是数字数组吗scaleFactor或抵消一定是dlarray对象。

X必须有一个“C”(频道)维度。

抵消β，指定为格式化的dlarray，一个未格式化的dlarray类的大小匹配的非单维度的数值数组“C”(通道)输入的维度X．

如果抵消是格式化的dlarray对象，则非单维度必须有标签“C”(通道)。

比例因子γ，指定为格式化的dlarray，一个未格式化的dlarray类的大小匹配的非单维度的数值数组“C”(通道)输入的维度X．

如果scaleFactor是格式化的dlarray对象，则非单维度必须有标签“C”(通道)。

名称-值参数

指定可选参数对为Name1 = Value1,…,以=家,在那里的名字参数名称和价值对应的值。名称-值参数必须出现在其他参数之后，但对的顺序无关紧要。

在R2021a之前，使用逗号分隔每个名称和值，并将其括起来的名字在报价。

例子:‘ε’,3 e-5将方差偏移量设置为3 e-5．

未格式化输入数据的维度顺序，指定为字符向量或字符串标量FMT它为数据的每个维度提供了一个标签。

的格式时dlarray对象，每个字符为数据的每个维度提供一个标签，并且必须是以下之一:

  • “S”——空间

  • “C”——频道

  • “B”-批次(例如，样品和观察)

  • “T”-时间(例如序列的时间步长)

  • “U”——未指明的

您可以指定多个有标记的维度“S”或“U”．你可以使用标签“C”，“B”,“T”最多一次。

您必须指定DataFormat当输入数据未被格式化时dlarray．

数据类型:字符|字符串

用于防止被零除错误的方差偏移量，指定为由逗号分隔的对组成‘ε’和一个大于或等于的数字标量1 e-5．

数据类型:单|双

输出参数

全部折叠

规范化的数据，返回为dlarray．输出Y具有与输入相同的底层数据类型X．

如果输入数据X是格式化的dlarray，Y维度格式与X．如果输入数据没有格式化dlarray，Y是未格式化的dlarray具有与输入数据相同的维度顺序。

算法

实例规范化操作将元素规范化x我首先计算平均值μ我和方差σ我2在空间和时间维度上为每个通道在每个观测独立。然后，计算归一化激活为

x 我 ＾ ＝ x 我 − μ 我 σ 我 2 + ϵ ，

在哪里ϵ是在方差很小时提高数值稳定性的常数。

为了考虑均值和单位方差为零的输入对于实例归一化之后的操作不是最优的可能性，实例归一化操作使用转换进一步转移和扩展激活

y 我 ＝ γ x ＾ 我 + β ，

其中偏移量β还有比例因子γ是在网络训练期间更新的可学习参数。

扩展功能

版本历史

R2021a中引入

另请参阅

||||||||

主题