主要内容

layerNormalizationLayer

一层一层正常化

扩展所有的页面

    描述

    一层一层标准化规范化mini-batch数据在所有渠道为每个独立的观察。加快复发性和多层感知器神经网络训练,减少对网络的初始化,使用层标准化层后可学的层,如LSTM和完全连接层。

    正常化后,鳞片层的输入可学的比例因子γ可学的抵消和变化β。

    创建

    语法

    层= layerNormalizationLayer
    层= layerNormalizationLayer(名称、值)

    描述

    层= layerNormalizationLayer创建一个层归一化层。

    例子

    层= layerNormalizationLayer (名称、值)设置可选ε,参数和初始化,学习速率、正规化,的名字使用一个或多个属性名称参数。例如,layerNormalizationLayer('名称',' layernorm ')创建一个层归一化层和名字“layernorm”。

    属性

    全部展开

    层正常化

    常数添加mini-batch方差,指定为数字标量等于或大于1 e-5。

    层增加这个常数mini-batch方差标准化之前确保数值稳定,避免除零。

    数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64

    这个属性是只读的。

    输入通道的数量,指定为以下之一:

    • “汽车”——自动确定培训时间输入通道的数量。

    • 正整数——配置层指定数量的输入通道。NumChannels和的频道数层输入数据必须匹配。例如,如果输入是一个RGB图像NumChannels必须是3。如果输入是输出的卷积和16层过滤器,然后NumChannels必须是16。

    数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64|字符|字符串

    参数和初始化

    函数来初始化通道规模因素,指定为以下之一:

    • “的”——初始化通道规模的因素。

    • “零”——初始化通道规模因素与零。

    • “narrow-normal”——初始化通道规模因素独立抽样从正态分布的均值为零和标准偏差为0.01。

    • 函数处理——使用一个自定义函数初始化通道规模因素。如果你指定一个函数处理,那么必须表单的功能规模= func(深圳),在那里深圳规模的大小。例如,看到的指定自定义权重的初始化函数。

    层只初始化通道规模因素时规模属性是空的。

    数据类型:字符|字符串|function_handle

    函数来初始化通道补偿,指定为以下之一:

    • “零”——初始化通道补偿为零。

    • “的”——初始化通道补偿的。

    • “narrow-normal”——初始化通道补偿独立抽样从正态分布的均值为零和标准偏差为0.01。

    • 函数处理——使用一个自定义函数初始化通道补偿。如果你指定一个函数处理,那么必须表单的功能抵消= func(深圳),在那里深圳规模的大小。例如,看到的指定自定义权重的初始化函数。

    层时才初始化通道补偿抵消属性是空的。

    数据类型:字符|字符串|function_handle

    渠道规模因素γ,指定为一个数字数组。

    渠道规模因素是可学的参数。当你训练一个网络,如果规模非空的,那么trainNetwork使用规模属性的初始值。如果规模是空的,然后trainNetwork使用指定的初始化程序ScaleInitializer。

    在培训时,规模是下列之一:

    • 对二维图像输入,数字数组大小1-by-1-by -NumChannels

    • 3 d图像输入,数值数组的大小1-by-1-by-1-by -NumChannels

    • 功能或序列输入,数值大小的数组NumChannels1

    数据类型:单|双

    通道补偿β,指定为一个数字数组。

    通道补偿参数可学的。当你训练一个网络,如果抵消非空的,那么trainNetwork使用抵消属性的初始值。如果抵消是空的,然后trainNetwork使用指定的初始化程序OffsetInitializer。

    在培训时,抵消是下列之一:

    • 对二维图像输入,数字数组大小1-by-1-by -NumChannels

    • 3 d图像输入,数值数组的大小1-by-1-by-1-by -NumChannels

    • 功能或序列输入,数值大小的数组NumChannels1

    数据类型:单|双

    学习速率、正规化

    学习速率因子规模因素,指定为负的标量。

    软件由全球学习速率繁殖这个因素来确定学习速率在一层规模因素。例如,如果ScaleLearnRateFactor是2,那么学习速率的规模因素层是当前全球学习速率的两倍。全球学习速率基于软件确定与指定的设置trainingOptions函数。

    数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64

    学习速率因子补偿,指定为负的标量。

    软件由全球学习速率繁殖这个因素来确定补偿的学习速率在一层。例如,如果OffsetLearnRateFactor是2,那么学习速率的补偿层是当前全球学习速率的两倍。全球学习速率基于软件确定与指定的设置trainingOptions函数。

    数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64

    l2正则化因子规模因素,指定为负的标量。

    由全球L软件繁殖这个因素2正则化因子来确定学习速率的一层规模因素。例如,如果ScaleL2Factor是2,然后L2正则化的补偿层是全球L的两倍2正则化因子。您可以指定全球L2正则化因子使用trainingOptions函数。

    数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64

    l2指定的偏移量,正则化因子作为一个负的标量。

    由全球L软件繁殖这个因素2正则化因子来确定补偿的学习速率在一层。例如,如果OffsetL2Factor是2,然后L2正则化的补偿层是全球L的两倍2正则化因子。您可以指定全球L2正则化因子使用trainingOptions函数。

    数据类型:单|双|int8|int16|int32|int64|uint8|uint16|uint32|uint64

    层

    图层名称,指定为一个特征向量或字符串标量。为层数组输入,trainNetwork,assembleNetwork,layerGraph,dlnetwork函数自动分配名字与名字层”。

    数据类型:字符|字符串

    这个属性是只读的。

    输入层的数量。这一层只接受一个输入。

    数据类型:双

    这个属性是只读的。

    输入层的名称。这一层只接受一个输入。

    数据类型:细胞

    这个属性是只读的。

    输出层的数量。这一层只有一个输出。

    数据类型:双

    这个属性是只读的。

    输出层的名称。这一层只有一个输出。

    数据类型:细胞

    例子

    全部折叠

    打开生活的脚本

    创建一个层归一化层的名字“layernorm”。

    层= layerNormalizationLayer (“名字”,“layernorm”)
    层= LayerNormalizationLayer属性:名称:“layernorm”NumChannels:‘汽车’Hyperparametersε:1.0000 e-05可学的参数偏移:[]:[]显示所有属性

    包括一层归一化层层数组中。

    32 32层= [imageInputLayer ([3]) convolution2dLayer (3 16“填充”1)layerNormalizationLayer reluLayer maxPooling2dLayer (2“步”32岁的,2)convolution2dLayer (3“填充”1)layerNormalizationLayer reluLayer fullyConnectedLayer (10) softmaxLayer classificationLayer]
    层= 11 x1层与层:数组1”的形象输入32 x32x3图像zerocenter正常化2”卷积16 3 x3的隆起与步幅[1]和填充[1 1 1 1]3“一层一层标准化规范化4”ReLU ReLU 5”麦克斯池2 x2马克斯池步(2 - 2)和填充[0 0 0 0]6”卷积32 3 x3的隆起与步幅[1]和填充[1 1 1 1]7“一层一层标准化规范化8”ReLU ReLU 9“完全连接10完全连接层”Softmax Softmax crossentropyex十一”分类输出

    算法

    层标准化操作可实现元素x我的输入,首先计算的意思μl和方差σl2在空间、时间和通道尺寸为每个独立的观察。然后,计算归一化激活

    x 我 ^ = x 我 − μ l σ l 2 + ϵ ,

    在哪里ϵ是一个常数,提高数值稳定时方差很小。

    允许输入的可能性为零均值和单位方差不是最佳的操作遵循层标准化,规范化操作进一步转变和尺度激活层使用转换

    y 我 = γ x ^ 我 + β ,

    的偏移量β和规模因素γ在网络训练可学的参数更新。

    引用

    [1]英航,吉米,杰米•瑞恩Kiros和杰弗里·e·辛顿。“层正常化。“预印本,提交2016年7月21日。https://arxiv.org/abs/1607.06450。

    版本历史

    介绍了R2021a

    另请参阅

    |||||

    主题