layerNormalizationLayer
层归一化层
描述
层归一化层对每个观测数据单独地在所有通道上归一小批数据。为了加快循环和多层感知器神经网络的训练,降低网络初始化的敏感性,在可学习层之后使用层归一化层,如LSTM和全连接层。
归一化后,该层用一个可学习的比例因子对输入进行缩放γ然后用一个可学习偏移量平移它β.
创建
属性
例子
算法
层规范化操作规范化元素x我首先计算平均值μl和方差σl2在空间,时间和通道维度为每个观测独立。然后,计算归一化激活为
在哪里ϵ是在方差很小时提高数值稳定性的常数。
为了考虑均值和单位方差为零的输入对于层归一化之后的操作不是最优的可能性,层归一化操作使用转换进一步转移和缩放激活
其中偏移量β还有比例因子γ是在网络训练期间更新的可学习参数。
参考文献
[1]巴、吉米·雷、杰米·瑞安·基罗斯和杰弗里·e·辛顿。“层正常化。”预印本,2016年7月21日提交。https://arxiv.org/abs/1607.06450。
版本历史
R2021a中引入