默认图层初始化

该表显示了每一层可学习参数的默认初始化，并提供了显示如何通过使用相同的初始化来初始化模型函数的可学习参数的链接。

可学习参数大小

在初始化模型函数的可学习参数时，必须指定正确大小的参数。可学习参数的大小取决于深度学习操作的类型。

Glorot初始化

gloot(也称为Xavier)初始化器[1]从有界的均匀分布中采样权值 $$［-\sqrt{\frac{6}{N_o+N_{我}}}，\sqrt{\frac{6}{N_o+N_{我}}}］$$的值N_o和N_我取决于深度学习操作的类型。

要使用gloot初始化器轻松地初始化可学习的参数，可以定义一个自定义函数。这个函数initializeGlorot将可学习参数的大小作为输入深圳还有这些值N_o和N_我（numOut和numIn)，并将采样的权重返回为dlarray具有基础类型的对象“单一”。

函数weight = initializeGlorot(sz,numOut,numIn)“单一”) - 1;bound = sqrt(6 / (numIn + numOut));weights = bound * Z;Weights = darray (Weights);结束

filterSize = [5 5];numChannels = 3;numFilters = 128;sz = [filterSize numChannels numFilters];numOut = prod(filterSize) * numFilters;numIn = prod(filterSize) * numChannels;parameters. conf . weights = initializeGlorot(sz,numOut,numIn);

他的初始化

He初始化式[2]样本权值来自均值和方差均为零的正态分布 $$\frac{2}{N_{我}}$$，其中值N_我取决于深度学习操作的类型。

要使用He初始化器轻松地初始化可学习的参数，可以定义一个自定义函数。这个函数initializeHe将可学习参数的大小作为输入深圳，值N_我，并将采样的权重作为dlarray具有基础类型的对象“单一”。

函数weight = initializeHe(sz,numIn)“单一”) * sqrt(2/numIn);Weights = darray (Weights);结束

filterSize = [5 5];numChannels = 3;numFilters = 128;sz = [filterSize numChannels numFilters];numIn = prod(filterSize) * numChannels;parameters. conf . weights = initializeHe(sz,numIn);

高斯函数初始化

高斯初始化器从正态分布中采样权值。

要使用高斯初始化器轻松地初始化可学习的参数，可以定义一个自定义函数。这个函数initializeGaussian将可学习参数的大小作为输入深圳，分布均值μ，分布标准差σ，并将采样的权重作为dlarray具有基础类型的对象“单一”。

函数weights = randn(sz, mu,sigma)“单一”)*sigma + mu;Weights = darray (Weights);结束

embeddingDimension = 300;vocabularySize = 5000;Mu = 0;Sigma = 0.01;sz = [embeddingDimension vocabularySize];parameters.emb.Weights = initializeGaussian(sz,mu,sigma);

统一的初始化

均匀初始化器从均匀分布中采样权重。

要使用统一初始化器轻松地初始化可学习的参数，可以定义自定义函数。这个函数initializeUniform将可学习参数的大小作为输入深圳，以及分布界绑定，并将采样的权重作为dlarray具有基础类型的对象“单一”。

函数参数= initializeUniform(sz,bound) Z = 2*rand(sz, bound)“单一”) - 1;参数= bound * Z;参数=数组(参数);结束

Sz = [100 100];Bound = 0.1;parameters.attention . weights = initializeUniform(sz,bound);

正交初始化

正交初始化器返回正交矩阵问由的QR分解给出Z = qr,在那里Z是从单位正态分布中抽样，大小为Z匹配可学习参数的大小。

要使用正交初始化器轻松地初始化可学习的参数，可以定义一个自定义函数。这个函数initializeOrthogonal将可学习参数的大小作为输入深圳，并返回正交矩阵为adlarray具有基础类型的对象“单一”。

函数参数= initializeOrthogonal(sz) Z = randn(sz)“单一”）;[Q,R] = qr(Z,0);D = diag(R);Q = Q * diag(D ./ abs(D));参数= darray (Q);结束

numHiddenUnits = 100;sz = [4*numHiddenUnits];parameters.lstm.RecurrentWeights = initializeOrthogonal(sz);

单元遗忘门初始化

单元遗忘门初始化器初始化LSTM操作的偏置，使偏置的遗忘门分量为1，其余项为0。

要使用正交初始化器轻松地初始化可学习的参数，可以定义一个自定义函数。这个函数initializeUnitForgetGate将LSTM操作中的隐藏单元数作为输入，并以a的形式返回偏置dlarray具有基础类型的对象“单一”。

函数bias = 0 (4*numHiddenUnits,1，“单一”）;idx = numHiddenUnits+1:2*numHiddenUnits;Bias (idx) = 1;Bias = darray (Bias);结束

numHiddenUnits = 100;parameters.lstm.Bias = initializeUnitForgetGate(numHiddenUnits，“单一”）;

的初始化

为了方便地初始化可学习的参数，您可以定义一个自定义函数。这个函数initializeOnes将可学习参数的大小作为输入深圳，并返回参数dlarray具有基础类型的对象“单一”。

函数参数参数= ones(sz)“单一”）;参数=数组(参数);结束

numChannels = 128;sz = [numChannels 1];parameters.bn.Scale = initializeOnes(sz);

零初始化

为了方便地用零初始化可学习的参数，可以定义一个自定义函数。这个函数initializeZeros将可学习参数的大小作为输入深圳，并返回参数dlarray具有基础类型的对象“单一”。

函数参数= initializezero (sz)“单一”）;参数=数组(参数);结束

numChannels = 128;sz = [numChannels 1];parameters.bn.Offset = initializezero (sz);

存储可学习参数

建议将给定模型函数的可学习参数存储在单个对象中，例如结构、表或单元格数组。有关如何将可学习参数初始化为结构体的示例，请参见使用模型函数的列车网络。

参数= dlupdate(@gather, Parameters);

参数= dlupdate(@gpuArray，参数);