默认层初始化

此表显示了可学的默认初始化参数为每个层,并提供链接,展示了如何初始化可学的参数模型通过使用相同的初始化函数。

可学的参数大小

当初始化可学的参数模型功能,您必须指定参数的正确的大小。可学的参数的大小取决于深度学习操作的类型。

Glorot初始化

Glorot(也称为Xavier)初始化器[1]样品重量从均匀分布 $$\left(-\sqrt{\frac{6}{N_o+N_{我}}},\sqrt{\frac{6}{N_o+N_{我}}}\right]$$,的值N_o和N_我取决于类型的深度学习操作。

初始化使用Glorot可学的参数初始值设定项,您可以定义一个自定义函数。这个函数initializeGlorot获取参数作为输入的大小可学的深圳和值N_o和N_我(numOut和numIn分别),抽样权重作为回报dlarray对象与基本类型“单一”。

函数重量= initializeGlorot(深圳、numOut numIn) Z = 2 *兰特(深圳,“单一”)- 1;绑定(12 (6 / (numIn + numOut));重量=绑定* Z;重量= dlarray(重量);结束

filterSize = 5 [5];numChannels = 3;numFilters = 128;深圳= [filterSize numChannels numFilters];numOut =刺激(filterSize) * numFilters;numIn =刺激(filterSize) * numFilters;parameters.conv。权重= initializeGlorot(sz,numOut,numIn);

他的初始化

他初始化[2]样品的重量与零均值和方差的正态分布 $$\frac{2}{N_{我}}$$,价值N_我取决于深度学习操作的类型。

初始化使用他可学的参数初始值设定项,您可以定义一个自定义函数。这个函数initializeHe获取参数作为输入的大小可学的深圳,值N_我,并返回权重作为采样dlarray对象与基本类型“单一”。

函数numIn权重= initializeHe(深圳)权重= randn(深圳,“单一”)*√2 / numIn);重量= dlarray(重量);结束

filterSize = 5 [5];numChannels = 3;numFilters = 128;深圳= [filterSize numChannels numFilters];numIn =刺激(filterSize) * numFilters;parameters.conv。权重= initializeHe(sz,numIn);

高斯函数初始化

高斯权重的初始值设定项样本正态分布。

初始化可学的轻松使用高斯参数初始值设定项,您可以定义一个自定义函数。这个函数initializeGaussian获取参数作为输入的大小可学的深圳分布的意思是μ和标准偏差分布σ,并返回权重作为采样dlarray对象与基本类型“单一”。

函数重量= initializeGaussian(深圳,μ、σ)权重= randn(深圳,“单一”σ)* +μ;重量= dlarray(重量);结束

embeddingDimension = 300;vocabularySize = 5000;μ= 0;σ= 0.01;深圳= [embeddingDimension vocabularySize];parameters.emb。权重= initializeGaussian(sz,mu,sigma);

统一的初始化

从均匀分布均匀初始化样本权重。

初始化参数可学的轻松使用统一的初始化,您可以定义一个自定义函数。这个函数initializeUniform获取参数作为输入的大小可学的深圳和分布绑定,并返回权重作为采样dlarray对象与基本类型“单一”。

函数绑定参数= initializeUniform(深圳)Z = 2 *兰特(深圳,“单一”)- 1;参数Z =绑定*;参数= dlarray(参数);结束

深圳= (100 - 100);绑定= 0.1;parameters.attentionn。权重= initializeUniform(sz,bound);

正交初始化

正交初始化器返回正交矩阵问由的QR分解Z = QR,在那里Z从单元正态分布和采样的大小Z匹配的大小可学的参数。

初始化可学的轻松使用正交初始化参数,您可以定义一个自定义函数。这个函数initializeOrthogonal获取参数作为输入的大小可学的深圳,并返回正交矩阵dlarray对象与基本类型“单一”。

函数参数= initializeOrthogonal(深圳)Z = randn(深圳,“单一”);(Q, R) = qr (Z, 0);D =诊断接头(R);Q = Q *诊断接头(D。/ abs (D));参数= dlarray (Q);结束

numHiddenUnits = 100;深圳= [4 * numHiddenUnits numHiddenUnits];parameters.lstm。RecurrentWeights = initializeOrthogonal(深圳);

单位大门忘记初始化

单位大门忘记初始化器初始化的偏见LSTM操作这样的忘记门组件偏见的和剩下的条目是0。

初始化可学的轻松使用正交初始化参数,您可以定义一个自定义函数。这个函数initializeUnitForgetGate需要作为输入隐藏单位的数量LSTM操作,并返回偏见的dlarray对象与基本类型“单一”。

函数偏见= initializeUnitForgetGate (numHiddenUnits)偏见= 0 (4 * numHiddenUnits, 1,“单一”);idx = numHiddenUnits + 1:2 * numHiddenUnits;偏见(idx) = 1;偏见= dlarray(偏差);结束

numHiddenUnits = 100;parameters.lstm。偏见= initializeUnitForgetGate(numHiddenUnits,“单一”);

的初始化

用容易的初始化可学的参数,您可以定义一个自定义函数。这个函数initializeOnes获取参数作为输入的大小可学的深圳,并返回作为参数dlarray对象与基本类型“单一”。

函数参数= initializeOnes(深圳)参数= 1(深圳,“单一”);参数= dlarray(参数);结束

numChannels = 128;深圳= [numChannels 1];parameters.bn。规模= initializeOnes(sz);

零初始化

很容易与零初始化可学的参数,您可以定义一个自定义函数。这个函数initializeZeros获取参数作为输入的大小可学的深圳,并返回作为参数dlarray对象与基本类型“单一”。

函数参数= initializeZeros(深圳)参数= 0(深圳,“单一”);参数= dlarray(参数);结束

numChannels = 128;深圳= [numChannels 1];parameters.bn。抵消= initializeZeros(sz);

存储可学的参数

建议将可学的参数对于一个给定的模型函数存储在一个单独的对象,如结构、表或单元阵列。为一个例子,演示如何初始化可学的参数结构,明白了列车网络的使用模型的功能。

参数= dlupdate (@gather、参数);

参数= dlupdate (@gpuArray、参数);