層の既定の初期化

この表は,各層の学習可能なパラメーターに関する既定の初期化を示しています。また,同じ初期化を使用して,モデル関数の学習可能なパラメーターを初期化する方法を示すリンクが記載されています。

学習可能なパラメーターのサイズ

モデル関数の学習可能なパラメーターを初期化する場合,正しいサイズのパラメーターを指定しなければなりません。学習可能なパラメーターのサイズは,深層学習演算のタイプによって異なります。

Glorotの初期化

Glorot (Xavierとも呼ばれる)初期化子［1］は,範囲指定付きの一様分布 $$［-\sqrt{\frac{6}{N_o+N_{我}}}，\sqrt{\frac{6}{N_o+N_{我}}}］$$から重みをサンプリングします。ここで,N_oとN_我の値は,深層学習演算のタイプによって異なります。

Glorot初期化子を使用して学習可能なパラメーターを簡単に初期化するため,カスタム関数を定義できます。関数initializeGlorotは,学習可能なパラメーター深圳のサイズ,ならびに値N_oおよびN_我(それぞれnumOutとnumIn)を入力として受け取り,基となる型が“单一”のdlarrayオブジェクトとして,サンプリングされた重みを返します。

函数Z = 2*rand(sz, numOut,numIn)“单一”) - 1;bound =√(6 / (numIn + numOut));weights = bound * Z;重量= dlarray(重量);结束

filterSize = [5 5];numChannels = 3;numFilters = 128;sz = [filterSize numChannels numFilters];numOut = prod(filterSize) * numFilters;numIn = prod(filterSize) * numFilters;parameters.conv.Weights = initializeGlorot(深圳、numOut numIn);

他の初期化

他初期化子［44］は,平均0分散 $$\frac{2}{N_{我}}$$の正規分布から重みをサンプリングします。ここで値N_我は,深層学習演算のタイプによって決まります。

他初期化子を使用して学習可能なパラメーターを簡単に初期化するために,カスタム関数を定義できます。関数initializeHeは,学習可能なパラメーター深圳のサイズと値N_我を入力として受け取り,基となる型が“单一”のdlarrayオブジェクトとして,サンプリングされた重みを返します。

函数(sz,numIn) =初始化“单一”) *√2 / numIn);重量= dlarray(重量);结束

filterSize = [5 5];numChannels = 3;numFilters = 128;sz = [filterSize numChannels numFilters];numIn = prod(filterSize) * numFilters;numIn parameters.conv.Weights = initializeHe(深圳);

ガウスによる初期化

ガウス初期化子は,正規分布から重みをサンプリングします。

ガウス初期化子を使用して学習可能なパラメーターを簡単に初期化するために,カスタム関数を定義できます。関数initializeGaussianは,学習可能なパラメーター深圳のサイズ,分散平均μ、分散標準偏差σを入力として受け取り,基となる型が“单一”のdlarrayオブジェクトとして,サンプリングされた重みを返します。

函数权重= initializgauss (sz,mu,sigma)“单一”σ)* +μ;重量= dlarray(重量);结束

embeddingDimension = 300;vocabularySize = 5000;μ= 0;σ= 0.01;sz = [embedingdimension vocabularySize];parameters.emb.Weights = initializeGaussian (sz、μ、σ);

一様分布による初期化

一様分布初期化子は,一様分布から重みをサンプリングします。

一様分布初期化子を使用して学習可能なパラメーターを簡単に初期化するために,カスタム関数を定義できます。関数initializeUniformは,学習可能なパラメーター深圳のサイズと分布境界绑定を入力として受け取り,基となる型が“单一”のdlarrayオブジェクトとして,サンプリングされた重みを返します。

函数参数= initializeUniform(sz,bound) Z = 2*rand(sz，“单一”) - 1;参数= bound * Z;参数= dlarray(参数);结束

Sz = [100 100];绑定= 0.1;parameters.attentionn.Weights = initializeUniform(深圳、绑定);

直交初期化

直交初期化子は,Z = QRのQR分解によって与えられる直交行列问を返します。ここでZは単位正規分布からサンプリングされ,Zのサイズは学習可能なパラメーターのサイズと一致します。

直交初期化子を使用して学習可能なパラメーターを簡単に初期化するために,カスタム関数を定義できます。関数initializeOrthogonalは,学習可能なパラメーター深圳のサイズを入力として受け取り,基となる型が“单一”のdlarrayオブジェクトとして,直交行列を返します。

函数参数= initializeOrthogonal(sz)“单一”）;(Q, R) = qr (Z, 0);D =诊断接头(R);Q = Q * diag(D ./ abs(D));参数= dlarray (Q);结束

numHiddenUnits = 100;sz = [4*numHiddenUnits numHiddenUnits];parameters.lstm.RecurrentWeights = initializeOrthogonal(深圳);

ユニット忘却ゲートによる初期化

ユニット忘却ゲート初期化子は,バイアスの忘却ゲート成分が1,残りのエントリが0になるように,LSTM演算のバイアスを初期化します。

直交初期化子を使用して学習可能なパラメーターを簡単に初期化するために,カスタム関数を定義できます。関数initializeUnitForgetGateは,LSTM演算の隠れユニットの数を入力として受け取り,基となる型が“单一”のdlarrayオブジェクトとしてバイアスを返します。

函数bias = initializeUnitForgetGate(numHiddenUnits) bias = 0 (4*numHiddenUnits,1，“单一”）;idx = numHiddenUnits + 1:2 * numHiddenUnits;偏见(idx) = 1;偏见= dlarray(偏差);结束

numHiddenUnits = 100;parameters.lstm.Bias = initializeUnitForgetGate (numHiddenUnits,“单一”）;

1での初期化

学習可能なパラメーターを1で簡単に初期化するために,カスタム関数を定義できます。関数initializeOnesは,学習可能なパラメーター深圳のサイズを入力として受け取り,基となる型が“单一”のdlarrayオブジェクトとして,パラメーターを返します。

函数sz, sz, sz, sz，“单一”）;参数= dlarray(重量);结束

numChannels = 128;sz = [numChannels 1];parameters.bn.Scale = initializeOnes(深圳);

ゼロでの初期化

学習可能なパラメーターをゼロで簡単に初期化するために,カスタム関数を定義できます。関数initializeZerosは,学習可能なパラメーター深圳のサイズを入力として受け取り,基となる型が“单一”のdlarrayオブジェクトとして,パラメーターを返します。

函数参数= initializeZeros(sz)“单一”）;参数= dlarray(重量);结束

numChannels = 128;sz = [numChannels 1];parameters.bn.Offset = initializeZeros(深圳);