。
新闻畳み込みニューラルネットワーク(Convnet)の作物と学习最初のステップは,ネットワークアーキテクチャの定义です。ここでは,convnetの层の详细,それらがconvnetに现れる顺序について明します。一道,およびおよびそれら层を作物するについて,<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ug/list-of-deep-learning-layers.html" class="a">深层学习层の一道を参照してください。シーケンス分类およびシーケンス回帰ののためlstmネットワークについては,<一种HR.E.F="//www.tatmou.com/jp/help/deeplearning/ug/long-short-term-memory-networks.html" class="a">长短记忆记忆独参照しくださいください。独自のカスタム层を作物作作作作者人についてについて,<一种HR.E.F="//www.tatmou.com/jp/help/deeplearning/ug/define-custom-deep-learning-layers.html" class="a">カスタム深层学习层の定义を参照してください。
ネットワークれる层のとはます,ののまたはデータによってます,カテゴリカルのがあるによって。たとえば,カテゴリカル応答が场変わり。层が必要です。一方,応答応答が的的であるであるはのの最后回帰层回帰层必要です必要必要がががまたはまたはまたはまたはまたはまたはまたはネットワークは习习规模なネットワークはは习习习习习习习习习单方面,数百语枚のカラーイメージ含むよりなデータについて,复数ののと全全层持つ,よりよりを持つ必要に复雑持つます必要になるがが必要必要なるががます。
すべてのの层が顺顺ににされた深いネットワークのアーキテクチャを指定するにはたとえばたとえばの配列を作にしたとえばたとえばたとえばのクラスににグレースケールイメージををのにに类类ネットワーク作物は,次の层配列を指定しますます。
图层= [ImageInputLayer([28 28 1])卷积2dlayer(3,16,'填充',1)BatchnormalizationLayer Ruilulayer MaxPooling2Dlayer(2,'),2)卷积2dlayer(3,32,'填充',1)BatchnormalizationLayer Rululayer完全连接覆盖器(10)SoftMaxLayer分类层];
层数
は,<一种HR.E.F="//www.tatmou.com/jp/help/deeplearning/ref/nnet.cnn.layergraph.html">分层图
オブジェクトオブジェクト使使。
イメージイメージ力量层,<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/nnet.cnn.layer.imageinputlayer.html">imageInputlayer.
をを用し作物成し。
イメージイメージ力层,ネットワークにイメージイメージ入力し,データ正式化を适。
イメージのサイズは,参数
2次元次元畳み込み层,入力にスライディング畳み込みフィルターをし。2次元畳み込み层は<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/nnet.cnn.layer.convolution2dlayer.html">Convolution2Dlayer.
をを用し作物成し。
畳み込み层ははさまざまななコンポーネントで构构されれ
畳み込み层は,入力イメージまたは前层の出ののににするニューロンで构构さますニューロンは,イメージは,イメージスキャンする间に,これらの领域でするされた徴领域でさ。关联<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/nnet.cnn.layer.convolution2dlayer.html">Convolution2Dlayer.
をを用して层を作物
各领域に対してに対して,关节
。
フィルターが动弹に使使サイズは
次のイメージは,ストライド2でで力をする3行3列のフィルターをています。下载のマップは入を表し,上侧のマップは力を表し表し。
フィルターフィルター重みの数号,h * w * cです.hはフィルターの高,wはフィルターの幅,cはは力のチャネルチャネル。たとえば,入力がイメージイメージののの,カラーカラーのは3です。关联数によって,畳み込み层にあるあるののチャネル数が决まり。关键词
膨张畳み込みとは,フィルターの要素间に插入され空间によってフィルターが张される畳み込みです。
膨张畳み込みを使し,パラメーターパラメーター数量计算を増やさ,层の受容野(层で确认できるできるの)ををことができます。
各フィルター要素间にゼロ插入すると,层のフィルターが拡张されれれれれれれこれとであるフィルターステップアップサンプリングこれを决定ししのサンプリングを决定しししアップサンプリングを决定しししアップサンプリングを决定しししサンプリングを决定フィルターサイズ(过滤尺寸 - 1)。*扩张因子+ 1に相当します。たとえば,膨张数数
次次イメージは,入力をスキャンする,系数2でで张管理器さた3行3列のフィルターをいいます。下载のマップ入入を表し,上侧のマップ入力を表します。
フィルターがが力に沿っててするするにて,畳み込みと同じ重みのと同じバイアス使使てて,
名称と値のペアペアの数
次次イメージは,サイズ1のパディングで入入をする3行3列のフィルター示しいます。下载のマップはを表し,上侧のは入力を表し表し。
畳み込み层ののの高于さと幅は(输入尺寸 - ((滤波尺寸 - 1)*扩张因子+ 1)+ 2 *填充)/步幅+ 1です。このこの値,イメージ全体を完全カバーする数でなければなりません。これらのオプションの组みわせでイメージ全ををにカバーできない场场は,畳み込みの右端は,畳み込みイメージのとのにての残りののがさますますされれ。
出力の高さと幅积积によってによってによってによってによってによってののののののの积がられます。畳み込み畳み込みのられますます。畳み込み畳み込みのられますます。畳み込み,地图尺寸*滤波器数量にになり数。
たとえば,入力イメージが32 x 32 x 3のカラーであるとします畳み込み层层,フィルターのフィルターを畳み込み层で,フィルターサイズが5 x 5のの场场あたり重み重み数码5 * 5 * 3 =75,层层パラメーターパラメーターのは(75 + 1)* 8 = 608になります。各方向のストライドが2で,パディングのサイズてて2が指定されているいる合书,各特价マップは16 x 16ににますこれ,(32 - 5 + 2 * 2)/ 2 + 1 = 16.5,イメージの右侧と下载で外侧のゼロののがが破弃されるためためため的破弃破弃されるため。のニューロンのの数は16 * 16 * 8 = 2048になります。
これらこれらのニューロンからの结果结果通讯,正规化纤ユニット(Relu)など,なんらかの形の非非性を通讯。
畳み込み畳み込みのを行うに,名称と値のペアのを使ててできオプションををしできますをオプション指定しないこと选択をしないないをしたしないない选択しししないないない选択しし场ないこと选択したないないこと选択たた场ないないをしし场ないないをした场场ない选択选択た场ないないをしし场场ない选択选択し场场ないこと选択
畳み込み以上のは层でさはさ。
バッチ正规化学は<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/nnet.cnn.layer.batchnormalizationlayer.html">BatchnormalizationLayer.
をを用し作物成し。
バッチ正式化学は,ミニバッチミニバッチ体で各各チャネル正式化学习ます畳み込みニューラルネットワーク习速度ををををの,ネットワークネットワーク初に対する感度をには,畳み込み层の间にある正式化学と,relu层层などの非形形ををを使使し
この层はまず,ミニバッチの平均をし,ミニバッチの标准偏差で除算すること,各各の活性を正式化さらに,この层は,します。さらに,このは,学校可以なβだけ入力をし,それを学习可ななスケールγでスケーリングし。βとΓはは自体が学习可以なパラメーター,ネットワークネットワーク学习中に更新闻。
バッチ正规化学は,ニューラルネットワークを通じて伝播される活性ます勾配正式しますますこれにより习は単なな最を十问题になりなります最を十になりなりますます最适问题になりますためためためためためためためためためためためためためためためためためために増やすことができます。このこの最适问题问题简体なな,パラメーターの更新数量が大厦,ネットワークの学习时间を短缩ます。また,l
relu层は<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/nnet.cnn.layer.relulayer.html">抵押者
をを用し作物成し。
Relu层层,入力の各要素に対してしきい値を行,値がゼロよりも小さいさいはに设定设定设定设定しししますますますますますますますますますますますますますますますますます。
通常,畳み込み层やバッチ正式化层の后は,relu层层によってされる正式化纤ユニット(relu)などなどの非形活性ユニット形活性ます形活性化化ますます.RELU层层,各各要素に対してしきい値値値处处处値実実,次のように入値ゼロより小さい场はににします。
relu层はは力のを変更変更しませ。
他异なるにもを実しし活性によってはれる非形活性形活性层があり非活性活性ががあり非について活性ががありれる非形活性ががありあり非活性ががありあり非活性活性がありれるあり活性活性がありありあり形活性活性层处ありありあり活性层がありありあり活性层がありありありあり活性层がありありありあり层层ありありありあり层层处ありありあり活性层が处ありあり活性层が改善はれるれるあり层层改善ははます形活性层层改善は実実形活性层层改善ははれる形活性度层改善はれるれる形活性度が改善改善れるれる度形活性がが改善れる実実形活性しが处处実実形活性度が处处実実形活性がが处处実実形活性がが处处実度形活性がが处れる実実形活性が改善处ネットワーク実度度が改善处れるれる形活性がが改善されるれる形活性度が改善される非形活性がが改善されるれる形活性がが改善れるれる形活性形活性が改善改善れるれる形活性层が改善される形活性形活性层がされる非形活性层が改善される形活性形活性层がされる形活性活性层がありありあり活性ががありあり活性活性ががありありあり活性活性ががありあり活性活性ががありありについて<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ug/list-of-deep-learning-layers.html" class="a">活性化工を参照してください。
クロスチャネル正规化学は<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/nnet.cnn.layer.crosschannelnormalizationlayer.html">CrosschannelnormalizationLayer.
をを用し作物成し。
チャネルチャネルのの所(クロスクロス)正式化层,チャネルチャネルの正式化を行。
この层では,チャネル単位のの所正式化は活性実しはは配置活性活性れこのこのに配置されれますこの层はされれますこのに要素をれれ要素要素邻接ををし邻接邻接邻接しし要素(正规(正式化)の要素)をを使し取得するつまり置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え
ここで,k,α,およびβは正式化でハイパーで,ssは正式化ウィンドウのは正式和ですここパーで,平方英ウィンドウここ要素の平でし计算しでパラメーターでの平の平平で平平平で<一种HR.E.F="//www.tatmou.com/jp/help/deeplearning/ug/layers-of-a-convolutional-neural-network.html" class="intrnllnk">[2]。关节有关部
前述前述正式化<一种HR.E.F="//www.tatmou.com/jp/help/deeplearning/ug/layers-of-a-convolutional-neural-network.html" class="intrnllnk">[2]にに记载されれていると少し异なり异なり式と少し异なり
最大プーリング层は,入力を四角形のプーリングににし,各领域の最大値をするによって,ダウンサンプリングによってによってし。最大プーリング层は<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/nnet.cnn.layer.maxpooling2dlayer.html">maxpooling2dlayer.
をを用し作物成し。
平台プーリング层は,入力を四角形の领域ににし,各领域の平等値计算するによって,ダウンサンプリングダウンサンプリング実し。平等プーリング层は<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/nnet.cnn.layer.averagepooling2dlayer.html">普通Pooling2dlayer.
をを用し作物成し。
プーリング层は,畳み込み层の后あり,ダウンサンプリングを行います。これこれ,后続の层へのの自体は少なくなります。これら自体は少なくなります。また,过结合をを抑えるために役立ち役立ちににも役立ち役立ちににも役立ち役立ちにもも役立ち
最大プーリング层は,入力の矩形领域の大大値を返し返し返しをサイズ返しはサイズサイズサイズサイズサイズ
プーリング层は,名称と値のペアの数
重ならない领域(池尺寸とと脚がが)についてについて,プーリング层へのの力がn x nであり,プーリング领域のサイズがh x hであるである合,プーリング层は领域ををでし<一种HR.E.F="//www.tatmou.com/jp/help/deeplearning/ug/layers-of-a-convolutional-neural-network.html" class="intrnllnk">[6]。つまり、畳み込み層の 1 つのチャネルの最大プーリング層と平均プーリング層の出力は、n/h x n/h になります。重なる領域については、プーリング層の出力は (Input Size – Pool Size + 2*Padding)/Stride + 1 になります。
ドロップアウト层は<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/nnet.cnn.layer.dropoutlayer.html">DropoutLayer.
をを用し作物成し。
ドロップアウト层は,与えられた确率でランダム,入力要素をゼロに设定し。
学习时に,この层によってドロップアウトマスク
最大プーリング层および平衡プーリング层と同様に,この层では学习习行われません。
全结合层は<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/nnet.cnn.layer.fullyconnectedlayer.html">全康统计层
をを用し作物成し。
全料合并は,入力に重み行列乘算乘算,バイアスベクトルを加入し。
畳み込み层(およびダウンサンプリング层)の后の后は,1つ以上の全全层が配置れます。
その名前わかるように,全全合层のすべてニューロンはの层にあるのにににしていますにはますますますいはははます。を综合性て,より大厦パターンを特定します。分享到のの层は,特徴を组みわせ层イメージをしししますをその,ネットワークにあるの。
全全合成作物成型するとき,关键词名称と値ペアののを率ててないパラメーターもできとてしことも调整できます。
全全合并は,入力に重み行为,入乘算し,バイアスベクトルbを加入し。
层へのの力がのの综合(LSTMネットワークネットワーク综合などなどででに动手しステップがががが,サイズd x n x sのxをを力するする合,全结合层はサイズ
ソフトソフト层は,入力にソフトマックス关键を适适し。ソフトマックス层は<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/nnet.cnn.layer.softmaxlayer.html">softmaxlayer.
をを用し作物成し。
分享は,互いに排他的なクラスマルチクラスクラス问题の交差损失损失を计算ます交差交差エントロピーを计算し。分享は<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/classificationlayer.html">分类层
をを用し作物成し。
分布式层层その后の层は,最后の全はなりのに配置はなりませ后にしばなりんのませに层なけれなりませませませませませませませ层层层层ませませませませませませませませませませませませ层层层层ませませませませ层层层层ませませ
出力ユニットユニット活性活性化有关部は次のソフトマックス关键词。
ここで,
[关联关节,マルチクラス分类问题ののののののののののののののののののののののののののののののののの。
ここで,
ソフトマックス关节,“正源化数关数”
一般,分享层でマックスなりのにではなりんにには。
ここで,nは标本の数,kははクラス数,
回帰层は<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/regressionlayer.html">回归金属
をを用し作物成し。
回帰层は,回帰回帰问题のの半均二乘误差损失を计算しし通过般が最后全全ん后后んませませんんませんんなりませませませなりませませ
1つのの误差値の次でられられられ求められられ1求められられ
ここで,rはは応答数,t
イメージ回帰ネットワークおよび序序一回帰回帰ネットワークののの合并,回帰层の损失关键はは,予测応答半平等二乘误差误差なります。
图像到映像回帰回帰の场合,回帰层の损失关键はで正式化さのではなく,各ピクセルの予测のの半二乘误差になります。
ここで,h,w,およびcは,それぞれそれぞれ力の高,幅,チャネル数を,pはtおよびの各要素(ピクセル)に线形に付けたインデックスです。
序列至序列回帰ネットワークのの合,回帰层の损失关键はで,各各タイムステップの予测応答の半均二乘误差误差になりの半半均二乘误差なりなりなり
ここで,sはシーケンス长。
学士学位时,ミニバッチミニバッチ内の観测値に対するに対する均损失が计算さに対する均均损失が计算计算に対するれ均损失损失が计算値れ
[1]墨菲,K。P.机器学习:概率的观点。剑桥,马萨诸塞州:2012年的麻省理工学院新闻。
[2] Krizhevsky,A.,I. Sutskever和G. E. Hinton。“具有深度卷积神经网络的想象成分类。”神经信息处理系统的进步。第25卷2012年。
[3] Lecun,Y.,Boser,B.,Denker,J.S.,亨德森,D。,Howard,R.E.,Hubbard,W.,Jackel,L.D.等。“用背传播网络的手写的数字识别。”在神经信息处理系统的进步中,1990。
[4] Lecun,Y.,L. Bottou,Y.Bengio和P. Haffner。“基于渐变的学习应用于文件识别。”IEEE的程序。VOL 86,PP。2278-2324,1998。
[5] Nair,V.和G. E. Hinton。“整流线性单位改善了受限制的Boltzmann机器。”在proc。第27届机器学习国际会议,2010年。
[6] Nagi,J.,F. Ducatelle,G.A.IDCARO,D. Ciresan,U.Meier,A.Giusti,F. Nagi,J.Schmidhuber,L. M.Gambardella。''基于视觉的手势识别的最大汇集卷积神经网络''。IEEE信号和图像处理应用国际会议(ICSIPA2011),2011年。
[7] Srivastava,N.,G. Hinton,A. Krizhevsky,I. Sutskever,R. Salakhutdinov。“辍学:防止神经网络过度装备的简单方法。”机床学习研究。卷。15,pp。1929-1958,2014。
[8] Bishop,C. M.模式识别和机器学习。Springer,纽约,NY,2006年。
[9] Ioffe,Sergey和Christian Szegedy。“批量标准化:通过减少内部协变速转移加速深度网络培训。”
普通Pooling2dlayer.
|BatchnormalizationLayer.
|分类层
|思考
|Convolution2Dlayer.
|CrosschannelnormalizationLayer.
|DropoutLayer.
|全康统计层
|imageInputlayer.
|漏滤网
|maxpooling2dlayer.
|回归金属
|抵押者
|softmaxlayer.
|培训选项
|Trainnetwork.
[1]图像信用:<一种HR.E.F="https://github.com/vdumoulin/conv_arithmetic" target="_blank">卷积算术(<一种HR.E.F="https://github.com/vdumoulin/conv_arithmetic/blob/master/LICENSE" target="_blank">执照)