畳み込み畳み込みニューラルネットワークのの层の

。

新闻畳み込みニューラルネットワーク（Convnet）の作物と学习最初のステップは，ネットワークアーキテクチャの定义です。ここでは，convnetの层の详细，それらがconvnetに现れる顺序について明します。一道，およびおよびそれら层を作物するについて，<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ug/list-of-deep-learning-layers.html" class="a">深层学习层の一道を参照してください。シーケンス分类およびシーケンス回帰ののためlstmネットワークについては，<一种HR.E.F="//www.tatmou.com/jp/help/deeplearning/ug/long-short-term-memory-networks.html" class="a">长短记忆记忆独参照しくださいください。独自のカスタム层を作物作作作作者人についてについて，<一种HR.E.F="//www.tatmou.com/jp/help/deeplearning/ug/define-custom-deep-learning-layers.html" class="a">カスタム深层学习层の定义を参照してください。

ネットワークれる层のとはます，ののまたはデータによってます，カテゴリカルのがあるによって。たとえば，カテゴリカル応答が场変わり。层が必要です。一方，応答応答が的的であるであるはのの最后回帰层回帰层必要です必要必要がががまたはまたはまたはまたはまたはまたはまたはネットワークは习习规模なネットワークはは习习习习习习习习习单方面，数百语枚のカラーイメージ含むよりなデータについて，复数ののと全全层持つ，よりよりを持つ必要に复雑持つます必要になるがが必要必要なるががます。

すべてのの层が顺顺ににされた深いネットワークのアーキテクチャを指定するにはたとえばたとえばの配列を作にしたとえばたとえばたとえばのクラスににグレースケールイメージををのにに类类ネットワーク作物は，次の层配列を指定しますます。

图层= [ImageInputLayer（[28 28 1]）卷积2dlayer（3,16，'填充'，1）BatchnormalizationLayer Ruilulayer MaxPooling2Dlayer（2，'），2）卷积2dlayer（3,32，'填充'，1）BatchnormalizationLayer Rululayer完全连接覆盖器（10）SoftMaxLayer分类层];

层数は层オブジェクトの配列です。その后で，层数を学刊关键词Trainnetwork.へのの力量として使ことができます。

，<一种HR.E.F="//www.tatmou.com/jp/help/deeplearning/ref/nnet.cnn.layergraph.html">分层图オブジェクトオブジェクト使使。

イメージイメージ力量

イメージイメージ力量层，<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/nnet.cnn.layer.imageinputlayer.html">imageInputlayer.をを用し作物成し。

イメージイメージ力层，ネットワークにイメージイメージ入力し，データ正式化を适。

イメージのサイズは，参数输入をのサイズはし。イメージイメージのサイズ，そのイメージの高，幅，およびカラーチャネルチャネルにしししししししししししししししますははははははははになりにはなりなりなりなりなりなりになりなりになりなりなりににになりなりなりなりになりなりなりになりなりなりににになりなりは3になります。

畳み込み层

2次元次元畳み込み层，入力にスライディング畳み込みフィルターをし。2次元畳み込み层は<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/nnet.cnn.layer.convolution2dlayer.html">Convolution2Dlayer.をを用し作物成し。

畳み込み层ははさまざまななコンポーネントで构构されれ[1]

フィルターとストライド

畳み込み层は，入力イメージまたは前层の出ののににするニューロンで构构さますニューロンは，イメージは，イメージスキャンする间に，これらの领域でするされた徴领域でさ。关联<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/nnet.cnn.layer.convolution2dlayer.html">Convolution2Dlayer.をを用して层を作物过滤をを使て，これらの领域のサイズをできできます。

各领域に対してに対して，关节Trainnetwork.が重みと入のドット积をし，バイアス项を加入し。イメージイメージの领域にに适适セットセットセットセットはれる重みのセットセットははれるのセットセット“フィルター”とと呼ばれれます沿っは入イメージにて垂直向向およびおよびおよび水向向にににに向つまりつまりつまりつまりつまり领域に対して同じ计算を缲り返し畳み込みますますつまりつまり领域领域に対して同じ同じを畳み込み向向向

。

フィルターが动弹に使使サイズは“ストライド”とと呼ばれれ。ステップステップサイズ，名称と値のペアの数步行を使使て指定できますは所局领域领域领域领域领域领域领域领域过滤および'走吧'の値によっては重なる可性性があります。

次のイメージは，ストライド2でで力をする3行3列のフィルターをています。下载のマップは入を表し，上侧のマップは力を表し表し。

フィルターフィルター重みの数号，h * w * cです.hはフィルターの高，wはフィルターの幅，cはは力のチャネルチャネル。たとえば，入力がイメージイメージののの，カラーカラーのは3です。关联数によって，畳み込み层にあるあるののチャネル数が决まり。关键词Convolution2Dlayer.の数numfilters.をを使し，フィルターフィルター数量指定し。

膨张畳み込み

膨张畳み込みとは，フィルターの要素间に插入され空间によってフィルターが张される畳み込みです。'膨胀因子'プロパティを使使使膨膨膨张数を指定します。

膨张畳み込みを使し，パラメーターパラメーター数量计算を増やさ，层の受容野（层で确认できるできるの）ををことができます。

各フィルター要素间にゼロ插入すると，层のフィルターが拡张されれれれれれれこれとであるフィルターステップアップサンプリングこれを决定ししのサンプリングを决定しししアップサンプリングを决定しししアップサンプリングを决定しししサンプリングを决定フィルターサイズ（过滤尺寸 - 1）。*扩张因子+ 1に相当します。たとえば，膨张数数[2]の3行3列のは，要素间にゼロが插入さた5行5列のフィルターと等価等価。

次次イメージは，入力をスキャンする，系数2でで张管理器さた3行3列のフィルターをいいます。下载のマップ入入を表し，上侧のマップ入力を表します。

特价マップ

フィルターがが力に沿っててするするにて，畳み込みと同じ重みのと同じバイアス使使てて，“特价マップ”がが成され。そのためたのですそのし，特种マップ结果フィルターに等しくなりははに等しくますははになりますますのになります。，（（h * w * c + 1）*过滤器数）になります。ここここ，1はバイアスに相当し。

ゼロパディング

名称と値のペアペアの数'填充'を使用して，入力イメージの垂直向水平方向のゼロゼロパディングを适ますますとはれゼロの境界と列さたの境界とです。パディングを调整するによりにより。のの力サイズを制御できます。

次次イメージは，サイズ1のパディングで入入をする3行3列のフィルター示しいます。下载のマップはを表し，上侧のは入力を表し表し。

出力サイズ

畳み込み层ののの高于さと幅は（输入尺寸 - （（滤波尺寸 - 1）*扩张因子+ 1）+ 2 *填充）/步幅+ 1です。このこの値，イメージ全体を完全カバーする数でなければなりません。これらのオプションの组みわせでイメージ全ををにカバーできない场场は，畳み込みの右端は，畳み込みイメージのとのにての残りののがさますますされれ。

ニューロンの数

出力の高さと幅积积によってによってによってによってによってによってののののののの积がられます。畳み込み畳み込みのられますます。畳み込み畳み込みのられますます。畳み込み，地图尺寸*滤波器数量にになり数。

たとえば，入力イメージが32 x 32 x 3のカラーであるとします畳み込み层层，フィルターのフィルターを畳み込み层で，フィルターサイズが5 x 5のの场场あたり重み重み数码5 * 5 * 3 =75，层层パラメーターパラメーターのは（75 + 1）* 8 = 608になります。各方向のストライドが2で，パディングのサイズてて2が指定されているいる合书，各特价マップは16 x 16ににますこれ，（32 - 5 + 2 * 2）/ 2 + 1 = 16.5，イメージの右侧と下载で外侧のゼロののがが破弃されるためためため的破弃破弃されるため。のニューロンのの数は16 * 16 * 8 = 2048になります。

これらこれらのニューロンからの结果结果通讯，正规化纤ユニット（Relu）など，なんらかの形の非非性を通讯。

学习习

畳み込み畳み込みのを行うに，名称と値のペアのを使ててできオプションををしできますをオプション指定しないこと选択をしないないをしたしないない选択しししないないない选択しし场ないこと选択したないないこと选択たた场ないないをしし场ないないをした场场ない选択选択た场ないないをしし场场ない选択选択し场场ないこと选択Trainnetwork.は关节培训选项で定义されたグローバルオプションオプションを使します。グローバル学习オプションと层の学习习の详细は，<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ug/setting-up-parameters-and-training-of-a-convnet.html" class="a">パラメーターパラメーターの设定とと畳み込みニューラルネットワーク学习を参照してください。

层の数

畳み込み以上のは层でさはさ。

バッチ正规化学

バッチ正规化学は<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/nnet.cnn.layer.batchnormalizationlayer.html">BatchnormalizationLayer.をを用し作物成し。

バッチ正式化学は，ミニバッチミニバッチ体で各各チャネル正式化学习ます畳み込みニューラルネットワーク习速度ををををの，ネットワークネットワーク初に対する感度をには，畳み込み层の间にある正式化学と，relu层层などの非形形ををを使使し

この层はまず，ミニバッチの平均をし，ミニバッチの标准偏差で除算すること，各各の活性を正式化さらに，この层は，します。さらに，このは，学校可以なβだけ入力をし，それを学习可ななスケールγでスケーリングし。βとΓはは自体が学习可以なパラメーター，ネットワークネットワーク学习中に更新闻。

バッチ正规化学は，ニューラルネットワークを通じて伝播される活性ます勾配正式しますますこれにより习は単なな最を十问题になりなります最を十になりなりますます最适问题になりますためためためためためためためためためためためためためためためためためために増やすことができます。このこの最适问题问题简体なな，パラメーターの更新数量が大厦，ネットワークの学习时间を短缩ます。また，l2ととドロップ正则をバッチ正式化层では，学校中间特性のイメージ活性化は，同じミニバッチなりイメージがかによってバッチなりなりををこのによって异なり效果ををを活性异なりなりををのの活性异なり效果をを活の习はのに学习データをシャッフルます。学习中にデータをシャッフル频度を指定指定するはは培训选项の名前と値ののペアペア数'洗牌'を使用します。

relu层.

relu层は<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/nnet.cnn.layer.relulayer.html">抵押者をを用し作物成し。

Relu层层，入力の各要素に対してしきい値を行，値がゼロよりも小さいさいはに设定设定设定设定しししますますますますますますますますますますますますますますますますます。

通常，畳み込み层やバッチ正式化层の后は，relu层层によってされる正式化纤ユニット（relu）などなどの非形活性ユニット形活性ます形活性化化ますます.RELU层层，各各要素に対してしきい値値値处处处値実実，次のように入値ゼロより小さい场はににします。

$F （ X ） = {\begin{matrix} X 那 & X \geq 0. \\ 0. 那 & X < 0. \end{matrix} 。$

relu层はは力のを変更変更しませ。

他异なるにもを実しし活性によってはれる非形活性形活性层があり非活性活性ががあり非について活性ががありれる非形活性ががありあり非活性ががありあり非活性活性がありれるあり活性活性がありありあり形活性活性层处ありありあり活性层がありありあり活性层がありありありあり活性层がありありありあり层层ありありありあり层层处ありありあり活性层が处ありあり活性层が改善はれるれるあり层层改善ははます形活性层层改善は実実形活性层层改善ははれる形活性度层改善はれるれる形活性度が改善改善れるれる度形活性がが改善れる実実形活性しが处处実実形活性度が处处実実形活性がが处处実実形活性がが处处実度形活性がが处れる実実形活性が改善处ネットワーク実度度が改善处れるれる形活性がが改善されるれる形活性度が改善される非形活性がが改善されるれる形活性がが改善れるれる形活性形活性が改善改善れるれる形活性层が改善される形活性形活性层がされる非形活性层が改善される形活性形活性层がされる形活性活性层がありありあり活性ががありあり活性活性ががありありあり活性活性ががありあり活性活性ががありありについて<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ug/list-of-deep-learning-layers.html" class="a">活性化工を参照してください。

クロスクロス正式化（局局応答正式化）层

クロスチャネル正规化学は<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/nnet.cnn.layer.crosschannelnormalizationlayer.html">CrosschannelnormalizationLayer.をを用し作物成し。

チャネルチャネルのの所（クロスクロス）正式化层，チャネルチャネルの正式化を行。

この层では，チャネル単位のの所正式化は活性実しはは配置活性活性れこのこのに配置されれますこの层はされれますこのに要素をれれ要素要素邻接ををし邻接邻接邻接しし要素（正规（正式化）の要素）をを使し取得するつまり置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え置き换え $X$ に対して，Trainnetwork.は正式化された値 $X^{'}$ を

$X^{'} = \frac{X}{{（ K. + \frac{α. * S. S.}{W. 一世 N D. O. W. C H 一种 N N E. L. S. 一世 Z. E.} ）}^{β}} 那$

ここで，k，α，およびβは正式化でハイパーで，ssは正式化ウィンドウのは正式和ですここパーで，平方英ウィンドウここ要素の平でし计算しでパラメーターでの平の平平で平平平で<一种HR.E.F="//www.tatmou.com/jp/help/deeplearning/ug/layers-of-a-convolutional-neural-network.html" class="intrnllnk">[2]。关节有关部CrosschannelnormalizationLayer.の数windowchinnelsize.また，名称ととなりませませの指定ししなければませませのし使なければのませませのししなけれウィンドウばませペアのΑ那bet，およびK.をを用して，ハイパーパラメーターを指定でき。

前述前述正式化<一种HR.E.F="//www.tatmou.com/jp/help/deeplearning/ug/layers-of-a-convolutional-neural-network.html" class="intrnllnk">[2]にに记载されれていると少し异なり异なり式と少し异なりαの値とwindowchinnelsize.を乘算すると，等価な式を求めることができ。

最大プーリング层と平等プーリング层

最大プーリング层は，入力を四角形のプーリングににし，各领域の最大値をするによって，ダウンサンプリングによってによってし。最大プーリング层は<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/nnet.cnn.layer.maxpooling2dlayer.html">maxpooling2dlayer.をを用し作物成し。

平台プーリング层は，入力を四角形の领域ににし，各领域の平等値计算するによって，ダウンサンプリングダウンサンプリング実し。平等プーリング层は<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/nnet.cnn.layer.averagepooling2dlayer.html">普通Pooling2dlayer.をを用し作物成し。

プーリング层は，畳み込み层の后あり，ダウンサンプリングを行います。これこれ，后続の层へのの自体は少なくなります。これら自体は少なくなります。また，过结合をを抑えるために役立ち役立ちににも役立ち役立ちににも役立ち役立ちにもも役立ち

最大プーリング层は，入力の矩形领域の大大値を返し返し返しをサイズ返しはサイズサイズサイズサイズサイズmaxpoolinglayer.の数池化によってによって决まります，池化が[2,3]にに等しい合，この层は高さ2，幅3の领域内の最最を返します。平均プーリングプーリング层，入力の矩形のの値値をします。矩形领域のサイズはChangerPoolingLayer.の数池化によってによって决まります，池化が[2,3]のの合，この层は高さ2，幅3の领域の平衡値をます。

プーリング层は，名称と値のペアの数'走吧'プールサイズがストライド向ますますと向向にます。

重ならない领域（池尺寸とと脚がが）についてについて，プーリング层へのの力がn x nであり，プーリング领域のサイズがh x hであるである合，プーリング层は领域ををでし<一种HR.E.F="//www.tatmou.com/jp/help/deeplearning/ug/layers-of-a-convolutional-neural-network.html" class="intrnllnk">[6]。つまり、畳み込み層の 1 つのチャネルの最大プーリング層と平均プーリング層の出力は、n/h x n/h になります。重なる領域については、プーリング層の出力は (Input Size – Pool Size + 2*Padding)/Stride + 1 になります。

ドロップアウト层

ドロップアウト层は<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/nnet.cnn.layer.dropoutlayer.html">DropoutLayer.をを用し作物成し。

ドロップアウト层は，与えられた确率でランダム，入力要素をゼロに设定し。

学习时に，この层によってドロップアウトマスク兰特（尺寸（x））<概率Xはは力です。残りの要素は1 /（1概率）でスケーリングされます。このこのは，基本なるネットワークアーキテクチャ反复反复で效果的にする，ネットワークの过适の防止防止役立ち役立ち<一种HR.E.F="//www.tatmou.com/jp/help/deeplearning/ug/layers-of-a-convolutional-neural-network.html" class="intrnllnk">[7]那<一种HR.E.F="//www.tatmou.com/jp/help/deeplearning/ug/layers-of-a-convolutional-neural-network.html" class="intrnllnk">[2]。大厦数码を指定ほど，学习时にドロップアウトれる要素のははののには，この层は，この层の出は。

最大プーリング层および平衡プーリング层と同様に，この层では学习习行われません。

全结合成

全结合层は<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/nnet.cnn.layer.fullyconnectedlayer.html">全康统计层をを用し作物成し。

全料合并は，入力に重み行列乘算乘算，バイアスベクトルを加入し。

畳み込み层（およびダウンサンプリング层）の后の后は，1つ以上の全全层が配置れます。

その名前わかるように，全全合层のすべてニューロンはの层にあるのにににしていますにはますますますいはははます。を综合性て，より大厦パターンを特定します。分享到のの层は，特徴を组みわせ层イメージをしししますをその，ネットワークにあるの。输出は，データセットのクラスクラス等しくなります。回帰回帰ののますなりなりサイズサイズ応答応答の等しくなければなりませの。

全全合成作物成型するとき，关键词名称と値ペアののを率ててないパラメーターもできとてしことも调整できます。Trainnetwork.は关节培训选项で定义されたグローバルパラメーターパラメーターを使します。グローバル学习オプションと层の学习习の详细は，<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ug/setting-up-parameters-and-training-of-a-convnet.html" class="a">パラメーターパラメーターの设定とと畳み込みニューラルネットワーク学习を参照してください。

全全合并は，入力に重み行为，入乘算し，バイアスベクトルbを加入し。

层へのの力がのの综合（LSTMネットワークネットワーク综合などなどででに动手しステップがががが，サイズd x n x sのxをを力するする合，全结合层はサイズ输出x n x sの配列zをを出，zの対応するエントリは $W. X_{T.} + B.$ です。ここここ， $X_{T.}$ は，タイムステップtのxの表します。

出力层

ソフトマックス层と分享

ソフトソフト层は，入力にソフトマックス关键を适适し。ソフトマックス层は<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/nnet.cnn.layer.softmaxlayer.html">softmaxlayer.をを用し作物成し。

分享は，互いに排他的なクラスマルチクラスクラス问题の交差损失损失を计算ます交差交差エントロピーを计算し。分享は<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/classificationlayer.html">分类层をを用し作物成し。

分布式层层その后の层は，最后の全はなりのに配置はなりませ后にしばなりんのませに层なけれなりませませませませませませませ层层层层ませませませませませませませませませませませませ层层层层ませませませませ层层层层ませませ

出力ユニットユニット活性活性化有关部は次のソフトマックス关键词。

$y_{R.} （ X ） = \frac{exp. （ {一种}_{R.} （ X ））}{{σ.}_{j = 1}^{K.} exp. （ {一种}_{j} （ X ））} 那$

ここで， $0. \leq. y_{R.} \leq. 1$ および ${σ.}_{j = 1}^{K.} y_{j} = 1$ です。

[关联关节，マルチクラス分类问题ののののののののののののののののののののののののののののののののの。

$P. （ C_{R.} | X 那 θ. ） = \frac{P. （ X 那 θ. | C_{R.} ） P. （ C_{R.} ）}{{σ.}_{j = 1}^{K.} P. （ X 那 θ. | C_{j} ） P. （ C_{j} ）} = \frac{exp. （ {一种}_{R.} （ X 那 θ. ））}{{σ.}_{j = 1}^{K.} exp. （ {一种}_{j} （ X 那 θ. ））} 那$

ここで， $0. \leq. P. （ C_{R.} | X 那 θ. ） \leq. 1$ および ${σ.}_{j = 1}^{K.} P. （ C_{j} | X 那 θ. ） = 1$ です。また， ${一种}_{R.} = LN. （ P. （ X 那 θ. | C_{R.} ） P. （ C_{R.} ））$ です。 $P. （ X 那 θ. | C_{R.} ）$ はクラスrであるである合并标本の条件付き确率で， $P. （ C_{R.} ）$ はクラスの事前确率です。

ソフトマックス关节，“正源化数关数”とも呼ば呼ば，ロジスティックシグモイド关键词マルチクラスの泛と见なすことができ<一种HR.E.F="//www.tatmou.com/jp/help/deeplearning/ug/layers-of-a-convolutional-neural-network.html" class="intrnllnk">[8]。

一般，分享层でマックスなりのにではなりんにには。Trainnetwork.がソフトマックス关键词値取得し，各各力をk个个の互いに的なのうちののつに，1つに，1対k符符化のエントロピー关键词使し割り当て<一种HR.E.F="//www.tatmou.com/jp/help/deeplearning/ug/layers-of-a-convolutional-neural-network.html" class="intrnllnk">[8]。

$损失 = - \frac{1}{N} {σ.}_{N = 1}^{N} {σ.}_{一世 = 1}^{K.} {W.}_{一世} {T.}_{N 一世} LN. y_{N 一世} 那$

ここで，nは标本の数，kははクラス数， ${T.}_{N 一世}$ はi番目の标本がj番目番目のクラスに属することを表すインジケーター $y_{一世 j}$ はjの标本我のの力で，このこの合はマックス关键词の値です。つまり，ネットワークがi番目の入をjに关键词。

回帰层

回帰层は<一种HR.E.F="//www.tatmou.com/jp/jp/help/deeplearning/ref/regressionlayer.html">回归金属をを用し作物成し。

回帰层は，回帰回帰问题のの半均二乘误差损失を计算しし通过般が最后全全ん后后んませませんんませんんなりませませませなりませませ

1つのの误差値の次でられられられ求められられ1求められられ

$MSE = {σ.}_{一世 = 1}^{R.} \frac{{（ {T.}_{一世} - y_{一世} ）}^{2}}{R.} 那$

ここで，rはは応答数，t一世はターゲット出力，y一世は応答iに対するネットワークの予测ですです。

イメージ回帰ネットワークおよび序序一回帰回帰ネットワークののの合并，回帰层の损失关键はは，予测応答半平等二乘误差误差なります。

$损失 = \frac{1}{2} {σ.}_{一世 = 1}^{R.} {（ {T.}_{一世} - y_{一世} ）}^{2} 。$

图像到映像回帰回帰の场合，回帰层の损失关键はで正式化さのではなく，各ピクセルの予测のの半二乘误差になります。

$损失 = \frac{1}{2} {σ.}_{P. = 1}^{H W. C} {（ {T.}_{P.} - y_{P.} ）}^{2} 那$

ここで，h，w，およびcは，それぞれそれぞれ力の高，幅，チャネル数を，pはtおよびの各要素（ピクセル）に线形に付けたインデックスです。

序列至序列回帰ネットワークのの合，回帰层の损失关键はで，各各タイムステップの予测応答の半均二乘误差误差になりの半半均二乘误差なりなりなり

$损失 = \frac{1}{2 S.} {σ.}_{一世 = 1}^{S.} {σ.}_{j = 1}^{R.} {（ {T.}_{一世 j} - y_{一世 j} ）}^{2} 那$

ここで，sはシーケンス长。

学士学位时，ミニバッチミニバッチ内の観测値に対するに対する均损失が计算さに対する均均损失が计算计算に対するれ均损失损失が计算値れ

参照

[1]墨菲，K。P.机器学习：概率的观点。剑桥，马萨诸塞州：2012年的麻省理工学院新闻。

[2] Krizhevsky，A.，I. Sutskever和G. E. Hinton。“具有深度卷积神经网络的想象成分类。”神经信息处理系统的进步。第25卷2012年。

[3] Lecun，Y.，Boser，B.，Denker，J.S.，亨德森，D。，Howard，R.E.，Hubbard，W.，Jackel，L.D.等。“用背传播网络的手写的数字识别。”在神经信息处理系统的进步中，1990。

[4] Lecun，Y.，L. Bottou，Y.Bengio和P. Haffner。“基于渐变的学习应用于文件识别。”IEEE的程序。VOL 86，PP。2278-2324,1998。

[5] Nair，V.和G. E. Hinton。“整流线性单位改善了受限制的Boltzmann机器。”在proc。第27届机器学习国际会议，2010年。

[6] Nagi，J.，F. Ducatelle，G.A.IDCARO，D. Ciresan，U.Meier，A.Giusti，F. Nagi，J.Schmidhuber，L. M.Gambardella。''基于视觉的手势识别的最大汇集卷积神经网络''。IEEE信号和图像处理应用国际会议（ICSIPA2011），2011年。

[7] Srivastava，N.，G. Hinton，A. Krizhevsky，I. Sutskever，R. Salakhutdinov。“辍学：防止神经网络过度装备的简单方法。”机床学习研究。卷。15，pp。1929-1958,2014。

[8] Bishop，C. M.模式识别和机器学习。Springer，纽约，NY，2006年。

[9] Ioffe，Sergey和Christian Szegedy。“批量标准化：通过减少内部协变速转移加速深度网络培训。”预印，arxiv：1502.03167（2015）。

参考

关键词トピック

^[1]图像信用：<一种HR.E.F="https://github.com/vdumoulin/conv_arithmetic" target="_blank">卷积算术（<一种HR.E.F="https://github.com/vdumoulin/conv_arithmetic/blob/master/LICENSE" target="_blank">执照）