ソフトマックス層は,入力にソフトマックス関数を適用します。
分類問題の場合,ソフトマックス層とその後の分類層は,最後の全結合層の後に配置しなければなりません。
出力ユニットの活性化関数は次のソフトマックス関数です。
ここで,
および
です。
ソフトマックス関数は,マルチクラス分類問題の場合,最後の全結合層の後の出力ユニットの活性化関数です。
ここで,
および
です。また,
です。
はクラスrである場合の標本の条件付き確率で,
はクラスの事前確率です。
ソフトマックス関数は,“正規化指数関数”とも呼ばれ,ロジスティックシグモイド関数のマルチクラスへの汎化と見なすことができます[1]。