事前学習済みのネットワークとイメージの読み込み

事前学習済みの GoogLeNet ネットワークを読み込みます。

net = googlenet;

イメージの入力サイズとネットワークの出力クラスを抽出します。

inputSize = net.Layers(1).InputSize(1:2); classes = net.Layers(end).Classes;

イメージを読み込みます。イメージは Laika という名前の犬です。イメージのサイズをネットワークの入力サイズに変更します。

img = imread("laika_grass.jpg"); img = imresize(img,inputSize);

イメージを分類して、予測クラスと分類スコアを表示します。

[YPred, scores] = classify(net, img); [score, classIdx] = max(scores); predClass = classes(classIdx); imshow(img); title(sprintf("%s (%.2f)",string(predClass),score));

ネットワークによって Laika はミニチュア プードルと分類されました。これは妥当な推測です。彼女はプードルとコッカー スパニエルの雑種です。

自動微分を使用した勾配属性マップの計算

勾配属性の手法は、入力イメージに対する予測スコアの勾配の判定に依存します。勾配属性マップは次の式で計算されます。

ここで、 ${\mathit{W}}_{\mathrm{xy}}^{\mathit{c}}$はクラス $\mathit{c}$の予測における位置 $\left(\mathit{x},\mathit{y}\right)$のピクセルの重要度、 ${\mathit{S}}^{\mathit{c}}$はそのクラスのソフトマックス スコア、 ${\mathit{I}}_{\mathrm{xy}}$は位置 $\left(\mathit{x},\mathit{y}\right)$のピクセルのイメージをそれぞれ表します [1]。

ネットワークをdlnetworkに変換し、自動微分を使用して勾配を計算できるようにします。

lgraph = layerGraph(net); lgraph = removeLayers(lgraph,lgraph.Layers(end).Name); dlnet = dlnetwork(lgraph);

ソフトマックス層の名前'prob'を指定します。

softmaxName ='prob';

自動微分を使用するには、Laika のイメージをdlarrayに変換します。

dlImg = dlarray(single(img),'SSC');

関数dlfevalおよびgradientMap(この例のサポート関数の節で定義) を使用して微分 $\frac{\partial {\mathit{S}}^{\mathit{c}}}{\partial {\mathit{I}}_{\mathrm{xy}}}$を計算します。関数gradientMapはネットワークにイメージを渡し、クラス スコアを取得し、dlgradientを呼び出してそのイメージに対するスコアの勾配を評価します。

dydI = dlfeval(@gradientMap,dlnet,dlImg,softmaxName,classIdx);

属性マップdydIは 227 x 227 x 3 の配列です。各チャネルの各要素は、元の RGB イメージのそのチャネルについて、入力イメージに対するクラス スコアの勾配に対応します。

このマップを可視化する方法はいくつかあります。マップは一般にノイズを多く含むため、勾配属性マップを直接 RGB イメージとしてプロットすると不明瞭になる可能性があります。代わりに、チャネル次元に沿って各ピクセルの絶対値を合計し、0と1の間に再スケーリングします。255 色のカスタム カラーマップを使用して0の値を白に、1の値を黒にマッピングし、勾配属性マップを表示します。

map = sum(abs(extractdata(dydI)),3); map = rescale(map); cmap = [linspace(1,0,255)' linspace(1,0,255)' linspace(1,0,255)']; imshow(map,"Colormap", cmap); title("Gradient Attribution Map ("+ string(predClass) +")");

マップで最も暗いのは犬を中心とする部分です。このマップは非常に多くのノイズを含みますが、ネットワークがイメージ内の適切な情報を使って分類を実行していることを示唆しています。犬の部分のピクセルは、背景の芝生のピクセルよりも分類スコアにより大きな影響を与えています。

ガイド付き逆伝播を使用した勾配属性マップのシャープ化

ReLU 層を経由するネットワークのバックワード パスを変更して、ゼロ未満の勾配要素およびゼロ未満の ReLU 層への入力要素をそれぞれゼロに設定することで、勾配属性マップをシャープにすることができます。これはガイド付き逆伝播と呼ばれます [2]。

ガイド付き逆伝播の逆方向関数は次のとおりです。

ここで、 $\mathit{L}$は損失、 $\mathit{X}$は ReLU 層への入力、 $\mathit{Z}$は出力です。

非標準のバックワード パスをもつカスタム層を作成し、自動微分と共に使用することができます。この変更が実装されたカスタム層クラスCustomBackpropReluLayerは、この例のサポート ファイルに含まれています。自動微分逆伝播がCustomBackpropReluLayerオブジェクトを経由する際、カスタム層で定義された変更済みのガイド付き逆伝播関数が使用されます。

サポート関数replaceLayersOfType(この例のサポート関数の節で定義) を使用して、ネットワーク内にあるreluLayerのすべてのインスタンスをCustomBackpropReluLayerのインスタンスに置き換えます。各CustomBackpropReluLayerのBackpropModeプロパティを"guided-backprop"に設定します。

customRelu = CustomBackpropReluLayer(); customRelu.BackpropMode ="guided-backprop";lgraphGB = replaceLayersOfType (lgraph,..."nnet.cnn.layer.ReLULayer",customRelu);

CustomBackpropReluLayersを含む層グラフをdlnetworkに変換します。

dlnetGB = dlnetwork(lgraphGB);

ガイド付き逆伝播を使用して、ネットワークの勾配属性マップを計算してプロットします。

dydIGB = dlfeval(@gradientMap,dlnetGB,dlImg,softmaxName,classIdx); mapGB = sum(abs(extractdata(dydIGB)),3); mapGB = rescale(mapGB); imshow(mapGB,"Colormap", cmap); title("Guided Backpropagation ("+ string(predClass) +")");

ガイド付き逆伝播の手法の方が、犬の目や鼻のようなさまざまな部分をより明瞭に強調表示していることがわかります。

ReLU 層を経由する逆伝播に Zeiler-Fergus 手法を使用することも可能です [5]。Zeiler-Fergus 手法では、逆方向関数は次で与えられます。

CustomBackpropReluLayerインスタンスのBackpropModeプロパティを"zeiler-fergus"に設定します。

customReluZF = CustomBackpropReluLayer(); customReluZF.BackpropMode ="zeiler-fergus";lgraphZF = replaceLayersOfType(lgraph,..."nnet.cnn.layer.ReLULayer",customReluZF); dlnetZF = dlnetwork(lgraphZF); dydIZF = dlfeval(@gradientMap,dlnetZF,dlImg,softmaxName,classIdx); mapZF = sum(abs(extractdata(dydIZF)),3); mapZF = rescale(mapZF); imshow(mapZF,"Colormap", cmap); title("Zeiler-Fergus ("+ string(predClass) +")");

Zeiler-Fergus の逆伝播手法を使って計算した勾配属性マップは、ガイド付き逆伝播を使って計算したマップよりも不明瞭です。

積分勾配を使用したイメージの変化に対する感度の評価

積分勾配のアプローチでは、ベースライン イメージと対象の元のイメージの間に線形に内挿されたイメージの集合全体にわたる、イメージ ピクセルに対するクラス スコアの勾配の積分を計算します [3]。積分勾配の手法は、積分全体でのピクセル値の変化の影響を受けるように設計されています。そのため、ピクセル値の変更がクラス スコアに影響を与える場合、そのピクセルはマップにおいて非ゼロの値をもちます。ReLU 層のようなネットワーク内の非線形要素は、よりシンプルな勾配属性の手法でこの感度を抑制することが可能です。

積分勾配属性マップは次の式で計算されます。

${\mathit{W}}_{\mathrm{xy}}^{\mathit{c}}=\left({\mathit{I}}_{\mathrm{xy}}-{\mathit{I}}_{\mathrm{xy}}^0\right){\int }_{\alpha =0}^1\mathit{d}\alpha \frac{\partial {\mathit{S}}^{\mathit{c}}\left({\mathit{I}}_{\mathrm{xy}}\left(\alpha \right)\right)}{\partial {\mathit{I}}_{\mathrm{xy}}\left(\alpha \right)}$,

ここで ${\mathit{W}}_{\mathrm{xy}}^{\mathit{c}}$は位置 $\left(\mathit{x},\mathit{y}\right)$のピクセルにおけるクラス $\mathit{c}$のマップの値、 ${\mathit{I}}_{\mathrm{xy}}^0$はベースライン イメージ、 ${\mathit{I}}_{\mathrm{xy}}\left(\alpha \right)$はベースライン イメージと入力イメージの間のパスに沿った距離 $\alpha$にあるイメージです。

${\mathit{I}}_{\mathrm{xy}}\left(\alpha \right)={\mathit{I}}_{\mathrm{xy}}^0+\alpha \left({\mathit{I}}_{\mathrm{xy}}-{\mathit{I}}_{\mathrm{xy}}^0\right)$.

この例では、 $\alpha$にわたって積分するのではなく、離散インデックス $\mathit{n}$を加算することで、積分勾配の式を単純化します。

${\mathit{W}}_{\mathrm{xy}}^{\mathit{c}}=\left({\mathit{I}}_{\mathrm{xy}}-{\mathit{I}}_{\mathrm{xy}}^0\right)\underset{\mathit{n}=0}{\overset{\mathit{N}}{\sum }}\frac{\partial {\mathit{S}}^{\mathit{c}}\left({\mathit{I}}_{\mathrm{xy}}^{\mathit{n}}\right)}{\partial {\mathit{I}}_{\mathrm{xy}}^{\mathit{n}}}$,

ここで

${\mathit{I}}_{\mathrm{xy}}^{\mathit{n}}={\mathit{I}}_{\mathrm{xy}}^0+\frac{\mathit{n}}{\mathit{N}}\left({\mathit{I}}_{\mathrm{xy}}-{\mathit{I}}_{\mathrm{xy}}^0\right)$.

イメージ データの場合、ベースライン イメージにゼロの黒いイメージを選択します。元のイメージとベースライン イメージの差分となるイメージを見つけます。ここでは、ベースライン イメージがゼロであるため、differenceImgは元のイメージと同じです。

baselineImg = zeros([inputSize, 3]); differenceImg = single(img) - baselineImg;

ベースライン イメージから元の入力イメージへの線形パスに沿った離散のステップに対応するイメージの配列を作成します。イメージ数が多いほど結果は滑らかになりますが、計算に時間がかかります。

numPathImages =25;pathImgs = zeros([inputSize 3 numPathImages-1]);forn=0:numPathImages-1 pathImgs(:,:,:,n+1) = baselineImg + (n)/(numPathImages-1) * differenceImg;endfigure; imshow(imtile(rescale(pathImgs))); title("Images Along Integration Path");

パス イメージのミニバッチをdlarrayに変換します。データを 2 つの空間次元、1 つのチャネル次元、そして 1 つのバッチ次元から成る'SSCB'フォーマットに変換します。各パス イメージはミニバッチの 1 つの観測値です。パスに沿って結果のイメージのバッチの勾配マップを計算します。

dlPathImgs = dlarray(pathImgs,'SSCB'); dydIIG = dlfeval(@gradientMap, dlnet, dlPathImgs, softmaxName, classIdx);

チャネルごとに、ミニバッチ内のすべての観測値の勾配を加算します。

dydIIGSum = (dydIIG, 4)之和;

加算した勾配属性マップの各要素に、differenceImgの対応する要素を乗算します。積分勾配属性マップを計算するには、それぞれのチャネルを加算して再スケーリングします。

dydIIGSum = differenceImg .* dydIIGSum; mapIG = sum(extractdata(abs(dydIIGSum)),3); mapIG = rescale(mapIG); imshow(mapIG,"Colormap", cmap); title("Integrated Gradients ("+ string(predClass) +")");

計算されたマップは、ネットワークがクラスを決定する手段として、犬の顔により強く焦点を当てていることを示しています。

ここで説明した勾配属性の手法は、分類を行うときにイメージの適切な部分にネットワークが焦点を当てているかどうかを確認するために使用できます。モデルの動作に関する優れた洞察を得て分類の判定を説明するには、これらの手法を一定範囲のイメージに対して実行し、特定クラスに強く寄与する具体的な特徴を探します。多くの場合、変更されていない勾配属性の手法の方が、ネットワークの判定を説明する手法として優れた信頼性を提供します。ガイド付き逆伝播と積分勾配の手法では非常に明瞭な勾配マップを作成できますが、これらの手法によってモデルの動作に関してどれくらいの洞察を得られるかは明確ではありません [4]。

サポート関数

勾配マップ関数

関数gradientMapは、指定のクラスについて、イメージに対するスコアの勾配を計算します。この関数は、単一のイメージまたはイメージのミニバッチを受け取ります。この例では、関数gradientMapについて自動微分を使用した勾配属性マップの計算の節で紹介されています。

functiondydI = gradientMap(dlnet, dlImgs, softmaxName, classIdx)% Compute the gradient of a class score with respect to one or more input% images.dydI = dlarray(zeros(size(dlImgs)));fori=1:size(dlImgs,4) I = dlImgs(:,:,:,i); scores = predict(dlnet,I,'Outputs',{软maxName}); classScore = scores(classIdx); dydI(:,:,:,i) = dlgradient(classScore,I);endend

層の置換関数

関数replaceLayersOfTypeは、指定したクラスのすべての層を新しい層のインスタンスに置き換えます。新しい層の名前は、元の層と同じ名前になります。この例において、関数replaceLayersOfTypeについては、ガイド付き逆伝播を使用した勾配属性マップのシャープ化の節で説明されています。

functionlgraph = replaceLayersOfType(lgraph, layerType, newLayer)% Replace layers in the layerGraph lgraph of the type specified by% layerType with copies of the layer newLayer.fori=1:length(lgraph.Layers)ifisa(lgraph.Layers(i), layerType)% Match names between old and new layer.layerName = lgraph.Layers(i).Name; newLayer.Name = layerName; lgraph = replaceLayer(lgraph, layerName, newLayer);endendend

参考文献

[1] Simonyan, Karen, Andrea Vedaldi, and Andrew Zisserman. “Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps.”ArXiv:1312.6034 [Cs], April 19, 2014. http://arxiv.org/abs/1312.6034.

[2] Springenberg, Jost Tobias, Alexey Dosovitskiy, Thomas Brox, and Martin Riedmiller. “Striving for Simplicity: The All Convolutional Net.”ArXiv:1412.6806 [Cs], April 13, 2015. http://arxiv.org/abs/1412.6806.

[3] Sundararajan, Mukund, Ankur Taly, and Qiqi Yan. "Axiomatic Attribution for Deep Networks."Proceedings of the 34th International Conference on Machine Learning (PMLR)70 (2017): 3319-3328

[4] Adebayo, Julius, Justin Gilmer, Michael Muelly, Ian Goodfellow, Moritz Hardt, and Been Kim. “Sanity Checks for Saliency Maps.”ArXiv:1810.03292 [Cs, Stat], October 27, 2018. http://arxiv.org/abs/1810.03292.

[5] Zeiler, Matthew D. and Rob Fergus. "Visualizing and Understanding Convolutional Networks." InComputer Vision – ECCV 2014. Lecture Notes in Computer Science 8689, edited by D. Fleet, T. Pajdla, B. Schiele, T. Tuytelaars. Springer, Cham, 2014.