LSTMネットワークの活性化の可視化

この例では、活性化を抽出し、LSTMネットワークによって学習された特徴を調査して可視化する方法を説明します。

事前学習済みのネットワークを読み込みます。日本世界新闻网は、[1] および [2] で説明されているように 日语元音データセットで学習させた事前学習済みの LSTMネットワークです。これは、ミニバッチのサイズ 27を使用して、シーケンス長で並べ替えられたシーケンスで学習させています。

负载日本世界新闻网

ネットワーク アーキテクチャを表示します。

net.Layers

ans=5x1带层的层阵列：1“sequenceinput”带12维的序列输入序列输入2“lstm”带100个隐藏单元的lstm lstm 3“fc”完全连接9个完全连接的层4“softmax”softmax 5“classoutput”带“1”和8个其他类的分类输出crossentropyex

テスト データを読み込みます。

[XTest，YTest]=日本世界统计数据；

最初の時系列をプロットで可視化します。各ラインは特徴に対応しています。

X=XTest{1}；图形绘图（XTest{1}'）xlabel(“时间步长”)头衔(“试验观察1”)numFeatures=size（XTest{1}，1）；传奇(“功能”+字符串（1:numFeatures），“位置”,“东北外”)

シーケンスの各タイム ステップについて、LSTM層 (層 2) がそのタイム ステップ用に出力した活性化を取得して、ネットワークの状態を更新します。

sequenceLength=size（X，2）；idxLayer=2；outputSize=net.Layers（idxLayer）.NumHiddenUnits；对于i=1:sequenceLength功能（：，i）=激活（net，X（：，i），idxLayer）；[net，YPred（i）]=classifyAndUpdateState（net，X（：，i））；终止

ヒートマップを使用して、最初の 10個の隠れユニットを可視化します。

地物热图（特征（1:10，：）；xlabel(“时间步长”)伊拉贝尔(“隐藏单位”)头衔(“LSTM激活”)

ヒートマップは、各隠れユニットがどれだけ強く活性化したかを示しており、時間の経過に伴い活性化がどのように変化したかを強調表示します。

参考

列车网络|培训选项|第一层|双层膜|序列输入层|激活

関連するトピック

• 深層学習を使用した時系列予測
• 深層学習を使用した 顺序对顺序分類
• 深層学習を使用した 顺序对顺序回帰
• 長短期記憶ネットワーク
• MATLABによる深層学習