可视化LSTM网络的激活

打开生活的脚本

这个例子展示了如何通过提取激活来研究和可视化LSTM网络学习的特征。

负载pretrained网络。JapaneseVowelsNet是在[1]和[2]中描述的日语元音数据集上训练的预训练LSTM网络。对按序列长度排序的序列进行训练，小批量大小为27。

负载JapaneseVowelsNet

查看网络架构。

网。层

ans x1 = 5层阵列层:1“sequenceinput”序列输入序列输入12维度2的lstm lstm lstm 100隐藏单位3 fc的完全连接9完全连接层4的softmax softmax softmax 5 classoutput的分类输出crossentropyex ' 1 ', 8其他类

加载测试数据。

[XTest,欧美]= japaneseVowelsTestData;

想象情节中的第一个时间序列。每一行对应一个特征。

X = XTest {1};图绘制(XTest{1}”)包含(“时间步”)标题(“测试观察1”) numFeatures = size(XTest{1}，1);传奇(“特性”+字符串(1:numFeatures),“位置”，“northeastoutside”）

图中包含一个轴对象。标题为Test Observation 1的轴对象包含12个类型为line的对象。这些对象代表特征1，特征2，特征3，特征4，特征5，特征6，特征7，特征8，特征9，特征10，特征11，特征12。

对于序列的每个时间步，获取该时间步的LSTM层(第2层)输出的激活值，并更新网络状态。

sequenceLength =大小(X, 2);idxLayer = 2;outputSize = net.Layers (idxLayer) .NumHiddenUnits;为i = 1:sequenceLength features(:，i) = activations(net,X(:，i)，idxLayer);[net, YPred(i)] = classifyAndUpdateState(net,X(:，i));结束

使用热图可视化前10个隐藏单位。

图的热图(功能(1:10,:));包含(“时间步”) ylabel (“隐藏单位”)标题(“LSTM激活”）

图中包含一个热图类型的对象。类型热图图表的标题为LSTM激活。

热图显示了每个隐藏单位的激活强度，并强调了激活随时间的变化。

参考文献

工藤、富山、新保。“使用通过区域的多维曲线分类”。模式识别的字母．第20卷，第11-13期，第1103-1111页。

[２]UCI机器学习知识库:日语元音数据集．https://archive.ics.uci.edu/ml/datasets/Japanese+Vowels

另请参阅

深度学习工具箱文档

金宝app

介绍基于MATLAB的深度学习

下载电子书