小波散射
小波散射网络使您能够以最小配置从实值时间序列和图像数据中派生低方差特征,用于机器学习和深度学习应用程序。这些特征在您定义的不变尺度上对输入的平移不敏感,并且对于变形是连续的。在二维情况下,特征对旋转也不敏感。散射网络使用预定义的小波和缩放滤波器。
Mallat与Bruna和Andén一起开创了研究卷积神经架构的数学框架[2][3][4][5].Andén和Lostanlen开发了有效的1-D信号小波散射算法[4][6].Oyallon开发了有效的二维散射算法[7].Andén、Lostanlen和Oyallon是ScatNet的主要贡献者[10]和Kymatio[11]计算散射变换的软件。
Mallat和其他人描述了深度学习架构从数据中提取有用特征所具有的三个属性:
多尺度收缩
层次对称的线性化
稀疏表示
小波散射网络具有所有这些性质。小波变换通过分离不同尺度上的变化来线性化小变形,如膨胀。对于许多自然信号,小波变换也提供了一种稀疏表示。通过将小波变换与下面描述的散射网络的其他特征相结合,散射变换产生了将差异最小化的数据表示在一个类,同时保留可区分性在类。散射变换和深度学习网络之间的一个重要区别是,过滤器是先验定义的,而不是学习的。因为散射变换不需要学习滤波器响应,所以在训练数据不足的情况下,通常可以成功地使用散射。
小波散射变换
小波散射变换分阶段处理数据。一个阶段的输出变成下一个阶段的输入。每个阶段由三个操作组成。
零阶散射系数是通过简单的平均输入来计算的。下面是算法的树形图:
的 小波, 是标度函数,和 是输入数据。在图像数据的情况下,为每个 ,有许多用户指定的小波旋转。从根到节点的边序列称为路径.树节点是量图系数.的散射系数尺度系数是否与尺度函数卷积 .散射系数集是从数据中得到的低方差特征。与标度函数的卷积是低通滤波,信息丢失。但是,在计算下一阶段的系数时,这些信息将被恢复。
要从数据中提取特征,首先使用waveletScattering
(时间序列)或waveletScattering2
(用于图像数据)来创建和配置网络。设置的参数包括不变性尺度的大小、滤波器组的数量以及每个滤波器组中每八度的小波数。在waveletScattering2
您还可以设置每个小波的旋转数。若要从时间序列中派生特征,请使用waveletScattering
对象的功能scatteringTransform
或featureMatrix
.若要从图像数据中派生特征,请使用waveletScattering2
对象的功能scatteringTransform
或featureMatrix
.
散射变换以迭代的方式生成特征。首先,将数据与缩放函数进行卷积, 获得S [0]为零阶散射系数。接下来,按照以下步骤进行:
用第一个滤波器组中的每个小波滤波器对输入数据进行小波变换。
取每个过滤输出的模量。节点是标量图,U [1].
用缩放滤波器求每个模的平均值。结果是一阶散射系数,S [1].
在每个节点上重复该过程。
的scatteringTransform
函数返回散射系数和标量系数。的featureMatrix
函数返回散射特征。如上所示,可以通过学习算法轻松地使用这两个输出小波时间散射在心电信号分类中的应用或基于小波图像散射的纹理分类.
不变性的规模
尺度滤波器在小波散射网络中起着至关重要的作用。在创建小波散射网络时,需要指定不变性尺度。网络对平移到不变性尺度是不变性的。缩放函数金宝app的支持决定了不变量在时间或空间上的大小。
时间不变性
对于时间序列数据,不变性尺度是一个持续时间。缩放函数的时间支持金宝app不超过不变量的大小。该图显示了在不变尺度为2秒,采样频率为1金宝app00 Hz的网络中缩放函数的支持。还显示了来自第一个滤波器组的最粗尺度小波的实部和虚部。观察功能支持的时间不超过两秒。金宝app
不变性尺度也影响滤波器组中小波中心频率的间隔。创建的过滤器组中cwtfilterbank
时,带通中心频率呈对数间隔,小波带宽随中心频率的增大而减小。
然而,在散射网络中,小波的时间支持不能超过不变性尺度。金宝app这种性质在最粗尺度小波图中得到了说明。低于不变尺度的频率线性间隔,尺度保持不变,这样不变性的大小就不会超过。下图显示了散射网络中第一个滤波器组中小波的中心频率。中心频率在线性和对数尺度上绘制。注意高中心频率的对数间隔和低中心频率的线性间隔。
图像不变性
对于图像数据,不变性尺度指定N——- - - - - -N缩放过滤器的空间金宝app支持,以像素为单位。例如,默认情况下waveletScattering2
函数为图像大小为128 × 128,不变性尺度为64的图像创建小波图像散射网络。下面的曲面图显示了网络中使用的缩放函数。交叉的红线构成一个64 * 64的正方形。
质量因子和滤波器组
在创建小波散射网络时,除了不变性尺度外,还可以为散射滤波器组设置质量因子。每个滤波器组的质量因子是每八度的小波滤波器的数量。小波变换使用指定数量的小波滤波器对尺度进行离散化。
这个图显示了小波滤波器在网络中创建waveletScattering
.不变性尺度为1秒,采样频率为200hz。第一个滤波器组的默认质量值为8,第二个滤波器组的默认质量因子为1。
对于图像数据,不需要大的质量因子。大的值也会导致大量的计算开销。默认情况下waveletScattering2
创建具有两个质量因子为1的滤波器组的网络。该图显示了带有两个滤波器组的小波图像散射网络的小波中心频率。第一个滤波器组的质量因子为2,第二个滤波器组的质量因子为1。每个滤波器组的旋转次数为6。
在实践中
在适当选择小波的情况下,散射变换是非膨胀的。当你在网络中迭代时,能量就会消散。作为顺序米增加,能量的米th-阶标量系数和散射系数迅速收敛到0[3].能量耗散有实际的好处。你可以用最小的信号能量损失来限制网络中小波滤波器组的数量。已发表的结果表明,三阶散射系数的能量可以降至1%以下。对于大多数应用,有两个小波滤波器组的网络就足够了。
考虑小波时间散射网络的树形图。假设有米第一滤波器组中的小波,和N第二滤波器组中的小波。每个滤波器组中的小波滤波器的数量不必很大,否则简单的实现就变得不可行的。有效的实现利用了模函数的低通特性,并严格地降低散射和标量系数的采样。这些策略是由Andén、Mallat、Lostanlen和Oyallon首创的[4][6][7]为了使散射变换在计算上实用,同时保持其产生低方差数据表示的学习能力。默认情况下,waveletScattering
而且waveletScattering2
建立网络,严格降低系数取样。
参考文献
Y.勒丘恩,B.博瑟,J. S.丹可,D.亨德森,R. E.霍华德,W.哈伯德和L. D.杰克。"用反向传播网络进行手写数字识别"在神经信息处理系统(NIPS 1989)(D. Touretzky编著)。396 - 404。丹佛,科罗拉多州:摩根·考夫曼,1990年第2卷。
[2]南卡罗来纳州马拉特“群不变散射。”纯粹数学与应用数学交流“,.Vol. 65, no . 10, 2012, pp. 1331-1398。
[3]布鲁娜,J.和S.马拉特。不变散射卷积网络模式分析与机器智能汇刊.第35卷,第8期,2013年,第1872-1886页。
[4] Andén, J.和S.马拉特。“深度散射光谱。”IEEE信号处理汇刊.Vol. 62, no . 16, 2014, pp. 4114-4128。
[5]南卡罗来纳州马拉特“理解深度卷积网络。”英国皇家学会哲学学报A。卷374:20150203,2016,第1-16页。dx.doi.org/10.1098/rsta.2015.0203。
[6]洛斯坦伦,V。散射。米— a MATLAB toolbox for wavelet scattering.https://github.com/lostanlen/scattering.m。
[7]奥亚隆,爱德华。Edouard Oyallon网页.https://edouardoyallon.github.io/。
[8]西弗尔,L.和S.马拉特。“纹理分类的刚性运动散射”。arXiv预印本。2014,第1-19页。https://arxiv.org/abs/1403.1687。
[9]西弗尔,L.和S.马拉特。“旋转,缩放和变形不变散射纹理识别。”2013年IEEE计算机视觉与模式识别会议.2013, pp 1233-1240。
[10]ScatNet.https://www.di.ens.fr/data/software/scatnet/。
[11]Kymatio.https://www.kymat.io/。
另请参阅
waveletScattering
|waveletScattering2