小波散射

小波散射框架使您能够从实值时间序列和图像数据中获得最小配置的低方差特征,用于机器学习和深度学习应用程序。在你定义的不变性尺度上,这些特征对输入的平移是不敏感的,并且相对于变形是连续的。在二维情况下,特征对旋转也不敏感。散射框架使用预定义的小波和尺度滤波器。

Mallat与Bruna和Andén一起开创了研究卷积神经结构的数学框架[2][3][4][5].Andén和Lostanlen开发了一维信号小波散射的有效算法[4][6].Oyallon开发了有效的二维散射算法[7].Andén、Lostanlen和Oyallon是ScatNet的主要贡献者[10]和Kymatio[11]计算散射变换的软件。

Mallat等人描述了深度学习体系结构从数据中提取有用特征的三个特性:

  • 多尺度收缩

  • 分层对称的线性化

  • 稀疏表示

小波散射框架显示了所有这些性质。小波变换通过分离不同尺度的变化来线性化小变形,如膨胀。对于许多自然信号,小波变换也提供了稀疏表示。通过将小波变换与下面描述的散射框架的其他特征相结合,散射变换产生最小化差异的数据表示在内部一个类,同时保持可判别性类。散射变换和深度学习框架之间的一个重要区别是,过滤器是预先定义的,而不是经过学习的。因为散射变换不需要学习滤波器响应,所以在缺乏训练数据的情况下,经常可以成功地使用散射。

小波散射变换

小波散射变换分阶段处理数据。一个阶段的输出成为下一个阶段的输入。每个阶段由三个操作组成。

通过简单平均输入计算零阶散射系数。以下是算法的树状图:

ψ j k 是小波, ϕ J 是标度函数吗 f 是输入数据。在图像数据的情况下,每个 ψ j k ,有许多用户指定的小波旋转。从根到节点的边序列称为路径这个tree nodes are the量图系数这个散射系数标度图系数是否与标度函数卷积 ϕ J 这个set of scattering coefficients are the low-variance features derived from the data. Convolution with the scaling function is lowpass filtering and information is lost. However, the information is recovered when computing the coefficients in the next stage.

要从数据中提取特征,首先使用小波模式(用于时间序列)或waveletScattering2(用于图像数据)来创建和配置框架。您设置的参数包括不变尺度的大小,滤波器组的数量,以及每个滤波器组中每倍频程的小波的数量。在waveletScattering2你也可以设置每个小波的旋转次数。要从时间序列中导出特征,请使用小波模式对象的功能散射变换featureMatrix.从图像数据中导出特征,使用waveletScattering2对象的功能散射变换featureMatrix

散射变换以迭代的方式生成特征。首先,将数据与比例函数卷积, f ϕ J 获得S [0],即零阶散射系数。接下来,进行如下操作:

  1. 使用第一个滤波器组中的每个小波滤波器对输入数据进行小波变换。

  2. 取每个过滤输出的模。节点是标量图,U [1]

  3. 用缩放滤波器平均每个模。结果是一阶散射系数,S [1]

在每个节点重复该过程。

散射变换函数返回散射系数和比例图系数featureMatrix函数返回散射特征。这两种输出都可以通过学习算法轻松使用,如中所示小波时间散射在心电信号分类中的应用基于小波图像散射的纹理分类

不变性的规模

尺度滤波器在小波散射框架中起着至关重要的作用。当您创建小波散射框架时,您指定了不变性尺度。该框架在不变性尺度上对平移是不变的。缩放函数金宝app的支持度决定了不变量在时间或空间上的大小。

时间不变性

对于时间序列数据,不变性尺度是一个持续时间。缩放函数的时间支持金宝app不超过不变量的大小。这张图显示了标度函数在一个两秒不变标度和金宝app100赫兹采样频率框架中的支持。也显示了来自第一滤波器组的最粗尺度小波的实部和虚部。观察功能的时间支持不超过2秒。金宝app

不变性尺度也影响滤波器组中小波中心频率的间距。创建的过滤器组中cwtfilterbank时,带通中心频率呈对数间隔,小波带宽随中心频率减小。

然而,在散射框架中,小波的时间支持不能超过不变性尺度。这一特性在最粗尺度小波图中得到了说明金宝app。低于不变性尺度的频率以保持不变的尺度线性间隔,以便不超过不变性尺度。下一个图显示了中心频率散射框架中第一个滤波器组中的小波。中心频率绘制在线性和对数尺度上。注意较高中心频率的对数间距和较低中心频率的线性间距。

图像不变性

对于图像数据,不变性比例指定N-借-N缩放过滤器的空间金宝app支持,以像素为单位。例如,默认情况下waveletScattering2函数为图像大小128×128和不变比例64创建小波图像散射框架。下面的曲面图显示了框架中使用的比例函数。相交的红线形成64×64的正方形。

质量因素和滤波器组

当创建小波散射框架时,除了不变性尺度外,您还设置了散射滤波器组的质量因子。每个滤波器组的质量因子是每个八度的小波滤波器的数目。小波变换使用指定数量的小波滤波器离散尺度。

这个图显示了小波滤波器的框架小波模式这个invariance scale is one second and sampling frequency is 200 Hz. The first filter bank has the default quality value of 8, and the second filter bank has the default quality factor of 1.

对于图像数据,不需要大的质量因子。较大的值还会导致巨大的计算开销。默认情况下waveletScattering2创建一个框架,其中有两个滤波器组,每个滤波器组的质量因子为1。这张图显示了带有两个滤波器组的小波图像散射框架的小波中心频率。所述第一滤波器组的质量因子为2,所述第二滤波器组的质量因子为1。每个滤波器组的旋转数是6。

在实践中

适当选择小波,散射变换是非膨胀的。当您遍历框架时,能量就会耗散。的订单增加,能量的th-阶尺度图系数和散射系数迅速收敛到0[3]. 能量耗散具有实际的好处。您可以限制框架中小波滤波器组的数量,使信号能量损失最小。公布的结果表明,三阶散射系数的能量可以降到1%以下。对于大多数应用,一个包含两个小波滤波器组的框架就足够了。

考虑小波时间散射框架的树形视图。假设有第一个滤波器组中的小波N第二滤波器组中的小波。每个滤波器组中的小波滤波器的数量不必很大,简单的实现就会变得不可行的。有效的实现利用了模函数的低通特性,并对散射和标度图系数进行了严格的下采样。这些策略由Andén、Mallat、Lostanlen和Oyallon首创[4][6][7]为了使散射变换在计算上实用,同时保持它们产生用于学习的低方差数据表示的能力。默认情况下,小波模式waveletScattering2创建严格降低系数采样的框架。

工具书类

莱昆,Y. B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard,和L. D. jackkel。“基于反向传播网络的手写数字识别”在神经信息处理系统进展(NIPS 1989)(D.Touretzky,ed.),396-404。科罗拉多州丹佛:摩根·考夫曼,第2卷,1990年。

[2] 群不变散射纯数学和应用数学中的通信. 2012年第65卷第10期,第1331-1398页。

[3] Bruna,J.和S.Mallat。“不变散射卷积网络。”模式分析与机器智能学报第35卷,第8期,2013年,第1872-1886页。

[4] Andén, J.和S. Mallat。“深层散射谱。”IEEE信号处理汇刊第62卷,第16期,2014年,第4114-4128页。

[5] Mallat, S。“理解深度卷积网络。”皇家学会哲学学报A。第374卷:201502032016,第1-16页。dx.doi.org/10.1098/rsta.2015.0203。

[6] Lostanlen, V。散射。米— a MATLAB toolbox for wavelet scattering.https://github.com/lostanlen/scattering.m。

[7] 奥亚龙,爱德华。Edouard Oyallon的网页.https://edouardoyallon.github.io/。

Sifre, L.和S. Mallat。“用于纹理分类的刚体运动散射”。arXiv预印本。2014年,研究-页。https://arxiv.org/abs/1403.1687。

Sifre, L.和S. Mallat。旋转,缩放和变形不变散射用于纹理识别2013 IEEE计算机视觉与模式识别学术会议. 2013年,第1233-1240页。

[10]ScatNet. https://www.di.ens.fr/data/software/scatnet/.

[11]共济会.https://www.kymat.io/。

另请参阅

|

相关话题