主要内容

小波散射

小波散射网络使您获得,以最小的配置,低温度差的实值时间序列和图像数据的特性在机器学习和深度学习应用程序使用。输入的特性是对翻译的不变性,你定义和连续变形。在二维情况下,功能也不旋转。散射网络使用预定义的小波和扩展过滤器。

Mallat,米菲,然后,倡导建立一个数学框架为研究卷积神经架构[2][3][4][5]。然后和Lostanlen发达有效的算法对一维信号的小波散射[4][6]。Oyallon开发高效的二维散射算法[7]。然后,Lostanlen Oyallon ScatNet主要贡献者[10]和Kymatio[11]软件计算散射变换。

Mallat和其他三个属性特征,深度学习架构拥有从数据中提取有用的特性:

  • 多尺度收缩

  • 线性化的分层的对称性

  • 稀疏表示

小波散射网络展示所有这些属性。小波变换线性化小变形等相呼应的分离在不同的尺度变化。对许多自然信号,小波变换还提供了一个稀疏表示。结合小波变换和其他特性的网络下面描述散射,散射变换产生数据表示,减少差异一个类,同时保留辨别力类。散射变换之间的一个重要的区别和深度学习网络是定义的过滤器是先天的,而不是学习。因为散射变换不需要学习过滤反应,通常可以成功地使用散射的情况下有一个训练数据的短缺。

小波散射变换

小波散射变换过程中的数据阶段。一个阶段的输出是下一阶段的输入。每个阶段包括三个操作。

零阶散射系数计算的简单平均输入。这是一个树视图的算法:

{ ψ j , k } 小波, ϕ J 尺度函数, f 是输入数据。在图像数据的情况下,为每个 ψ j , k 指定的旋转的,有许多小波。边从根节点的序列称为路径。树节点量图系数。的散射系数量图系数与扩展函数的卷积吗 ϕ J 。的散射系数低温度差的特性来源于数据。卷积与尺度函数低通滤波和信息丢失。然而,信息恢复时计算系数的下一阶段。

从数据中提取特征,首先使用waveletScattering(时间序列)waveletScattering2(用于图像数据)来创建和配置网络。参数设置包括规模大小的不变性,滤波器的数量,和小波的数量每倍频程滤波器组。在waveletScattering2你也可以设置每个小波的旋转数。获得从时间序列特性,使用waveletScattering对象的功能scatteringTransformfeatureMatrix。从图像数据获取功能,使用waveletScattering2对象的功能scatteringTransformfeatureMatrix

以迭代方式产生散射变换特性。首先,你的数据与尺度函数的卷积, f ϕ J 获得S [0]零阶散射系数。接下来,进行如下:

  1. 将小波变换与每个小波滤波器的输入数据在第一滤波器组。

  2. 每个过滤模量输出。量图的节点,U [1]

  3. 平均每个模与扩展过滤器。结果一阶散射系数,S [1]

重复这个过程在每一个节点。

scatteringTransform函数的作用是:返回散射系数和量图。的featureMatrix函数的作用是:返回散射特性。两个输出可以通过学习算法容易消耗,作为证明小波时间散射ECG信号的分类纹理分类与小波图像散射

不变性的规模

扩展过滤器小波散射网络起着至关重要的作用。当您创建一个小波散射网,你指定不变性。网络翻译的不变性规模不变。尺度函数金宝app的支持决定了在时间和空间的大小不变。

时间不变性

对于时间序列数据,不变性规模是一个持续时间。时间尺度函数的支持金宝app不超过的大小不变。这个图展示了尺度函数的支持网络中不变性两金宝app秒的规模和采样频率为100赫兹。也显示的实部和虚部coarsest-scale小波从第一个过滤器银行。观察的时间支持功能不超过2秒。金宝app

不变性的规模也会影响中心频率的间距小波的滤波器。在一个过滤器银行创造的cwtfilterbank带通中心频率对数间隔和小波的带宽和中心频率降低。

然而,在散射网络,支持小波不能超过的时间不变性。金宝app这个属性是coarsest-scale说明小波阴谋。频率低于是线性空间不变的规模与规模保持不变,这样的大小不会超过不变。下一个图显示了小波的中心频率散射第一个过滤器银行网络。中心频率绘制于线性和对数尺度。注意对数间隔更高的中心频率和较低的中心频率的线性间距。

图像不变性

图像数据的不变性指定规模N——- - - - - -N空间的支持,扩展金宝app的像素,过滤器。例如,在默认情况下waveletScattering2函数创建一个小波图像散射网的图片尺寸128 - 64 - 128和一个不变的规模。下面的曲面图显示了尺度函数中使用网络。相交的红色线条,构成了一个64 - 64平方。

质量因素和滤波器

创建小波散射网络时,除了规模不变,你也设置散射滤波器的品质因素。每个滤波器组的品质因数是小波的数量每倍频程滤波器。小波变换可秤使用指定数量的小波滤波器。

这图显示了小波网络由过滤器waveletScattering。不变性的规模是一个第二和采样频率为200赫兹。第一个过滤器银行默认质量值为8,第二个过滤器银行默认1的质量因素。

对于图像数据,大质量的因素并不是必要的。大值也带来很大的计算开销。默认情况下waveletScattering2创建一个网络两个滤波器品质因数的1。这张图显示了小波图像小波中心频率散射网有两个滤波器。第一个过滤器银行2的品质因数,第二滤波器组的品质因数1。旋转的数量每滤波器组是6。

在实践中

与散射的适当选择小波变换是扩张。遍历网络能量消散。的订单增加的能量th订单量图系数和散射系数快速收敛于0[3]。能量耗散有实际的好处。你可以限制网络中的小波滤波器的数量与最小信号能量的损失。公布的结果表明,三阶的能量散射系数可以降到百分之一以下。对于大多数应用程序,网络和两个小波滤波器是充分的。

考虑小波时间散射网络的树视图。假设有小波滤波器组,和N小波在第二过滤器银行。小波滤波器的数量在每个过滤器银行不需要大前天真的实现变得不可行。高效利用的低通特性实现模函数和批判性downsample量图和散射系数。这些策略被,然后开创,Mallat Lostanlen, Oyallon[4][6][7]为了使散射变换计算实际的同时保持学习的能力产生低温度差的数据表示。默认情况下,waveletScatteringwaveletScattering2创建网络极度downsample系数。

引用

[1]LeCun (Y。,B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, and L. D. Jackel. "Handwritten Digit Recognition with a Back-Propagation Network." In先进的神经信息处理系统(少量的1989)(d . Touretzky ed)。396 - 404。科罗拉多州丹佛市:摩根考夫曼,2卷,1990年。

[2]Mallat, S。“集团不变的散射。”通信在纯和应用数学。10号卷。65年,2012年,页1331 - 1398。

[3]布鲁纳,J。,和S. Mallat. "Invariant Scattering Convolution Networks."IEEE模式分析与机器智能。35卷,8号,2013年,页1872 - 1886。

[4],然后,J。,和S. Mallat. "Deep Scattering Spectrum."IEEE信号处理。16号卷。62年,2014年,页4114 - 4128。

[5]Mallat, S。“理解卷积网络。”英国皇家学会哲学学报。卷374:20150203,2016年,页1 - 16。dx.doi.org/10.1098/rsta.2015.0203。

[6]Lostanlen, V。散射。米— a MATLAB toolbox for wavelet scattering。https://github.com/lostanlen/scattering.m。

[7]Oyallon,爱德华。网页的爱德华Oyallon。https://edouardoyallon.github.io/。

[8]Sifre, L。,和S. Mallat. "Rigid-Motion Scattering for Texture Classification". arXiv preprint. 2014, pp. 1–19. https://arxiv.org/abs/1403.1687.

[9]Sifre, L。,和S. Mallat. "Rotation, scaling and deformation invariant scattering for texture discrimination."2013年IEEE计算机视觉与模式识别会议。2013年,页1233 - 1240。

[10]ScatNet。https://www.di.ens.fr/data/software/scatnet/。

[11]Kymatio。https://www.kymat.io/。

另请参阅

|

相关的话题