特征提取是一组将输入特征映射到新的输出特征的方法。许多特征提取方法使用无监督学习来提取特征。与PCA和NNMF等特征提取方法不同,本节描述的方法可以增加维数(或减少维数)。在内部,方法包括优化非线性目标函数。有关详细信息,请参见gydF4y2Ba稀疏的滤波算法gydF4y2Ba或gydF4y2Ba重建ICA算法gydF4y2Ba.gydF4y2Ba
特征提取的一个典型应用是在图像中寻找特征。使用这些特征可以提高分类精度。例如,请参见gydF4y2Ba特征提取工作流程gydF4y2Ba.另一个典型的应用是从叠加信号中提取单个信号,这通常被称为盲源分离。例如,请参见gydF4y2Ba提取混合信号gydF4y2Ba.gydF4y2Ba
有两个特征提取函数:gydF4y2Ba黎加gydF4y2Ba
和gydF4y2BasparsefiltgydF4y2Ba
.与这些函数相关的是它们创建的对象:gydF4y2BaReconstructionICAgydF4y2Ba
和gydF4y2BaSparseFilteringgydF4y2Ba
.gydF4y2Ba
稀疏过滤算法从一个数据矩阵开始gydF4y2BaXgydF4y2Ba
有gydF4y2BangydF4y2Ba
行和gydF4y2BapgydF4y2Ba
列。每一行代表一个观察值,每一列代表一个测量值。这些列也称为特性或预测器。然后算法取一个初始随机变量gydF4y2BapgydF4y2Ba
——- - - - - -gydF4y2Ba问gydF4y2Ba
权重矩阵gydF4y2BaWgydF4y2Ba
或者使用传递进来的权矩阵gydF4y2BaInitialTransformWeightsgydF4y2Ba
名称-值对。gydF4y2Ba问gydF4y2Ba
要求的功能数量是多少gydF4y2BasparsefiltgydF4y2Ba
计算。gydF4y2Ba
算法试图最小化gydF4y2Ba稀疏滤波目标函数gydF4y2Ba通过使用标准的有限内存Broyden-Fletcher-Goldfarb-Shanno (LBFGS)准牛顿优化器。参见Nocedal和WrightgydF4y2Ba[2]gydF4y2Ba.这个优化器占用的时间为gydF4y2BaIterationLimitgydF4y2Ba
迭代。当它执行一个规范小于的步骤时,它会更早地停止迭代gydF4y2BaStepTolerancegydF4y2Ba
,或者当它计算当前点的梯度范数小于时gydF4y2BaGradientTolerancegydF4y2Ba
乘以一个标量gydF4y2BaτgydF4y2Ba,在那里gydF4y2Ba
|gydF4y2BafgydF4y2Ba|为目标函数的范数,和gydF4y2Ba 是初始梯度的无穷模。gydF4y2Ba
目标函数试图同时为每个数据点获得少量的非零特征,并使每个结果特征的权重几乎相等。要了解目标函数是如何试图实现这些目标的,请参阅Ngiam、Koh、Chen、Bhaskar和NggydF4y2Ba[1]gydF4y2Ba.gydF4y2Ba
通常,您可以通过设置一个相对较小的值来获得好的特性gydF4y2BaIterationLimitgydF4y2Ba
从5个降到几百个。允许优化器继续进行可能导致过度训练,提取的特征不能很好地推广到新数据。gydF4y2Ba
在构建一个gydF4y2BaSparseFilteringgydF4y2Ba
对象,使用gydF4y2Ba变换gydF4y2Ba
方法将输入数据映射到新的输出特性。gydF4y2Ba
为了计算一个目标函数,稀疏滤波算法采用以下步骤。目标函数取决于gydF4y2BangydF4y2Ba
——- - - - - -gydF4y2BapgydF4y2Ba
数据矩阵gydF4y2BaXgydF4y2Ba
和一个权矩阵gydF4y2BaWgydF4y2Ba
优化器的变化。权重矩阵gydF4y2BaWgydF4y2Ba
有尺寸gydF4y2BapgydF4y2Ba
——- - - - - -gydF4y2Ba问gydF4y2Ba
,在那里gydF4y2BapgydF4y2Ba
原始特征的数量是多少gydF4y2Ba问gydF4y2Ba
是请求的功能的数量。gydF4y2Ba
计算gydF4y2BangydF4y2Ba
——- - - - - -gydF4y2Ba问gydF4y2Ba
矩阵gydF4y2BaX * WgydF4y2Ba
.应用近似绝对值函数gydF4y2Ba
每个元素gydF4y2BaX * WgydF4y2Ba
得到矩阵gydF4y2BaFgydF4y2Ba
.gydF4y2BaϕgydF4y2Ba是一个光滑的非负对称函数,它非常接近绝对值函数。gydF4y2Ba
的列规范化gydF4y2BaFgydF4y2Ba
的近似gydF4y2BalgydF4y2Ba2gydF4y2Ba规范。换句话说,定义归一化矩阵gydF4y2Ba
通过gydF4y2Ba
的行标准化gydF4y2Ba 的近似gydF4y2BalgydF4y2Ba2gydF4y2Ba规范。换句话说,定义归一化矩阵gydF4y2Ba 通过gydF4y2Ba
矩阵gydF4y2Ba
转换特征的矩阵在吗gydF4y2BaXgydF4y2Ba
.一次gydF4y2BasparsefiltgydF4y2Ba
发现权重gydF4y2BaWgydF4y2Ba
使目标函数最小化gydF4y2BahgydF4y2Ba(见下面),函数将其存储在输出对象中gydF4y2BaMdlgydF4y2Ba
在gydF4y2BaMdl。TransformWeights
财产,gydF4y2Ba变换gydF4y2Ba
函数可以按照相同的转换步骤将新数据转换为输出特性。gydF4y2Ba
计算目标函数gydF4y2BahgydF4y2Ba(gydF4y2BaWgydF4y2Ba
)为矩阵的1范数gydF4y2Ba
,表示矩阵中所有元素(构造为非负)的和:gydF4y2Ba
如果你设置gydF4y2BaλgydF4y2Ba
名称-值对为严格正的值,gydF4y2BasparsefiltgydF4y2Ba
使用以下修改后的目标函数:gydF4y2Ba
在这里,gydF4y2BawgydF4y2BajgydF4y2Ba是矩阵的第j列吗gydF4y2BaWgydF4y2Ba
和gydF4y2BaλgydF4y2Ba的价值gydF4y2BaλgydF4y2Ba
.这一项的作用是缩小权重gydF4y2BaWgydF4y2Ba
.如果你画出gydF4y2BaWgydF4y2Ba
作为图像,带有积极意义gydF4y2BaλgydF4y2Ba
这些图像与零的图像相比显得平滑gydF4y2BaλgydF4y2Ba
.gydF4y2Ba
重构独立分量分析(RICA)算法是基于最小化目标函数的算法。该算法将输入数据映射到输出特征。gydF4y2Ba
ICA源模型如下所示。每一个观察gydF4y2BaxgydF4y2Ba是由一个随机向量生成的吗gydF4y2Ba年代gydF4y2Ba根据gydF4y2Ba
xgydF4y2Ba列向量是长度的吗gydF4y2BapgydF4y2Ba
.gydF4y2Ba
μgydF4y2Ba列向量是长度的吗gydF4y2BapgydF4y2Ba
表示一个常数项。gydF4y2Ba
年代gydF4y2Ba列向量是长度的吗gydF4y2Ba问gydF4y2Ba
它的元素是零均值,单位方差随机变量统计上相互独立。gydF4y2Ba
一个gydF4y2Ba混合矩阵的大小是多少gydF4y2BapgydF4y2Ba
——- - - - - -gydF4y2Ba问gydF4y2Ba
.gydF4y2Ba
您可以在gydF4y2Ba黎加gydF4y2Ba
估计gydF4y2Ba一个gydF4y2Ba从观察的gydF4y2BaxgydF4y2Ba.看到gydF4y2Ba提取混合信号gydF4y2Ba.gydF4y2Ba
RICA算法从一个数据矩阵开始gydF4y2BaXgydF4y2Ba
有gydF4y2BangydF4y2Ba
行和gydF4y2BapgydF4y2Ba
由观察组成的列gydF4y2BaxgydF4y2Ba我gydF4y2Ba:gydF4y2Ba
每一行代表一个观察值,每一列代表一个测量值。这些列也称为特性或预测器。然后算法取一个初始随机变量gydF4y2BapgydF4y2Ba
——- - - - - -gydF4y2Ba问gydF4y2Ba
权重矩阵gydF4y2BaWgydF4y2Ba
或者使用传递进来的权矩阵gydF4y2BaInitialTransformWeightsgydF4y2Ba
名称-值对。gydF4y2Ba问gydF4y2Ba
要求的功能数量是多少gydF4y2Ba黎加gydF4y2Ba
计算。权重矩阵gydF4y2BaWgydF4y2Ba
由列组成gydF4y2BawgydF4y2Ba我gydF4y2Ba的大小gydF4y2BapgydF4y2Ba
1:gydF4y2Ba
算法试图最小化gydF4y2Ba重建ICA目标函数gydF4y2Ba通过使用标准的有限内存Broyden-Fletcher-Goldfarb-Shanno (LBFGS)准牛顿优化器。参见Nocedal和WrightgydF4y2Ba[2]gydF4y2Ba.这个优化器占用的时间为gydF4y2BaIterationLimitgydF4y2Ba
迭代。当它的步长小于时,它就停止迭代gydF4y2BaStepTolerancegydF4y2Ba
,或者当它计算当前点的梯度范数小于时gydF4y2BaGradientTolerancegydF4y2Ba
乘以一个标量gydF4y2BaτgydF4y2Ba,在那里gydF4y2Ba
|gydF4y2BafgydF4y2Ba|为目标函数的范数,和gydF4y2Ba 是初始梯度的无穷模。gydF4y2Ba
目标函数试图得到一个近似标准正交的权矩阵,使元素的和最小化gydF4y2BaggydF4y2Ba(gydF4y2BaXWgydF4y2Ba
),gydF4y2BaggydF4y2Ba是否有一个函数(如下所述)应用于元素gydF4y2BaXWgydF4y2Ba
.要了解目标函数是如何尝试实现这些目标的,请参阅Le、Karpenko、Ngiam和NggydF4y2Ba[3]gydF4y2Ba.gydF4y2Ba
在构建一个gydF4y2BaReconstructionICAgydF4y2Ba
对象,使用gydF4y2Ba变换gydF4y2Ba
方法将输入数据映射到新的输出特性。gydF4y2Ba
目标函数使用一个对比函数,你可以用gydF4y2BaContrastFcngydF4y2Ba
名称-值对。对比函数是一个光滑的凸函数,类似于一个绝对值。缺省情况下,对比度为gydF4y2Ba
.有关其他可用的对比度函数,请参见gydF4y2BaContrastFcngydF4y2Ba
.gydF4y2Ba
对于一个gydF4y2BangydF4y2Ba
——- - - - - -gydF4y2BapgydF4y2Ba
数据矩阵gydF4y2BaXgydF4y2Ba
和gydF4y2Ba问gydF4y2Ba
输出特性,带有正则化参数gydF4y2BaλgydF4y2Ba作为价值gydF4y2BaλgydF4y2Ba
名值对,目标函数在gydF4y2BapgydF4y2Ba
——- - - - - -gydF4y2Ba问gydF4y2Ba
矩阵gydF4y2BaWgydF4y2Ba
是gydF4y2Ba
的gydF4y2BaσgydF4y2BajgydF4y2Ba已知常数为±1。当gydF4y2BaσgydF4y2BajgydF4y2Ba= + 1gydF4y2Ba,最小化目标函数gydF4y2BahgydF4y2Ba鼓励的直方图gydF4y2Ba
在0处急剧达到峰值(超高斯)。当gydF4y2BaσgydF4y2BajgydF4y2Ba= 1gydF4y2Ba,最小化目标函数gydF4y2BahgydF4y2Ba鼓励的直方图gydF4y2Ba
在0附近变平(亚高斯分布)。指定gydF4y2BaσgydF4y2BajgydF4y2Ba值使用gydF4y2Ba黎加gydF4y2Ba
NonGaussianityIndicatorgydF4y2Ba
名称-值对。gydF4y2Ba
目标函数gydF4y2BahgydF4y2Ba什么时候会有一个伪最小值为零gydF4y2BaλgydF4y2Ba是零。因此,gydF4y2Ba黎加gydF4y2Ba
最小化gydF4y2BahgydF4y2Ba在gydF4y2BaWgydF4y2Ba归一化为1。换句话说,每一列gydF4y2BawgydF4y2BajgydF4y2Ba的gydF4y2BaWgydF4y2Ba是用列向量定义的吗gydF4y2BavgydF4y2BajgydF4y2Ba通过gydF4y2Ba
黎加gydF4y2Ba
最大限度地减少了gydF4y2BavgydF4y2BajgydF4y2Ba.得到的最小矩阵gydF4y2BaWgydF4y2Ba
提供从输入数据的转换gydF4y2BaXgydF4y2Ba
输出特性gydF4y2BaXWgydF4y2Ba
.gydF4y2Ba
Ngiam, Jiquan, Zhenghao Chen, Sonia A. Bhaskar, Pang W. Koh, Andrew Y. Ng。“稀疏过滤。”gydF4y2Ba神经信息处理系统研究进展。gydF4y2Ba第24卷,2011年,第1125-1133页。gydF4y2Bahttps://papers.nips.cc/paper/4334-sparse-filtering.pdfgydF4y2Ba
.gydF4y2Ba
Nocedal, J.和S. J. Wright。gydF4y2Ba数值优化gydF4y2Ba,第二版。施普林格运筹学系列,施普林格Verlag, 2006。gydF4y2Ba
[3] Le, Quoc V., Alexandre Karpenko, Jiquan Ngiam, Andrew Y. Ng。“基于重构代价的ICA高效过完备特征学习”。gydF4y2Ba神经信息处理系统研究进展。gydF4y2Ba2011年第24卷,第1017-1025页。gydF4y2Bahttps://papers.nips.cc/paper/4467-ica-with-reconstruction-cost-for-efficient-overcomplete-feature-learning.pdfgydF4y2Ba
.gydF4y2Ba
ReconstructionICAgydF4y2Ba
|gydF4y2Ba黎加gydF4y2Ba
|gydF4y2BasparsefiltgydF4y2Ba
|gydF4y2BaSparseFilteringgydF4y2Ba