特征提取- MATLAB和Simulink MathWork金宝apps比荷卢经济联盟gydF4y2Ba - 金宝app,下载188bet金宝搏,金宝搏官方网站

特征提取gydF4y2Ba

特征提取是什么?gydF4y2Ba

特征提取是一组输入特性映射到新的输出特性的方法。许多特征提取方法使用非监督学习来提取特征。与PCA和NNMF等一些特征提取方法,在这一节中描述的方法可以增加维度(和降低维数)。在内部,包括优化非线性目标函数的方法。有关详细信息,请参见gydF4y2Ba稀疏的滤波算法gydF4y2Ba或gydF4y2Ba重建ICA算法gydF4y2Ba。gydF4y2Ba

一个典型的图像特征提取是找到特性的使用。使用这些特性能够提高分类精度。例如,看到的gydF4y2Ba特征提取工作流程gydF4y2Ba。另一个典型的使用是提取单个的信号叠加,通常称为盲源分离。例如,看到的gydF4y2Ba提取混合信号gydF4y2Ba。gydF4y2Ba

有两个特征提取功能:gydF4y2Ba黎加gydF4y2Ba和gydF4y2BasparsefiltgydF4y2Ba。与这些功能相关的对象创建:gydF4y2BaReconstructionICAgydF4y2Ba和gydF4y2BaSparseFilteringgydF4y2Ba。gydF4y2Ba

稀疏的滤波算法gydF4y2Ba

开始于一个数据矩阵稀疏的过滤算法gydF4y2BaXgydF4y2Ba有gydF4y2BangydF4y2Ba行和gydF4y2BapgydF4y2Ba列。每一行代表一个观察和测量每一列代表一个。列也称为特性或预测。算法还需要一个初始随机gydF4y2BapgydF4y2Ba——- - - - - -gydF4y2Ba问gydF4y2Ba权重矩阵gydF4y2BaWgydF4y2Ba或使用矩阵中传递gydF4y2BaInitialTransformWeightsgydF4y2Ba名称-值对。gydF4y2Ba问gydF4y2Ba是请求的特性gydF4y2BasparsefiltgydF4y2Ba计算。gydF4y2Ba

该算法试图最小化gydF4y2Ba稀疏的过滤目标函数gydF4y2Ba通过使用一个标准的内存有限Broyden-Fletcher-Goldfarb-Shanno (LBFGS)拟牛顿优化器。看到Nocedal和赖特gydF4y2Ba[2]gydF4y2Ba。这个优化器占用gydF4y2BaIterationLimitgydF4y2Ba迭代。时停止迭代前需要规范不到的一步gydF4y2BaStepTolerancegydF4y2Ba,或者当它计算的标准梯度小于目前的点gydF4y2BaGradientTolerancegydF4y2Ba乘以一个标量gydF4y2BaτgydF4y2Ba,在那里gydF4y2Ba

$τgydF4y2Ba =gydF4y2Ba 马克斯gydF4y2Ba (gydF4y2Ba 1gydF4y2Ba,gydF4y2Ba 最小值gydF4y2Ba (gydF4y2Ba |gydF4y2Ba fgydF4y2Ba |gydF4y2Ba,gydF4y2Ba {为gydF4y2Ba {ggydF4y2Ba}_{0gydF4y2Ba} 为gydF4y2Ba}_{∞gydF4y2Ba})gydF4y2Ba)gydF4y2Ba 。gydF4y2Ba$

|gydF4y2BafgydF4y2Ba|是目标函数的规范,gydF4y2Ba ${为gydF4y2Ba {ggydF4y2Ba}_{0gydF4y2Ba} 为gydF4y2Ba}_{∞gydF4y2Ba}$ 是最初的无穷范数梯度。gydF4y2Ba

目标函数试图同时获取一些非零特性对于每一个数据点,并为每一个功能有几乎相等的重量。了解目标函数试图实现这些目标,看到Ngiam, Koh,陈,Bhaskar和NggydF4y2Ba[1]gydF4y2Ba。gydF4y2Ba

经常,你获得良好的功能,通过设置一个相对较小的值gydF4y2BaIterationLimitgydF4y2Ba从低至5到几百。允许继续优化器会导致过度训练,没有提取的特征概括新数据。gydF4y2Ba

在构建一个gydF4y2BaSparseFilteringgydF4y2Ba对象,使用gydF4y2Ba变换gydF4y2Ba方法将输入数据映射到新的输出特性。gydF4y2Ba

稀疏的过滤目标函数gydF4y2Ba

计算目标函数,稀疏的滤波算法使用以下步骤。目标函数依赖gydF4y2BangydF4y2Ba——- - - - - -gydF4y2BapgydF4y2Ba数据矩阵gydF4y2BaXgydF4y2Ba和权重矩阵gydF4y2BaWgydF4y2Ba优化器不同。权重矩阵gydF4y2BaWgydF4y2Ba有尺寸gydF4y2BapgydF4y2Ba——- - - - - -gydF4y2Ba问gydF4y2Ba,在那里gydF4y2BapgydF4y2Ba是原始特征的数量和gydF4y2Ba问gydF4y2Ba是请求的数量特征。gydF4y2Ba

计算gydF4y2BangydF4y2Ba——- - - - - -gydF4y2Ba问gydF4y2Ba矩阵gydF4y2BaX * WgydF4y2Ba。应用近似绝对值函数gydF4y2Ba $ϕgydF4y2Ba (gydF4y2Ba ugydF4y2Ba)gydF4y2Ba =gydF4y2Ba \sqrt{{ugydF4y2Ba}^{2gydF4y2Ba} +gydF4y2Ba {10gydF4y2Ba}^{-gydF4y2Ba 8gydF4y2Ba}}$ 每个元素的gydF4y2BaX * WgydF4y2Ba获取矩阵gydF4y2BaFgydF4y2Ba。gydF4y2BaϕgydF4y2Ba是一个光滑的非负对称函数,密切接近绝对值的函数。gydF4y2Ba
规范化的列gydF4y2BaFgydF4y2Ba的近似gydF4y2BalgydF4y2Ba^2gydF4y2Ba规范。换句话说,定义归一化矩阵gydF4y2Ba $\overset{˜gydF4y2Ba}{FgydF4y2Ba} (gydF4y2Ba 我gydF4y2Ba,gydF4y2Ba jgydF4y2Ba)gydF4y2Ba$ 通过gydF4y2Ba

$\begin{matrix} 为gydF4y2Ba FgydF4y2Ba (gydF4y2Ba jgydF4y2Ba)gydF4y2Ba 为gydF4y2Ba =gydF4y2Ba \sqrt{{\sumgydF4y2Ba}_{我gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{ngydF4y2Ba} {(gydF4y2Ba FgydF4y2Ba (gydF4y2Ba 我gydF4y2Ba,gydF4y2Ba jgydF4y2Ba)gydF4y2Ba)gydF4y2Ba}^{2gydF4y2Ba} +gydF4y2Ba {10gydF4y2Ba}^{-gydF4y2Ba 8gydF4y2Ba}} \\ \overset{˜gydF4y2Ba}{FgydF4y2Ba} (gydF4y2Ba 我gydF4y2Ba,gydF4y2Ba jgydF4y2Ba)gydF4y2Ba =gydF4y2Ba FgydF4y2Ba (gydF4y2Ba 我gydF4y2Ba,gydF4y2Ba jgydF4y2Ba)gydF4y2Ba /gydF4y2Ba 为gydF4y2Ba FgydF4y2Ba (gydF4y2Ba jgydF4y2Ba)gydF4y2Ba 为gydF4y2Ba 。gydF4y2Ba \end{matrix}$
规范化的行gydF4y2Ba $\overset{˜gydF4y2Ba}{FgydF4y2Ba} (gydF4y2Ba 我gydF4y2Ba,gydF4y2Ba jgydF4y2Ba)gydF4y2Ba$ 的近似gydF4y2BalgydF4y2Ba^2gydF4y2Ba规范。换句话说,定义归一化矩阵gydF4y2Ba $\overset{^gydF4y2Ba}{FgydF4y2Ba} (gydF4y2Ba 我gydF4y2Ba,gydF4y2Ba jgydF4y2Ba)gydF4y2Ba$ 通过gydF4y2Ba

$\begin{matrix} 为gydF4y2Ba \overset{˜gydF4y2Ba}{FgydF4y2Ba} (gydF4y2Ba 我gydF4y2Ba)gydF4y2Ba 为gydF4y2Ba =gydF4y2Ba \sqrt{{\sumgydF4y2Ba}_{jgydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{问gydF4y2Ba} {(gydF4y2Ba \overset{˜gydF4y2Ba}{FgydF4y2Ba} (gydF4y2Ba 我gydF4y2Ba,gydF4y2Ba jgydF4y2Ba)gydF4y2Ba)gydF4y2Ba}^{2gydF4y2Ba} +gydF4y2Ba {10gydF4y2Ba}^{-gydF4y2Ba 8gydF4y2Ba}} \\ \overset{^gydF4y2Ba}{FgydF4y2Ba} (gydF4y2Ba 我gydF4y2Ba,gydF4y2Ba jgydF4y2Ba)gydF4y2Ba =gydF4y2Ba \overset{˜gydF4y2Ba}{FgydF4y2Ba} (gydF4y2Ba 我gydF4y2Ba,gydF4y2Ba jgydF4y2Ba)gydF4y2Ba /gydF4y2Ba 为gydF4y2Ba \overset{˜gydF4y2Ba}{FgydF4y2Ba} (gydF4y2Ba 我gydF4y2Ba)gydF4y2Ba 为gydF4y2Ba 。gydF4y2Ba \end{matrix}$

矩阵gydF4y2Ba $\overset{^gydF4y2Ba}{FgydF4y2Ba}$ 转换特性的矩阵在吗gydF4y2BaXgydF4y2Ba。一次gydF4y2BasparsefiltgydF4y2Ba发现权重gydF4y2BaWgydF4y2Ba最小化目标函数gydF4y2BahgydF4y2Ba(见下文),函数存储在输出对象gydF4y2BaMdlgydF4y2Ba在gydF4y2BaMdl.TransformWeightsgydF4y2Ba财产,gydF4y2Ba变换gydF4y2Ba转换函数可以遵循相同的步骤,将新数据转换为输出特性。gydF4y2Ba
计算目标函数gydF4y2BahgydF4y2Ba(gydF4y2BaWgydF4y2Ba)的1-norm矩阵gydF4y2Ba $\overset{^gydF4y2Ba}{FgydF4y2Ba} (gydF4y2Ba 我gydF4y2Ba,gydF4y2Ba jgydF4y2Ba)gydF4y2Ba$ ,这意味着矩阵中的元素的总和(由建设负的):gydF4y2Ba

$hgydF4y2Ba (gydF4y2Ba WgydF4y2Ba)gydF4y2Ba =gydF4y2Ba {\sumgydF4y2Ba}_{jgydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{问gydF4y2Ba} {\sumgydF4y2Ba}_{我gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{ngydF4y2Ba} \overset{^gydF4y2Ba}{FgydF4y2Ba} (gydF4y2Ba 我gydF4y2Ba,gydF4y2Ba jgydF4y2Ba)gydF4y2Ba 。gydF4y2Ba$
如果你设置gydF4y2BaλgydF4y2Ba名称-值对一个严格的积极价值,gydF4y2BasparsefiltgydF4y2Ba使用以下修改目标函数:gydF4y2Ba

$hgydF4y2Ba (gydF4y2Ba WgydF4y2Ba)gydF4y2Ba =gydF4y2Ba {\sumgydF4y2Ba}_{jgydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{问gydF4y2Ba} {\sumgydF4y2Ba}_{我gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{ngydF4y2Ba} \overset{^gydF4y2Ba}{FgydF4y2Ba} (gydF4y2Ba 我gydF4y2Ba,gydF4y2Ba jgydF4y2Ba)gydF4y2Ba +gydF4y2Ba λgydF4y2Ba {\sumgydF4y2Ba}_{jgydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{问gydF4y2Ba} {wgydF4y2Ba}_{jgydF4y2Ba}^{TgydF4y2Ba} {wgydF4y2Ba}_{jgydF4y2Ba} 。gydF4y2Ba$

在这里,gydF4y2BawgydF4y2Ba_jgydF4y2Ba是gydF4y2BajgydF4y2Ba矩阵的列gydF4y2BaWgydF4y2Ba和gydF4y2BaλgydF4y2Ba的值是gydF4y2BaλgydF4y2Ba。这一项是收缩的影响权重gydF4y2BaWgydF4y2Ba。如果你的列gydF4y2BaWgydF4y2Ba图片,正面的gydF4y2BaλgydF4y2Ba这些图片看起来平滑相比,相同的图像为零gydF4y2BaλgydF4y2Ba。gydF4y2Ba

重建ICA算法gydF4y2Ba

重建独立分量分析(黎加)算法是基于最小化目标函数。该算法将输入数据映射到输出特性。gydF4y2Ba

ICA源模型是这样的。每一个观察gydF4y2BaxgydF4y2Ba是由一个随机向量gydF4y2Ba年代gydF4y2Ba根据gydF4y2Ba

$xgydF4y2Ba =gydF4y2Ba μgydF4y2Ba +gydF4y2Ba 一个gydF4y2Ba 年代gydF4y2Ba 。gydF4y2Ba$

xgydF4y2Ba是一个列向量的长度gydF4y2BapgydF4y2Ba。gydF4y2Ba
μgydF4y2Ba是一个列向量的长度gydF4y2BapgydF4y2Ba代表一个常数项。gydF4y2Ba
年代gydF4y2Ba是一个列向量的长度gydF4y2Ba问gydF4y2Ba的元素是零均值,方差单位随机变量在统计上是相互独立的。gydF4y2Ba
一个gydF4y2Ba是一个混合矩阵的大小gydF4y2BapgydF4y2Ba——- - - - - -gydF4y2Ba问gydF4y2Ba。gydF4y2Ba

您可以使用这个模型gydF4y2Ba黎加gydF4y2Ba估计gydF4y2Ba一个gydF4y2Ba从观察的gydF4y2BaxgydF4y2Ba。看到gydF4y2Ba提取混合信号gydF4y2Ba。gydF4y2Ba

黎加算法从一个数据矩阵gydF4y2BaXgydF4y2Ba有gydF4y2BangydF4y2Ba行和gydF4y2BapgydF4y2Ba列组成的观察gydF4y2BaxgydF4y2Ba_我gydF4y2Ba:gydF4y2Ba

$XgydF4y2Ba =gydF4y2Ba (gydF4y2Ba \begin{matrix} {xgydF4y2Ba}_{1gydF4y2Ba}^{TgydF4y2Ba} \\ {xgydF4y2Ba}_{2gydF4y2Ba}^{TgydF4y2Ba} \\ ⋮gydF4y2Ba \\ {xgydF4y2Ba}_{ngydF4y2Ba}^{TgydF4y2Ba} \end{matrix}]gydF4y2Ba 。gydF4y2Ba$

每一行代表一个观察和测量每一列代表一个。列也称为特性或预测。算法还需要一个初始随机gydF4y2BapgydF4y2Ba——- - - - - -gydF4y2Ba问gydF4y2Ba权重矩阵gydF4y2BaWgydF4y2Ba或使用矩阵中传递gydF4y2BaInitialTransformWeightsgydF4y2Ba名称-值对。gydF4y2Ba问gydF4y2Ba是请求的特性gydF4y2Ba黎加gydF4y2Ba计算。权重矩阵gydF4y2BaWgydF4y2Ba由列gydF4y2BawgydF4y2Ba_我gydF4y2Ba的大小gydF4y2BapgydF4y2Ba1:gydF4y2Ba

$WgydF4y2Ba =gydF4y2Ba (gydF4y2Ba \begin{matrix} {wgydF4y2Ba}_{1gydF4y2Ba} & {wgydF4y2Ba}_{2gydF4y2Ba} & \dotsgydF4y2Ba & {wgydF4y2Ba}_{问gydF4y2Ba} \end{matrix}]gydF4y2Ba 。gydF4y2Ba$

该算法试图最小化gydF4y2Ba重建ICA目标函数gydF4y2Ba通过使用一个标准的内存有限Broyden-Fletcher-Goldfarb-Shanno (LBFGS)拟牛顿优化器。看到Nocedal和赖特gydF4y2Ba[2]gydF4y2Ba。这个优化器占用gydF4y2BaIterationLimitgydF4y2Ba迭代。时停止迭代步骤的规范小于gydF4y2BaStepTolerancegydF4y2Ba,或者当它计算的标准梯度小于目前的点gydF4y2BaGradientTolerancegydF4y2Ba乘以一个标量gydF4y2BaτgydF4y2Ba,在那里gydF4y2Ba

|gydF4y2BafgydF4y2Ba|是目标函数的规范,gydF4y2Ba ${为gydF4y2Ba {ggydF4y2Ba}_{0gydF4y2Ba} 为gydF4y2Ba}_{∞gydF4y2Ba}$ 是最初的无穷范数梯度。gydF4y2Ba

目标函数试图获取一个重量近正交矩阵,最小化的元素的总和gydF4y2BaggydF4y2Ba(gydF4y2BaXWgydF4y2Ba),gydF4y2BaggydF4y2Ba是一个函数(在下面描述),应用elementwisegydF4y2BaXWgydF4y2Ba。了解目标函数试图实现这些目标,看到勒,Karpenko Ngiam, NggydF4y2Ba[3]gydF4y2Ba。gydF4y2Ba

在构建一个gydF4y2BaReconstructionICAgydF4y2Ba对象,使用gydF4y2Ba变换gydF4y2Ba方法将输入数据映射到新的输出特性。gydF4y2Ba

重建ICA目标函数gydF4y2Ba

目标函数使用一个对比函数,您指定使用gydF4y2BaContrastFcngydF4y2Ba名称-值对。对比函数是一个光滑凸函数,类似于一个绝对的价值。默认情况下,对比功能gydF4y2Ba $ggydF4y2Ba =gydF4y2Ba \frac{1gydF4y2Ba}{2gydF4y2Ba} 日志gydF4y2Ba (gydF4y2Ba coshgydF4y2Ba (gydF4y2Ba 2gydF4y2Ba xgydF4y2Ba)gydF4y2Ba)gydF4y2Ba$ 。其他可用的对比功能,请参阅gydF4y2BaContrastFcngydF4y2Ba。gydF4y2Ba

对于一个gydF4y2BangydF4y2Ba——- - - - - -gydF4y2BapgydF4y2Ba数据矩阵gydF4y2BaXgydF4y2Ba和gydF4y2Ba问gydF4y2Ba输出特性,用一个正则化参数gydF4y2BaλgydF4y2Ba的价值gydF4y2BaλgydF4y2Ba名称-值对,目标函数的gydF4y2BapgydF4y2Ba——- - - - - -gydF4y2Ba问gydF4y2Ba矩阵gydF4y2BaWgydF4y2Ba是gydF4y2Ba

$hgydF4y2Ba =gydF4y2Ba \frac{λgydF4y2Ba}{ngydF4y2Ba} {\sumgydF4y2Ba}_{我gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{ngydF4y2Ba} {为gydF4y2Ba WgydF4y2Ba {WgydF4y2Ba}^{TgydF4y2Ba} {xgydF4y2Ba}_{我gydF4y2Ba} -gydF4y2Ba {xgydF4y2Ba}_{我gydF4y2Ba} 为gydF4y2Ba}_{2gydF4y2Ba}^{2gydF4y2Ba} +gydF4y2Ba \frac{1gydF4y2Ba}{ngydF4y2Ba} {\sumgydF4y2Ba}_{我gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{ngydF4y2Ba} {\sumgydF4y2Ba}_{jgydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{问gydF4y2Ba} {σgydF4y2Ba}_{jgydF4y2Ba} ggydF4y2Ba (gydF4y2Ba {wgydF4y2Ba}_{jgydF4y2Ba}^{TgydF4y2Ba} {xgydF4y2Ba}_{我gydF4y2Ba})gydF4y2Ba$

的gydF4y2BaσgydF4y2Ba_jgydF4y2Ba已知±1的常数。当gydF4y2BaσgydF4y2Ba_jgydF4y2Ba= + 1gydF4y2Ba最小化目标函数gydF4y2BahgydF4y2Ba鼓励的柱状图gydF4y2Ba ${wgydF4y2Ba}_{jgydF4y2Ba}^{TgydF4y2Ba} {xgydF4y2Ba}_{我gydF4y2Ba}$ 迅速达到0(超高斯)。当gydF4y2BaσgydF4y2Ba_jgydF4y2Ba= 1gydF4y2Ba最小化目标函数gydF4y2BahgydF4y2Ba鼓励的柱状图gydF4y2Ba ${wgydF4y2Ba}_{jgydF4y2Ba}^{TgydF4y2Ba} {xgydF4y2Ba}_{我gydF4y2Ba}$ 平接近0(子高斯)。指定gydF4y2BaσgydF4y2Ba_jgydF4y2Ba值使用gydF4y2Ba黎加gydF4y2BaNonGaussianityIndicatorgydF4y2Ba名称-值对。gydF4y2Ba

目标函数gydF4y2BahgydF4y2Ba可以有一个假的最低0时gydF4y2BaλgydF4y2Ba是零。因此,gydF4y2Ba黎加gydF4y2Ba最小化gydF4y2BahgydF4y2Ba在gydF4y2BaWgydF4y2Ba归一化的1。换句话说,每一列gydF4y2BawgydF4y2Ba_jgydF4y2Ba的gydF4y2BaWgydF4y2Ba定义的一个列向量gydF4y2BavgydF4y2Ba_jgydF4y2Ba通过gydF4y2Ba

${wgydF4y2Ba}_{jgydF4y2Ba} =gydF4y2Ba \frac{{vgydF4y2Ba}_{jgydF4y2Ba}}{\sqrt{{vgydF4y2Ba}_{jgydF4y2Ba}^{TgydF4y2Ba} {vgydF4y2Ba}_{jgydF4y2Ba} +gydF4y2Ba {10gydF4y2Ba}^{-gydF4y2Ba 8gydF4y2Ba}}} 。gydF4y2Ba$

黎加gydF4y2Ba最大限度地减少了gydF4y2BavgydF4y2Ba_jgydF4y2Ba。由此产生的最小矩阵gydF4y2BaWgydF4y2Ba提供输入数据的转换gydF4y2BaXgydF4y2Ba输出特性gydF4y2BaXWgydF4y2Ba。gydF4y2Ba

引用gydF4y2Ba

[1]Ngiam、Jiquan Zhenghao陈,索尼娅·a·Bhaskar彭日成w . Koh和安德鲁·y Ng。“稀疏过滤。”gydF4y2Ba先进的神经信息处理系统。gydF4y2Ba24卷,2011年,页1125 - 1133。gydF4y2Bahttps://papers.nips.cc/paper/4334-sparse-filtering.pdfgydF4y2Ba。gydF4y2Ba

[2]Nocedal, j .和s·j·莱特。gydF4y2Ba数值优化gydF4y2Ba,第二版。施普林格系列在运筹学,施普林格1 - 2006。gydF4y2Ba

[3]勒,Quoc V。,一个lexandre Karpenko, Jiquan Ngiam, and Andrew Y. Ng. “ICA with Reconstruction Cost for Efficient Overcomplete Feature Learning.”先进的神经信息处理系统。gydF4y2Ba24卷,2011年,页1017 - 1025。gydF4y2Bahttps://papers.nips.cc/paper/4467-ica-with-reconstruction-cost-for-efficient-overcomplete-feature-learning.pdfgydF4y2Ba。gydF4y2Ba

另请参阅gydF4y2Ba

黎加gydF4y2Ba|gydF4y2BasparsefiltgydF4y2Ba|gydF4y2BaReconstructionICAgydF4y2Ba|gydF4y2BaSparseFilteringgydF4y2Ba