主要内容gydF4y2Ba

理解支持向量机回归金宝appgydF4y2Ba

支持向量机回归的数学公式gydF4y2Ba

概述gydF4y2Ba

金宝app支持向量机(SVM)分析是一种流行的机器学习工具，用于分类和回归，最初由Vladimir Vapnik和他的同事在1992年确定gydF4y2Ba［５］gydF4y2Ba．支持向量机回归被认为是一种非参数技术，因为它依赖于核函数。gydF4y2Ba

统计和机器学习工具箱™实现线性ε-不敏感的支持向量机(ε-SVM)回归，也称为gydF4y2BalgydF4y2Ba1损失。在gydF4y2BaεgydF4y2Ba-SVM回归，训练数据集包括预测变量和观测响应值。目标是找到一个函数gydF4y2BafgydF4y2Ba（gydF4y2BaxgydF4y2Ba）gydF4y2Ba这偏离了gydF4y2BaygydF4y2BangydF4y2Ba每个训练点的值不大于εgydF4y2BaxgydF4y2Ba，同时又尽可能的平坦。gydF4y2Ba

线性支持向量机回归:原始公式gydF4y2Ba

假设我们有一组训练数据gydF4y2BaxgydF4y2BangydF4y2Ba是多变量的集合gydF4y2BaNgydF4y2Ba观察到的响应值gydF4y2BaygydF4y2BangydF4y2Ba．gydF4y2Ba

求线性函数gydF4y2Ba

fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba xgydF4y2Ba ′gydF4y2Ba βgydF4y2Ba +gydF4y2Ba bgydF4y2Ba ，gydF4y2Ba

并确保它尽可能的平坦，找到gydF4y2BafgydF4y2Ba（gydF4y2BaxgydF4y2Ba）gydF4y2Ba最小范数值(gydF4y2BaβgydF4y2Ba′gydF4y2BaβgydF4y2Ba)．这是一个为了最小化的凸优化问题gydF4y2Ba

JgydF4y2Ba （gydF4y2Ba βgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba 2gydF4y2Ba βgydF4y2Ba ′gydF4y2Ba βgydF4y2Ba

以所有剩余值小于ε为限;或者，用等式的形式:gydF4y2Ba

∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba |gydF4y2Ba ygydF4y2Ba ngydF4y2Ba −gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ′gydF4y2Ba βgydF4y2Ba +gydF4y2Ba bgydF4y2Ba ）gydF4y2Ba |gydF4y2Ba ≤gydF4y2Ba εgydF4y2Ba ．gydF4y2Ba

有可能没有这样的功能gydF4y2BafgydF4y2Ba（gydF4y2BaxgydF4y2Ba）gydF4y2Ba存在以满足所有点的这些约束。为了处理不可行的约束，引入松弛变量gydF4y2BaξgydF4y2BangydF4y2Ba和gydF4y2BaξgydF4y2Ba＊gydF4y2BangydF4y2Ba对于每一个点。这种方法类似于支持向量机分类中的“软裕度”概念，因为松弛变量允许回归误差存在的值可达gydF4y2BaξgydF4y2BangydF4y2Ba和gydF4y2BaξgydF4y2Ba＊gydF4y2BangydF4y2Ba，但仍满足所要求的条件。gydF4y2Ba

包括松弛变量导致目标函数，也称为原始公式gydF4y2Ba［５］gydF4y2Ba：gydF4y2Ba

JgydF4y2Ba （gydF4y2Ba βgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba 2gydF4y2Ba βgydF4y2Ba ′gydF4y2Ba βgydF4y2Ba +gydF4y2Ba CgydF4y2Ba ∑gydF4y2Ba ngydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba +gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba

主题:gydF4y2Ba

∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba ygydF4y2Ba ngydF4y2Ba −gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ′gydF4y2Ba βgydF4y2Ba +gydF4y2Ba bgydF4y2Ba ）gydF4y2Ba ≤gydF4y2Ba εgydF4y2Ba +gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ′gydF4y2Ba βgydF4y2Ba +gydF4y2Ba bgydF4y2Ba ）gydF4y2Ba −gydF4y2Ba ygydF4y2Ba ngydF4y2Ba ≤gydF4y2Ba εgydF4y2Ba +gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba ≥gydF4y2Ba 0gydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba ≥gydF4y2Ba 0gydF4y2Ba ．gydF4y2Ba

常数gydF4y2BaCgydF4y2Ba为方框约束，这是一个正数值，控制对位于边缘之外的观测值施加的惩罚(gydF4y2BaεgydF4y2Ba)，并有助于防止过拟合(正规化)。这个值决定了平面度之间的权衡gydF4y2BafgydF4y2Ba（gydF4y2BaxgydF4y2Ba）gydF4y2Ba以及偏差大于gydF4y2BaεgydF4y2Ba是容忍。gydF4y2Ba

线性ε不敏感损耗函数忽略了误差范围内的误差gydF4y2BaεgydF4y2Ba观测值的距离，将它们视为等于零。损耗是根据观测值之间的距离来测量的gydF4y2BaygydF4y2Ba和gydF4y2BaεgydF4y2Ba边界。这是由gydF4y2Ba

lgydF4y2Ba εgydF4y2Ba ＝gydF4y2Ba {gydF4y2Ba 0gydF4y2Ba 如果gydF4y2Ba |gydF4y2Ba ygydF4y2Ba −gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba |gydF4y2Ba ≤gydF4y2Ba εgydF4y2Ba |gydF4y2Ba ygydF4y2Ba −gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba |gydF4y2Ba −gydF4y2Ba εgydF4y2Ba 否则gydF4y2Ba

线性支持向量机回归:对偶公式gydF4y2Ba

前面描述的优化问题在拉格朗日对偶公式中计算更简单。对偶问题的解提供了原始(最小化)问题解的下界。原始问题和对偶问题的最优值不一定相等，其差称为“对偶间隙”。但当问题是凸的且满足约束条件时，原问题的最优解的值由对偶问题的解给出。gydF4y2Ba

为了得到对偶公式，通过引入非负乘数，由原始函数构造一个拉格朗日函数gydF4y2BaαgydF4y2BangydF4y2Ba和gydF4y2BaαgydF4y2Ba＊gydF4y2BangydF4y2Ba对于每一个观察gydF4y2BaxgydF4y2BangydF4y2Ba．这就引出了对偶公式，在这里最小化gydF4y2Ba

lgydF4y2Ba （gydF4y2Ba αgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba 2gydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba ∑gydF4y2Ba jgydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba −gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba （gydF4y2Ba αgydF4y2Ba jgydF4y2Ba −gydF4y2Ba αgydF4y2Ba jgydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ′gydF4y2Ba xgydF4y2Ba jgydF4y2Ba +gydF4y2Ba εgydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba +gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba +gydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba ygydF4y2Ba 我gydF4y2Ba （gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba ＊gydF4y2Ba −gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba

受约束gydF4y2Ba

∑gydF4y2Ba ngydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba αgydF4y2Ba ngydF4y2Ba −gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 0gydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba 0gydF4y2Ba ≤gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ≤gydF4y2Ba CgydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba 0gydF4y2Ba ≤gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba ≤gydF4y2Ba CgydF4y2Ba ．gydF4y2Ba

的gydF4y2BaβgydF4y2Ba参数完全可以用该方程描述为训练观测值的线性组合gydF4y2Ba

βgydF4y2Ba ＝gydF4y2Ba ∑gydF4y2Ba ngydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba αgydF4y2Ba ngydF4y2Ba −gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ．gydF4y2Ba

用来预测新值的函数只依赖于支持向量:金宝appgydF4y2Ba

fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba ∑gydF4y2Ba ngydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba αgydF4y2Ba ngydF4y2Ba −gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ′gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba +gydF4y2Ba bgydF4y2Ba ．gydF4y2Ba (1）gydF4y2Ba

Karush-Kuhn-Tucker (KKT)互补条件是获得最优解所需的优化约束条件。金宝搏官方网站对于线性支持向量机回归，这些条件是gydF4y2Ba

∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba αgydF4y2Ba ngydF4y2Ba （gydF4y2Ba εgydF4y2Ba +gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba −gydF4y2Ba ygydF4y2Ba ngydF4y2Ba +gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ′gydF4y2Ba βgydF4y2Ba +gydF4y2Ba bgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 0gydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba （gydF4y2Ba εgydF4y2Ba +gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba +gydF4y2Ba ygydF4y2Ba ngydF4y2Ba −gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ′gydF4y2Ba βgydF4y2Ba −gydF4y2Ba bgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 0gydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba （gydF4y2Ba CgydF4y2Ba −gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 0gydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba （gydF4y2Ba CgydF4y2Ba −gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 0gydF4y2Ba ．gydF4y2Ba

这些条件表明，严格在筒内的所有观测都有拉格朗日乘数gydF4y2BaαgydF4y2BangydF4y2Ba= 0gydF4y2Ba和gydF4y2BaαgydF4y2BangydF4y2Ba＊gydF4y2Ba= 0gydF4y2Ba．如果任何一gydF4y2BaαgydF4y2BangydF4y2Ba或gydF4y2BaαgydF4y2BangydF4y2Ba＊gydF4y2Ba不为零，那么相应的观测叫做agydF4y2Ba金宝app支持向量gydF4y2Ba．gydF4y2Ba

房地产gydF4y2BaαgydF4y2Ba存储支持向量的两个拉格朗日乘子之间的差值，金宝appgydF4y2BaαgydF4y2BangydF4y2Ba- - - - - -gydF4y2BaαgydF4y2BangydF4y2Ba＊gydF4y2Ba．的属性gydF4y2Ba金宝appSupportVectorsgydF4y2Ba和gydF4y2Ba偏见gydF4y2Ba商店gydF4y2BaxgydF4y2BangydF4y2Ba和gydF4y2BabgydF4y2Ba,分别。gydF4y2Ba

非线性支持向量机回归:原始公式gydF4y2Ba

有些回归问题不能充分地用线性模型来描述。在这种情况下，拉格朗日对偶公式允许前面描述的技术扩展到非线性函数。gydF4y2Ba

通过替换点积得到非线性SVM回归模型gydF4y2BaxgydF4y2Ba1gydF4y2Ba′gydF4y2BaxgydF4y2Ba2gydF4y2Ba用非线性核函数gydF4y2BaGgydF4y2Ba（gydF4y2BaxgydF4y2Ba1gydF4y2Ba，gydF4y2BaxgydF4y2Ba2gydF4y2Ba) = φgydF4y2Ba（gydF4y2BaxgydF4y2Ba1gydF4y2Ba)，gydF4y2BaφgydF4y2Ba（gydF4y2BaxgydF4y2Ba2gydF4y2Ba）>gydF4y2Ba,在那里gydF4y2BaφgydF4y2Ba（gydF4y2BaxgydF4y2Ba)是映射的转换gydF4y2BaxgydF4y2Ba到高维空间。统计和机器学习工具箱提供以下内置的正半定核函数。gydF4y2Ba

内核的名字gydF4y2Ba 核函数gydF4y2Ba
线性(积)gydF4y2Ba GgydF4y2Ba （gydF4y2Ba xgydF4y2Ba jgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba kgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba xgydF4y2Ba jgydF4y2Ba ′gydF4y2Ba xgydF4y2Ba kgydF4y2Ba
高斯gydF4y2Ba GgydF4y2Ba （gydF4y2Ba xgydF4y2Ba jgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba kgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 经验值gydF4y2Ba （gydF4y2Ba −gydF4y2Ba 为gydF4y2Ba xgydF4y2Ba jgydF4y2Ba −gydF4y2Ba xgydF4y2Ba kgydF4y2Ba 为gydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba
多项式gydF4y2Ba GgydF4y2Ba （gydF4y2Ba xgydF4y2Ba jgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba kgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba （gydF4y2Ba 1gydF4y2Ba +gydF4y2Ba xgydF4y2Ba jgydF4y2Ba ′gydF4y2Ba xgydF4y2Ba kgydF4y2Ba ）gydF4y2Ba 问gydF4y2Ba ,在那里gydF4y2Ba问gydF4y2Ba在集合{2,3，…}中。gydF4y2Ba

的gydF4y2Ba格拉姆矩阵gydF4y2Ba是一个gydF4y2BangydF4y2Ba——- - - - - -gydF4y2BangydF4y2Ba包含元素的矩阵gydF4y2BaggydF4y2Ba我gydF4y2Ba，gydF4y2BajgydF4y2Ba= G (gydF4y2BaxgydF4y2Ba我gydF4y2Ba，gydF4y2BaxgydF4y2BajgydF4y2Ba）gydF4y2Ba．每个元素gydF4y2BaggydF4y2Ba我gydF4y2Ba，gydF4y2BajgydF4y2Ba等于被变换后的预测数的内积gydF4y2BaφgydF4y2Ba．然而，我们不需要知道gydF4y2BaφgydF4y2Ba，因为我们可以用核函数直接生成Gram矩阵。利用这种方法，非线性支持向量机可以找到最优函数gydF4y2BafgydF4y2Ba（gydF4y2BaxgydF4y2Ba）gydF4y2Ba在变换后的预测器空间中。gydF4y2Ba

非线性支持向量机回归:对偶公式gydF4y2Ba

非线性支持向量机回归的对偶公式代替了预测器的内积(gydF4y2BaxgydF4y2Ba我gydF4y2Ba′gydF4y2BaxgydF4y2BajgydF4y2Ba)与格拉姆矩阵的相应元素(gydF4y2BaggydF4y2Ba我gydF4y2Ba，gydF4y2BajgydF4y2Ba)．gydF4y2Ba

非线性支持向量机回归找出最小的系数gydF4y2Ba

lgydF4y2Ba （gydF4y2Ba αgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba 2gydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba ∑gydF4y2Ba jgydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba −gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba （gydF4y2Ba αgydF4y2Ba jgydF4y2Ba −gydF4y2Ba αgydF4y2Ba jgydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba GgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba jgydF4y2Ba ）gydF4y2Ba +gydF4y2Ba εgydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba +gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba −gydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba ygydF4y2Ba 我gydF4y2Ba （gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba −gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba

受gydF4y2Ba

∑gydF4y2Ba ngydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba αgydF4y2Ba ngydF4y2Ba −gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 0gydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba 0gydF4y2Ba ≤gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ≤gydF4y2Ba CgydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba 0gydF4y2Ba ≤gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba ≤gydF4y2Ba CgydF4y2Ba ．gydF4y2Ba

用来预测新值的函数等于gydF4y2Ba

fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba ∑gydF4y2Ba ngydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba αgydF4y2Ba ngydF4y2Ba −gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba GgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba +gydF4y2Ba bgydF4y2Ba ．gydF4y2Ba （2）gydF4y2Ba

KKT互补条件为gydF4y2Ba

∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba αgydF4y2Ba ngydF4y2Ba （gydF4y2Ba εgydF4y2Ba +gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba −gydF4y2Ba ygydF4y2Ba ngydF4y2Ba +gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 0gydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba （gydF4y2Ba εgydF4y2Ba +gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba +gydF4y2Ba ygydF4y2Ba ngydF4y2Ba −gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 0gydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba （gydF4y2Ba CgydF4y2Ba −gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 0gydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba （gydF4y2Ba CgydF4y2Ba −gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 0gydF4y2Ba ．gydF4y2Ba

解决支持向量机回归优化问题gydF4y2Ba

规划求解算法gydF4y2Ba

最小问题可以用标准的二次规划形式表示，并使用常见的二次规划技术进行求解。然而，使用二次规划算法可能在计算上很昂贵，特别是由于Gram矩阵可能太大而无法存储在内存中。相反，使用分解方法可以加快计算速度并避免内存耗尽。gydF4y2Ba

分解方法gydF4y2Ba(也称为gydF4y2Ba分块和工作设置方法gydF4y2Ba)将所有的观察分成两个不相交的集:工作集和剩余集。分解方法在每次迭代中只修改工作集中的元素。因此，每次迭代只需要Gram矩阵的一些列，减少了每次迭代所需的存储量。gydF4y2Ba

序列最小优化gydF4y2Ba(SMO)是解决支持向量机问题最常用的方法gydF4y2Ba［４］gydF4y2Ba．SMO执行一系列两点优化。在每次迭代中，基于使用二阶信息的选择规则选择两个点的工作集。然后利用所述方法解析求解该工作集的拉格朗日乘子gydF4y2Ba[2]gydF4y2Ba和gydF4y2Ba［1］gydF4y2Ba．gydF4y2Ba

在支持向量机回归中，梯度向量gydF4y2Ba ∇gydF4y2Ba lgydF4y2Ba 活动集在每次迭代后更新。梯度向量的分解方程为gydF4y2Ba

（gydF4y2Ba ∇gydF4y2Ba lgydF4y2Ba ）gydF4y2Ba ngydF4y2Ba ＝gydF4y2Ba {gydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba −gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba GgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba +gydF4y2Ba εgydF4y2Ba −gydF4y2Ba ygydF4y2Ba ngydF4y2Ba ，gydF4y2Ba ngydF4y2Ba ≤gydF4y2Ba NgydF4y2Ba −gydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba −gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba GgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba +gydF4y2Ba εgydF4y2Ba +gydF4y2Ba ygydF4y2Ba ngydF4y2Ba ，gydF4y2Ba ngydF4y2Ba >gydF4y2Ba NgydF4y2Ba ．gydF4y2Ba

迭代单数据算法gydF4y2Ba(ISDA)每次迭代更新一个拉格朗日乘子gydF4y2Ba［3］gydF4y2Ba．ISDA通常是在没有偏差项的情况下进行的gydF4y2BabgydF4y2Ba加上一个小的正常数gydF4y2Ba一个gydF4y2Ba到核函数。下降gydF4y2BabgydF4y2Ba去掉求和约束gydF4y2Ba

∑gydF4y2Ba ngydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba −gydF4y2Ba αgydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 0gydF4y2Ba

在对偶方程中。这使得我们可以在每次迭代中更新一个拉格朗日乘数，这使得它比SMO更容易去除离群值。ISDA从所有的KKT违反者中选出了最差的gydF4y2BaαgydF4y2BangydF4y2Ba和gydF4y2BaαgydF4y2BangydF4y2Ba＊gydF4y2Ba值作为要更新的工作集。gydF4y2Ba

收敛性判别准则gydF4y2Ba

每个求解算法迭代计算，直到满足指定的收敛准则。收敛标准有几种选择:gydF4y2Ba

  • 可行性的差距gydF4y2Ba-可行性差距表示为gydF4y2Ba

    ΔgydF4y2Ba ＝gydF4y2Ba JgydF4y2Ba （gydF4y2Ba βgydF4y2Ba ）gydF4y2Ba +gydF4y2Ba lgydF4y2Ba （gydF4y2Ba αgydF4y2Ba ）gydF4y2Ba JgydF4y2Ba （gydF4y2Ba βgydF4y2Ba ）gydF4y2Ba +gydF4y2Ba 1gydF4y2Ba ，gydF4y2Ba

    在哪里gydF4y2BaJgydF4y2Ba（gydF4y2BaβgydF4y2Ba）gydF4y2Ba首要目标是和吗gydF4y2BalgydF4y2Ba（gydF4y2BaαgydF4y2Ba）gydF4y2Ba是双重目标。在每次迭代之后，软件评估可行性差距。如果可行性差小于指定的值gydF4y2BaGapTolerancegydF4y2Ba，则算法满足收敛准则，软件返回解。gydF4y2Ba

  • 梯度差异gydF4y2Ba-每次迭代后，软件计算梯度向量，gydF4y2Ba ∇gydF4y2Ba lgydF4y2Ba ．如果当前迭代与前一次迭代的梯度向量值之差小于gydF4y2BaDeltaGradientTolerancegydF4y2Ba，则算法满足收敛准则，软件返回解。gydF4y2Ba

  • 最大的马违反gydF4y2Ba-每次迭代后，软件评估所有的KKT违规gydF4y2BaαgydF4y2BangydF4y2Ba和gydF4y2BaαgydF4y2BangydF4y2Ba＊gydF4y2Ba值。如果最大违规小于指定的值gydF4y2BaKKTTolerancegydF4y2Ba，则算法满足收敛准则，软件返回解。gydF4y2Ba

参考文献gydF4y2Ba

樊瑞荣，陈鹏辉，林志杰。支持向量机的smo型分解方法研究金宝appgydF4y2BaIEEE神经网络汇刊，gydF4y2Ba17:893 - 908卷,2006年。gydF4y2Ba

樊瑞荣，陈鹏辉，林志杰。使用二阶信息训练支持向量机的工作集选择金宝appgydF4y2Ba机器学习研究杂志，gydF4y2Ba6:1871 - 1918卷,2005年。gydF4y2Ba

黄，t.m.， V.凯克曼，和I. Kopriva。gydF4y2Ba基于核的海量数据集挖掘算法:监督、半监督和无监督学习。gydF4y2Ba施普林格，纽约，2006。gydF4y2Ba

[4]普拉特,J。gydF4y2Ba序贯最小优化:支持向量机的快速训练算法。金宝appgydF4y2Ba技术报告msr - tr -98 - 14,1999。gydF4y2Ba

[5] Vapnik, V。gydF4y2Ba统计学习理论的性质。gydF4y2Ba施普林格，纽约，1995。gydF4y2Ba

另请参阅gydF4y2Ba

|gydF4y2Ba|gydF4y2Ba|gydF4y2Ba

相关的话题gydF4y2Ba

统计和机器学习工具箱文档gydF4y2Ba

金宝app

掌握机器学习:一步一步的指导与MATLABgydF4y2Ba

掌握机器学习:一步一步的指导与MATLABgydF4y2Ba

下载电子书gydF4y2Ba