了解支持向量机回归- MAT金宝appLAB和Simulink MathWorks比荷卢经济联盟金宝appgydF4y2Ba

了解支持向量机回归金宝appgydF4y2Ba

支持向量机回归的数学公式gydF4y2Ba

概述gydF4y2Ba

金宝app支持向量机(SVM)分析是一个流行的机器学习工具分类和回归,弗拉基米尔·Vapnik和他的同事于1992年首次发现gydF4y2Ba[5]gydF4y2Ba。支持向量机回归被认为是一种非参数技术,因为它依赖于内核函数。gydF4y2Ba

统计和机器学习工具箱™实现线性epsilon-insensitive SVM(ε-SVM)回归,这也被称为gydF4y2BalgydF4y2Ba1损失。在gydF4y2BaεgydF4y2Ba支持向量机回归的训练数据集包括预测变量和观察到的响应值。我们的目标是找到一个函数gydF4y2BafgydF4y2Ba(gydF4y2BaxgydF4y2Ba)gydF4y2Ba这偏离了gydF4y2BaygydF4y2Ba_ngydF4y2Ba由一个值不大于ε为每个训练点gydF4y2BaxgydF4y2Ba,同时尽可能平坦。gydF4y2Ba

线性支持向量机回归:原始的公式gydF4y2Ba

假设我们有一组训练数据gydF4y2BaxgydF4y2Ba_ngydF4y2Ba是一组多元的gydF4y2BaNgydF4y2Ba观察与观察到的响应值gydF4y2BaygydF4y2Ba_ngydF4y2Ba。gydF4y2Ba

发现线性函数gydF4y2Ba

$fgydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba =gydF4y2Ba xgydF4y2Ba'gydF4y2Ba βgydF4y2Ba +gydF4y2Ba bgydF4y2Ba,gydF4y2Ba$

并确保尽可能平坦,找到gydF4y2BafgydF4y2Ba(gydF4y2BaxgydF4y2Ba)gydF4y2Ba使用一种最小值(gydF4y2BaβgydF4y2Ba′gydF4y2BaβgydF4y2Ba)。这是制定一个凸优化问题最小化gydF4y2Ba

$JgydF4y2Ba (gydF4y2Ba βgydF4y2Ba)gydF4y2Ba =gydF4y2Ba \frac{1gydF4y2Ba}{2gydF4y2Ba} βgydF4y2Ba'gydF4y2Ba βgydF4y2Ba$

受到所有残差值小于ε;或者,在方程的形式:gydF4y2Ba

$\forallgydF4y2Ba ngydF4y2Ba :gydF4y2Ba |gydF4y2Ba {ygydF4y2Ba}_{ngydF4y2Ba} -gydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{ngydF4y2Ba}'gydF4y2Ba βgydF4y2Ba +gydF4y2Ba bgydF4y2Ba)gydF4y2Ba |gydF4y2Ba \leqgydF4y2Ba εgydF4y2Ba 。gydF4y2Ba$

可能没有这样的功能gydF4y2BafgydF4y2Ba(gydF4y2BaxgydF4y2Ba)gydF4y2Ba对所有点的存在是为了满足这些约束。处理否则不可行的约束,引入松弛变量gydF4y2BaξgydF4y2Ba_ngydF4y2Ba和gydF4y2BaξgydF4y2Ba^*gydF4y2Ba_ngydF4y2Ba对于每一个点。这种方法类似于“软边缘”概念在SVM分类,因为松弛变量允许回归错误存在的价值gydF4y2BaξgydF4y2Ba_ngydF4y2Ba和gydF4y2BaξgydF4y2Ba^*gydF4y2Ba_ngydF4y2Ba,但仍然满足所需的条件。gydF4y2Ba

包括松弛变量导致目标函数,也称为原始公式gydF4y2Ba[5]gydF4y2Ba:gydF4y2Ba

$JgydF4y2Ba (gydF4y2Ba βgydF4y2Ba)gydF4y2Ba =gydF4y2Ba \frac{1gydF4y2Ba}{2gydF4y2Ba} βgydF4y2Ba'gydF4y2Ba βgydF4y2Ba +gydF4y2Ba CgydF4y2Ba {\sumgydF4y2Ba}_{ngydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{NgydF4y2Ba} (gydF4y2Ba {ξgydF4y2Ba}_{ngydF4y2Ba} +gydF4y2Ba {ξgydF4y2Ba}_{ngydF4y2Ba}^{*gydF4y2Ba})gydF4y2Ba,gydF4y2Ba$

主题:gydF4y2Ba

$\begin{array}{l} \forallgydF4y2Ba ngydF4y2Ba :gydF4y2Ba {ygydF4y2Ba}_{ngydF4y2Ba} -gydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{ngydF4y2Ba}'gydF4y2Ba βgydF4y2Ba +gydF4y2Ba bgydF4y2Ba)gydF4y2Ba \leqgydF4y2Ba εgydF4y2Ba +gydF4y2Ba {ξgydF4y2Ba}_{ngydF4y2Ba} \\ \forallgydF4y2Ba ngydF4y2Ba :gydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{ngydF4y2Ba}'gydF4y2Ba βgydF4y2Ba +gydF4y2Ba bgydF4y2Ba)gydF4y2Ba -gydF4y2Ba {ygydF4y2Ba}_{ngydF4y2Ba} \leqgydF4y2Ba εgydF4y2Ba +gydF4y2Ba {ξgydF4y2Ba}_{ngydF4y2Ba}^{*gydF4y2Ba} \\ \forallgydF4y2Ba ngydF4y2Ba :gydF4y2Ba {ξgydF4y2Ba}_{ngydF4y2Ba}^{*gydF4y2Ba} \geqgydF4y2Ba 0gydF4y2Ba \\ \forallgydF4y2Ba ngydF4y2Ba :gydF4y2Ba {ξgydF4y2Ba}_{ngydF4y2Ba} \geqgydF4y2Ba 0gydF4y2Ba 。gydF4y2Ba \end{array}$

常数gydF4y2BaCgydF4y2Ba盒子限制,数值是积极的控制之外的处罚对观测ε保证金(gydF4y2BaεgydF4y2Ba),有助于防止过度拟合(正规化)。这个值决定了平面之间的权衡gydF4y2BafgydF4y2Ba(gydF4y2BaxgydF4y2Ba)gydF4y2Ba和偏差超过了gydF4y2BaεgydF4y2Ba是容忍。gydF4y2Ba

线性ε-insensitive损失函数忽略错误gydF4y2BaεgydF4y2Ba距离观测值的治疗等于零。损失是基于观测值之间的距离来衡量gydF4y2BaygydF4y2Ba和gydF4y2BaεgydF4y2Ba边界。这是正式描述gydF4y2Ba

${lgydF4y2Ba}_{εgydF4y2Ba} =gydF4y2Ba {gydF4y2Ba \begin{array}{l} 0gydF4y2Ba & 如果gydF4y2Ba |gydF4y2Ba ygydF4y2Ba -gydF4y2Ba fgydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba |gydF4y2Ba \leqgydF4y2Ba εgydF4y2Ba \\ |gydF4y2Ba ygydF4y2Ba -gydF4y2Ba fgydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba |gydF4y2Ba -gydF4y2Ba εgydF4y2Ba & 否则gydF4y2Ba \end{array}$

线性支持向量机回归:对偶公式gydF4y2Ba

前文所述的优化问题是解决其拉格朗日对偶公式计算简单。对偶问题的解决方案提供了一个下界的原始(最小化)问题的解决方案。原始与对偶问题的最优值不需要平等,和不同的是称为“二元性差距。“但问题是凸和满足约束的资格条件,原始问题的最优解的值是由对偶问题的解决方案。gydF4y2Ba

获得双重公式,构造拉格朗日函数从原始函数通过引入非负乘数gydF4y2BaαgydF4y2Ba_ngydF4y2Ba和gydF4y2BaαgydF4y2Ba^*gydF4y2Ba_ngydF4y2Ba对于每一个观察gydF4y2BaxgydF4y2Ba_ngydF4y2Ba。这导致了双重配方,最小化gydF4y2Ba

$lgydF4y2Ba (gydF4y2Ba αgydF4y2Ba)gydF4y2Ba =gydF4y2Ba \frac{1gydF4y2Ba}{2gydF4y2Ba} {\sumgydF4y2Ba}_{我gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{NgydF4y2Ba} {\sumgydF4y2Ba}_{jgydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{NgydF4y2Ba} (gydF4y2Ba {αgydF4y2Ba}_{我gydF4y2Ba} -gydF4y2Ba {αgydF4y2Ba}_{我gydF4y2Ba}^{*gydF4y2Ba})gydF4y2Ba (gydF4y2Ba {αgydF4y2Ba}_{jgydF4y2Ba} -gydF4y2Ba {αgydF4y2Ba}_{jgydF4y2Ba}^{*gydF4y2Ba})gydF4y2Ba {xgydF4y2Ba}_{我gydF4y2Ba}'gydF4y2Ba {xgydF4y2Ba}_{jgydF4y2Ba} +gydF4y2Ba εgydF4y2Ba {\sumgydF4y2Ba}_{我gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{NgydF4y2Ba} (gydF4y2Ba {αgydF4y2Ba}_{我gydF4y2Ba} +gydF4y2Ba {αgydF4y2Ba}_{我gydF4y2Ba}^{*gydF4y2Ba})gydF4y2Ba +gydF4y2Ba {\sumgydF4y2Ba}_{我gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{NgydF4y2Ba} {ygydF4y2Ba}_{我gydF4y2Ba} (gydF4y2Ba {αgydF4y2Ba}_{我gydF4y2Ba}^{*gydF4y2Ba} -gydF4y2Ba {αgydF4y2Ba}_{我gydF4y2Ba})gydF4y2Ba$

受约束gydF4y2Ba

$\begin{array}{l} {\sumgydF4y2Ba}_{ngydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{NgydF4y2Ba} (gydF4y2Ba {αgydF4y2Ba}_{ngydF4y2Ba} -gydF4y2Ba {αgydF4y2Ba}_{ngydF4y2Ba}^{*gydF4y2Ba})gydF4y2Ba =gydF4y2Ba 0gydF4y2Ba \\ \forallgydF4y2Ba ngydF4y2Ba :gydF4y2Ba 0gydF4y2Ba \leqgydF4y2Ba {αgydF4y2Ba}_{ngydF4y2Ba} \leqgydF4y2Ba CgydF4y2Ba \\ \forallgydF4y2Ba ngydF4y2Ba :gydF4y2Ba 0gydF4y2Ba \leqgydF4y2Ba {αgydF4y2Ba}_{ngydF4y2Ba}^{*gydF4y2Ba} \leqgydF4y2Ba CgydF4y2Ba 。gydF4y2Ba \end{array}$

的gydF4y2BaβgydF4y2Ba参数可以完全描述为一个线性组合的训练观察使用方程gydF4y2Ba

$βgydF4y2Ba =gydF4y2Ba {\sumgydF4y2Ba}_{ngydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{NgydF4y2Ba} (gydF4y2Ba {αgydF4y2Ba}_{ngydF4y2Ba} -gydF4y2Ba {αgydF4y2Ba}_{ngydF4y2Ba}^{*gydF4y2Ba})gydF4y2Ba {xgydF4y2Ba}_{ngydF4y2Ba} 。gydF4y2Ba$

这个函数用来预测新值只取决于支持向量:金宝appgydF4y2Ba

fgydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba =gydF4y2Ba {\sumgydF4y2Ba}_{ngydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{NgydF4y2Ba} (gydF4y2Ba {αgydF4y2Ba}_{ngydF4y2Ba} -gydF4y2Ba {αgydF4y2Ba}_{ngydF4y2Ba}^{*gydF4y2Ba})gydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{ngydF4y2Ba}'gydF4y2Ba xgydF4y2Ba)gydF4y2Ba +gydF4y2Ba bgydF4y2Ba 。gydF4y2Ba

(1)gydF4y2Ba

Karush-Kuhn-Tucker(马)互补性条件优化约束要求获得最优解。金宝搏官方网站线性支持向量机回归,这些条件gydF4y2Ba

$\begin{array}{l} \forallgydF4y2Ba ngydF4y2Ba :gydF4y2Ba {αgydF4y2Ba}_{ngydF4y2Ba} (gydF4y2Ba εgydF4y2Ba +gydF4y2Ba {ξgydF4y2Ba}_{ngydF4y2Ba} -gydF4y2Ba {ygydF4y2Ba}_{ngydF4y2Ba} +gydF4y2Ba {xgydF4y2Ba}_{ngydF4y2Ba}'gydF4y2Ba βgydF4y2Ba +gydF4y2Ba bgydF4y2Ba)gydF4y2Ba =gydF4y2Ba 0gydF4y2Ba \\ \forallgydF4y2Ba ngydF4y2Ba :gydF4y2Ba {αgydF4y2Ba}_{ngydF4y2Ba}^{*gydF4y2Ba} (gydF4y2Ba εgydF4y2Ba +gydF4y2Ba {ξgydF4y2Ba}_{ngydF4y2Ba}^{*gydF4y2Ba} +gydF4y2Ba {ygydF4y2Ba}_{ngydF4y2Ba} -gydF4y2Ba {xgydF4y2Ba}_{ngydF4y2Ba}'gydF4y2Ba βgydF4y2Ba -gydF4y2Ba bgydF4y2Ba)gydF4y2Ba =gydF4y2Ba 0gydF4y2Ba \\ \forallgydF4y2Ba ngydF4y2Ba :gydF4y2Ba {ξgydF4y2Ba}_{ngydF4y2Ba} (gydF4y2Ba CgydF4y2Ba -gydF4y2Ba {αgydF4y2Ba}_{ngydF4y2Ba})gydF4y2Ba =gydF4y2Ba 0gydF4y2Ba \\ \forallgydF4y2Ba ngydF4y2Ba :gydF4y2Ba {ξgydF4y2Ba}_{ngydF4y2Ba}^{*gydF4y2Ba} (gydF4y2Ba CgydF4y2Ba -gydF4y2Ba {αgydF4y2Ba}_{ngydF4y2Ba}^{*gydF4y2Ba})gydF4y2Ba =gydF4y2Ba 0gydF4y2Ba 。gydF4y2Ba \end{array}$

这些情况表明,所有观察严格ε管内部有拉格朗日乘数法gydF4y2BaαgydF4y2Ba_ngydF4y2Ba= 0gydF4y2Ba和gydF4y2BaαgydF4y2Ba_ngydF4y2Ba^*gydF4y2Ba= 0gydF4y2Ba。如果任何一gydF4y2BaαgydF4y2Ba_ngydF4y2Ba或gydF4y2BaαgydF4y2Ba_ngydF4y2Ba^*gydF4y2Ba不为零,那么相应的观察称为gydF4y2Ba金宝app支持向量gydF4y2Ba。gydF4y2Ba

房地产gydF4y2BaαgydF4y2Ba训练支持向量机模型的存储两个拉格朗日乘数法的支持向量之间的区别,金宝appgydF4y2BaαgydF4y2Ba_ngydF4y2Ba- - - - - -gydF4y2BaαgydF4y2Ba_ngydF4y2Ba^*gydF4y2Ba。的属性gydF4y2Ba金宝appSupportVectorsgydF4y2Ba和gydF4y2Ba偏见gydF4y2Ba商店gydF4y2BaxgydF4y2Ba_ngydF4y2Ba和gydF4y2BabgydF4y2Ba,分别。gydF4y2Ba

非线性支持向量机回归:原始的公式gydF4y2Ba

一些回归问题不能充分使用线性模型被描述。在这种情况下,拉格朗日对偶公式允许前所述技术扩展到非线性函数。gydF4y2Ba

获得一个非线性支持向量机回归模型代替点积gydF4y2BaxgydF4y2Ba_1gydF4y2Ba′gydF4y2BaxgydF4y2Ba_2gydF4y2Ba与非线性核函数gydF4y2BaGgydF4y2Ba(gydF4y2BaxgydF4y2Ba_1gydF4y2Ba,gydF4y2BaxgydF4y2Ba_2gydF4y2Ba)= φgydF4y2Ba(gydF4y2BaxgydF4y2Ba_1gydF4y2Ba),gydF4y2BaφgydF4y2Ba(gydF4y2BaxgydF4y2Ba_2gydF4y2Ba)>gydF4y2Ba,在那里gydF4y2BaφgydF4y2Ba(gydF4y2BaxgydF4y2Ba)是一个转换映射gydF4y2BaxgydF4y2Ba到一个高维空间。统计和机器学习工具箱提供了以下内置半正定内核函数。gydF4y2Ba

内核的名字gydF4y2Ba	核函数gydF4y2Ba
线性(积)gydF4y2Ba	$GgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{jgydF4y2Ba},gydF4y2Ba {xgydF4y2Ba}_{kgydF4y2Ba})gydF4y2Ba =gydF4y2Ba {xgydF4y2Ba}_{jgydF4y2Ba}'gydF4y2Ba {xgydF4y2Ba}_{kgydF4y2Ba}$
高斯gydF4y2Ba	$GgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{jgydF4y2Ba},gydF4y2Ba {xgydF4y2Ba}_{kgydF4y2Ba})gydF4y2Ba =gydF4y2Ba 经验值gydF4y2Ba (gydF4y2Ba -gydF4y2Ba {为gydF4y2Ba {xgydF4y2Ba}_{jgydF4y2Ba} -gydF4y2Ba {xgydF4y2Ba}_{kgydF4y2Ba} 为gydF4y2Ba}^{2gydF4y2Ba})gydF4y2Ba$
多项式gydF4y2Ba	$GgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{jgydF4y2Ba},gydF4y2Ba {xgydF4y2Ba}_{kgydF4y2Ba})gydF4y2Ba =gydF4y2Ba {(gydF4y2Ba 1gydF4y2Ba +gydF4y2Ba {xgydF4y2Ba}_{jgydF4y2Ba}'gydF4y2Ba {xgydF4y2Ba}_{kgydF4y2Ba})gydF4y2Ba}^{问gydF4y2Ba}$ ,在那里gydF4y2Ba问gydF4y2Ba是集{2、3、…}。gydF4y2Ba

的gydF4y2Ba格拉姆矩阵gydF4y2Ba是一个gydF4y2BangydF4y2Ba——- - - - - -gydF4y2BangydF4y2Ba包含元素的矩阵gydF4y2BaggydF4y2Ba_我gydF4y2Ba,gydF4y2Ba_jgydF4y2Ba= G (gydF4y2BaxgydF4y2Ba_我gydF4y2Ba,gydF4y2BaxgydF4y2Ba_jgydF4y2Ba)gydF4y2Ba。每个元素gydF4y2BaggydF4y2Ba_我gydF4y2Ba,gydF4y2Ba_jgydF4y2Ba的内积等于预测改变了吗gydF4y2BaφgydF4y2Ba。然而,我们不需要知道gydF4y2BaφgydF4y2Ba,因为我们可以直接使用内核函数来生成格拉姆矩阵。使用这种方法,非线性支持向量机最优函数gydF4y2BafgydF4y2Ba(gydF4y2BaxgydF4y2Ba)gydF4y2Ba在转换后的预测空间。gydF4y2Ba

非线性支持向量机回归:对偶公式gydF4y2Ba

双重非线性支持向量机回归公式取代了内积的预测(gydF4y2BaxgydF4y2Ba_我gydF4y2Ba′gydF4y2BaxgydF4y2Ba_jgydF4y2Ba格拉姆矩阵(的)和相应的元素gydF4y2BaggydF4y2Ba_我gydF4y2Ba,gydF4y2Ba_jgydF4y2Ba)。gydF4y2Ba

非线性支持向量机回归发现最小化的系数gydF4y2Ba

$lgydF4y2Ba (gydF4y2Ba αgydF4y2Ba)gydF4y2Ba =gydF4y2Ba \frac{1gydF4y2Ba}{2gydF4y2Ba} {\sumgydF4y2Ba}_{我gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{NgydF4y2Ba} {\sumgydF4y2Ba}_{jgydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{NgydF4y2Ba} (gydF4y2Ba {αgydF4y2Ba}_{我gydF4y2Ba} -gydF4y2Ba {αgydF4y2Ba}_{我gydF4y2Ba}^{*gydF4y2Ba})gydF4y2Ba (gydF4y2Ba {αgydF4y2Ba}_{jgydF4y2Ba} -gydF4y2Ba {αgydF4y2Ba}_{jgydF4y2Ba}^{*gydF4y2Ba})gydF4y2Ba GgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{我gydF4y2Ba},gydF4y2Ba {xgydF4y2Ba}_{jgydF4y2Ba})gydF4y2Ba +gydF4y2Ba εgydF4y2Ba {\sumgydF4y2Ba}_{我gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{NgydF4y2Ba} (gydF4y2Ba {αgydF4y2Ba}_{我gydF4y2Ba} +gydF4y2Ba {αgydF4y2Ba}_{我gydF4y2Ba}^{*gydF4y2Ba})gydF4y2Ba -gydF4y2Ba {\sumgydF4y2Ba}_{我gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{NgydF4y2Ba} {ygydF4y2Ba}_{我gydF4y2Ba} (gydF4y2Ba {αgydF4y2Ba}_{我gydF4y2Ba} -gydF4y2Ba {αgydF4y2Ba}_{我gydF4y2Ba}^{*gydF4y2Ba})gydF4y2Ba$

受gydF4y2Ba

这个函数用来预测新值等于gydF4y2Ba

fgydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba =gydF4y2Ba {\sumgydF4y2Ba}_{ngydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{NgydF4y2Ba} (gydF4y2Ba {αgydF4y2Ba}_{ngydF4y2Ba} -gydF4y2Ba {αgydF4y2Ba}_{ngydF4y2Ba}^{*gydF4y2Ba})gydF4y2Ba GgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{ngydF4y2Ba},gydF4y2Ba xgydF4y2Ba)gydF4y2Ba +gydF4y2Ba bgydF4y2Ba 。gydF4y2Ba

(2)gydF4y2Ba

马互补条件gydF4y2Ba

$\begin{array}{l} \forallgydF4y2Ba ngydF4y2Ba :gydF4y2Ba {αgydF4y2Ba}_{ngydF4y2Ba} (gydF4y2Ba εgydF4y2Ba +gydF4y2Ba {ξgydF4y2Ba}_{ngydF4y2Ba} -gydF4y2Ba {ygydF4y2Ba}_{ngydF4y2Ba} +gydF4y2Ba fgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{ngydF4y2Ba})gydF4y2Ba)gydF4y2Ba =gydF4y2Ba 0gydF4y2Ba \\ \forallgydF4y2Ba ngydF4y2Ba :gydF4y2Ba {αgydF4y2Ba}_{ngydF4y2Ba}^{*gydF4y2Ba} (gydF4y2Ba εgydF4y2Ba +gydF4y2Ba {ξgydF4y2Ba}_{ngydF4y2Ba}^{*gydF4y2Ba} +gydF4y2Ba {ygydF4y2Ba}_{ngydF4y2Ba} -gydF4y2Ba fgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{ngydF4y2Ba})gydF4y2Ba)gydF4y2Ba =gydF4y2Ba 0gydF4y2Ba \\ \forallgydF4y2Ba ngydF4y2Ba :gydF4y2Ba {ξgydF4y2Ba}_{ngydF4y2Ba} (gydF4y2Ba CgydF4y2Ba -gydF4y2Ba {αgydF4y2Ba}_{ngydF4y2Ba})gydF4y2Ba =gydF4y2Ba 0gydF4y2Ba \\ \forallgydF4y2Ba ngydF4y2Ba :gydF4y2Ba {ξgydF4y2Ba}_{ngydF4y2Ba}^{*gydF4y2Ba} (gydF4y2Ba CgydF4y2Ba -gydF4y2Ba {αgydF4y2Ba}_{ngydF4y2Ba}^{*gydF4y2Ba})gydF4y2Ba =gydF4y2Ba 0gydF4y2Ba 。gydF4y2Ba \end{array}$

解决支持向量机回归优化问题gydF4y2Ba

规划求解算法gydF4y2Ba

标准的二次规划的最小化问题可以表达形式和使用常见的二次规划技术来解决。然而,它可以使用二次规划算法计算昂贵,特别是格拉姆矩阵可能太大存储在内存中。使用分解方法可以加快计算,避免耗尽内存。gydF4y2Ba

分解方法gydF4y2Ba(也称为gydF4y2Ba组块和工作集方法gydF4y2Ba)单独所有观测分成两个不相交的集:工作集,其余集。分解方法只修改元素在每个迭代的工作集。因此,只需要一些格拉姆矩阵的列在每个迭代中,这样可以减少每次迭代所需的存储量。gydF4y2Ba

序列最小优化gydF4y2Ba(SMO)是最受欢迎的方法求解支持向量机问题gydF4y2Ba[4]gydF4y2Ba。SMO执行一系列的两点优化。在每个迭代中,选择两个点的工作集基于选择规则,使用二阶信息。那么这个工作集的拉格朗日乘数法是分析用描述的方法来解决gydF4y2Ba[2]gydF4y2Ba和gydF4y2Ba[1]gydF4y2Ba。gydF4y2Ba

在支持向量机回归,梯度向量gydF4y2Ba $\nablagydF4y2Ba lgydF4y2Ba$ 每次迭代后的激活集更新。梯度向量的分解方程gydF4y2Ba

${(gydF4y2Ba \nablagydF4y2Ba lgydF4y2Ba)gydF4y2Ba}_{ngydF4y2Ba} =gydF4y2Ba {gydF4y2Ba \begin{matrix} {\sumgydF4y2Ba}_{我gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{NgydF4y2Ba} (gydF4y2Ba {αgydF4y2Ba}_{我gydF4y2Ba} -gydF4y2Ba {αgydF4y2Ba}_{我gydF4y2Ba}^{*gydF4y2Ba})gydF4y2Ba GgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{我gydF4y2Ba},gydF4y2Ba {xgydF4y2Ba}_{ngydF4y2Ba})gydF4y2Ba +gydF4y2Ba εgydF4y2Ba -gydF4y2Ba {ygydF4y2Ba}_{ngydF4y2Ba},gydF4y2Ba ngydF4y2Ba \leqgydF4y2Ba NgydF4y2Ba \\ -gydF4y2Ba {\sumgydF4y2Ba}_{我gydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{NgydF4y2Ba} (gydF4y2Ba {αgydF4y2Ba}_{我gydF4y2Ba} -gydF4y2Ba {αgydF4y2Ba}_{我gydF4y2Ba}^{*gydF4y2Ba})gydF4y2Ba GgydF4y2Ba (gydF4y2Ba {xgydF4y2Ba}_{我gydF4y2Ba},gydF4y2Ba {xgydF4y2Ba}_{ngydF4y2Ba})gydF4y2Ba +gydF4y2Ba εgydF4y2Ba +gydF4y2Ba {ygydF4y2Ba}_{ngydF4y2Ba},gydF4y2Ba ngydF4y2Ba >gydF4y2Ba NgydF4y2Ba \end{matrix} 。gydF4y2Ba$

迭代的单一数据算法gydF4y2Ba(ISDA)更新拉格朗日乘子与每个迭代gydF4y2Ba[3]gydF4y2Ba。ISDA通常是没有进行偏差项gydF4y2BabgydF4y2Ba通过添加一个小正的常数gydF4y2Ba一个gydF4y2Ba内核函数。下降gydF4y2BabgydF4y2Ba滴和约束gydF4y2Ba

${\sumgydF4y2Ba}_{ngydF4y2Ba =gydF4y2Ba 1gydF4y2Ba}^{NgydF4y2Ba} (gydF4y2Ba {αgydF4y2Ba}_{我gydF4y2Ba} -gydF4y2Ba {αgydF4y2Ba}^{*gydF4y2Ba})gydF4y2Ba =gydF4y2Ba 0gydF4y2Ba$

在二元方程。这让我们在每个迭代更新一个拉格朗日乘子,这使得它比SMO更容易去除离群值。在所有的ISDA选择最坏的马违反者gydF4y2BaαgydF4y2Ba_ngydF4y2Ba和gydF4y2BaαgydF4y2Ba_ngydF4y2Ba^*gydF4y2Ba值作为工作集更新。gydF4y2Ba

收敛性判别准则gydF4y2Ba

这些规划求解算法迭代计算,直到满足指定的收敛性判据。有几个选项收敛标准:gydF4y2Ba

可行性的差距gydF4y2Ba——表示为可行性的差距gydF4y2Ba

$ΔgydF4y2Ba =gydF4y2Ba \frac{JgydF4y2Ba (gydF4y2Ba βgydF4y2Ba)gydF4y2Ba +gydF4y2Ba lgydF4y2Ba (gydF4y2Ba αgydF4y2Ba)gydF4y2Ba}{JgydF4y2Ba (gydF4y2Ba βgydF4y2Ba)gydF4y2Ba +gydF4y2Ba 1gydF4y2Ba},gydF4y2Ba$

在哪里gydF4y2BaJgydF4y2Ba(gydF4y2BaβgydF4y2Ba)gydF4y2Ba原始的客观吗gydF4y2BalgydF4y2Ba(gydF4y2BaαgydF4y2Ba)gydF4y2Ba是双重目标。每一次迭代后,软件评估可行性的差距。如果可行性差距小于指定的值gydF4y2BaGapTolerancegydF4y2Ba,那么该算法满足收敛性判据和软件返回一个解决方案。gydF4y2Ba
梯度差异gydF4y2Ba——在每一次迭代,软件评估梯度向量,gydF4y2Ba $\nablagydF4y2Ba lgydF4y2Ba$ 。如果当前迭代的梯度向量差值和先前的迭代小于指定的值gydF4y2BaDeltaGradientTolerancegydF4y2Ba,那么该算法满足收敛性判据和软件返回一个解决方案。gydF4y2Ba
最大的马违反gydF4y2Ba——每一次迭代后,软件评估马违反的gydF4y2BaαgydF4y2Ba_ngydF4y2Ba和gydF4y2BaαgydF4y2Ba_ngydF4y2Ba^*gydF4y2Ba值。如果最大的违反小于指定的值gydF4y2BaKKTTolerancegydF4y2Ba,那么该算法满足收敛性判据和软件返回一个解决方案。gydF4y2Ba

引用gydF4y2Ba

[1]球迷,右眼,由P.H. Chen和C.J.林。“SMO-Type分解研究支持向量机的方法。”金宝appgydF4y2BaIEEE神经网络,gydF4y2Ba17:893 - 908卷,2006年。gydF4y2Ba

[2]球迷,右眼,由P.H. Chen和C.J.林。“工作集选择使用二阶信息训练支持向量机。”金宝appgydF4y2Ba机器学习研究期刊》的研究,gydF4y2Ba6:1871 - 1918卷,2005年。gydF4y2Ba

[3]黄,T.M.,V. Kecman, and I. Kopriva.基于内核的算法挖掘巨大的数据集:监督,Semi-Supervised和无监督学习。gydF4y2Ba施普林格,纽约,2006年。gydF4y2Ba

[4]普拉特,J。gydF4y2Ba序列最小优化:一个快速算法训练支持向量机。金宝appgydF4y2Ba技术报告msr - tr - 98 - 14, 1999。gydF4y2Ba

[5]Vapnik, V。gydF4y2Ba统计学习理论的本质。gydF4y2Ba施普林格,纽约,1995年。gydF4y2Ba

另请参阅gydF4y2Ba

RegressionSVMgydF4y2Ba|gydF4y2BafitrsvmgydF4y2Ba|gydF4y2Ba预测gydF4y2Ba|gydF4y2BaresubPredictgydF4y2Ba