主要内容gydF4y2Ba

理解支持向量机回归金宝appgydF4y2Ba

支持向量机回归的数学公式gydF4y2Ba

概述gydF4y2Ba

金宝app支持向量机(SVM)分析是一种流行的分类和回归机器学习工具，由Vladimir Vapnik和他的同事在1992年首次发现gydF4y2Ba［5］gydF4y2Ba．支持向量机回归是一种非参数技术，因为它依赖于核函数。gydF4y2Ba

统计和机器学习工具箱™实现线性ε-不敏感SVM (ε-SVM)回归，也称为gydF4y2BalgydF4y2Ba1损失。在gydF4y2BaεgydF4y2Ba-支持向量机回归，训练数据集包括预测变量和观察响应值。目标是找到一个函数gydF4y2BafgydF4y2Ba（gydF4y2BaxgydF4y2Ba）gydF4y2Ba这偏离了gydF4y2BaygydF4y2BangydF4y2Ba每个训练点的值不大于εgydF4y2BaxgydF4y2Ba，同时尽量平整。gydF4y2Ba

线性支持向量机回归:原始公式gydF4y2Ba

假设我们有一组训练数据gydF4y2BaxgydF4y2BangydF4y2Ba的多元集gydF4y2BaNgydF4y2Ba用观测到的响应值进行观测gydF4y2BaygydF4y2BangydF4y2Ba．gydF4y2Ba

求线性函数gydF4y2Ba

fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba xgydF4y2Ba ′gydF4y2Ba βgydF4y2Ba +gydF4y2Ba bgydF4y2Ba ，gydF4y2Ba

确保它尽可能的平坦，找到gydF4y2BafgydF4y2Ba（gydF4y2BaxgydF4y2Ba）gydF4y2Ba最小范数(gydF4y2BaβgydF4y2Ba′gydF4y2BaβgydF4y2Ba)．这被表述为一个最小化的凸优化问题gydF4y2Ba

JgydF4y2Ba （gydF4y2Ba βgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba 2gydF4y2Ba βgydF4y2Ba ′gydF4y2Ba βgydF4y2Ba

以所有残差值小于ε为条件;或者，用方程形式表示:gydF4y2Ba

∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba |gydF4y2Ba ygydF4y2Ba ngydF4y2Ba −gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ′gydF4y2Ba βgydF4y2Ba +gydF4y2Ba bgydF4y2Ba ）gydF4y2Ba |gydF4y2Ba ≤gydF4y2Ba εgydF4y2Ba ．gydF4y2Ba

有可能没有这样的函数gydF4y2BafgydF4y2Ba（gydF4y2BaxgydF4y2Ba）gydF4y2Ba存在以满足所有点的这些约束条件。要处理其他不可行的约束，请引入松弛变量gydF4y2BaξgydF4y2BangydF4y2Ba而且gydF4y2BaξgydF4y2Ba＊gydF4y2BangydF4y2Ba对于每个点。这种方法类似于SVM分类中的“软边际”概念，因为松弛变量允许回归误差存在，直到的值gydF4y2BaξgydF4y2BangydF4y2Ba而且gydF4y2BaξgydF4y2Ba＊gydF4y2BangydF4y2Ba，但仍然满足要求的条件。gydF4y2Ba

包括松弛变量导致目标函数，也称为原始公式gydF4y2Ba［5］gydF4y2Ba：gydF4y2Ba

JgydF4y2Ba （gydF4y2Ba βgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba 2gydF4y2Ba βgydF4y2Ba ′gydF4y2Ba βgydF4y2Ba +gydF4y2Ba CgydF4y2Ba ∑gydF4y2Ba ngydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba +gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba ，gydF4y2Ba

主题:gydF4y2Ba

∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba ygydF4y2Ba ngydF4y2Ba −gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ′gydF4y2Ba βgydF4y2Ba +gydF4y2Ba bgydF4y2Ba ）gydF4y2Ba ≤gydF4y2Ba εgydF4y2Ba +gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ′gydF4y2Ba βgydF4y2Ba +gydF4y2Ba bgydF4y2Ba ）gydF4y2Ba −gydF4y2Ba ygydF4y2Ba ngydF4y2Ba ≤gydF4y2Ba εgydF4y2Ba +gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba ≥gydF4y2Ba 0gydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba ≥gydF4y2Ba 0gydF4y2Ba ．gydF4y2Ba

常数gydF4y2BaCgydF4y2Ba框约束是一个正数值，它控制对位于边缘之外的观测值施加的惩罚(gydF4y2BaεgydF4y2Ba)，并有助于防止过拟合(正则化)。这个值决定了平整度之间的取舍gydF4y2BafgydF4y2Ba（gydF4y2BaxgydF4y2Ba）gydF4y2Ba以及到哪个偏差大于gydF4y2BaεgydF4y2Ba是容忍。gydF4y2Ba

线性ε-不敏感损失函数忽略范围内的误差gydF4y2BaεgydF4y2Ba观测值的距离，将它们处理为等于零。损耗是根据观测值之间的距离来测量的gydF4y2BaygydF4y2Ba和gydF4y2BaεgydF4y2Ba边界。这是由gydF4y2Ba

lgydF4y2Ba εgydF4y2Ba ＝gydF4y2Ba ｛gydF4y2Ba 0gydF4y2Ba 如果gydF4y2Ba |gydF4y2Ba ygydF4y2Ba −gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba |gydF4y2Ba ≤gydF4y2Ba εgydF4y2Ba |gydF4y2Ba ygydF4y2Ba −gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba |gydF4y2Ba −gydF4y2Ba εgydF4y2Ba 否则gydF4y2Ba

线性支持向量机回归:对偶公式gydF4y2Ba

前面描述的优化问题在拉格朗日对偶公式中计算起来比较简单。对偶问题的解提供了原始(最小化)问题解的下界。原始问题和对偶问题的最优值不需要相等，这种差异被称为“对偶差”。但当问题是凸的且满足约束限定条件时，原问题的最优解的值由对偶问题的解给出。gydF4y2Ba

为了得到对偶公式，通过引入非负乘子，由原函数构造一个拉格朗日函数gydF4y2BaαgydF4y2BangydF4y2Ba而且gydF4y2BaαgydF4y2Ba＊gydF4y2BangydF4y2Ba对于每个观察gydF4y2BaxgydF4y2BangydF4y2Ba．这就引出了对偶公式，在这里我们将其最小化gydF4y2Ba

lgydF4y2Ba （gydF4y2Ba αgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba 2gydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba ∑gydF4y2Ba jgydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba −gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba （gydF4y2Ba αgydF4y2Ba jgydF4y2Ba −gydF4y2Ba αgydF4y2Ba jgydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ′gydF4y2Ba xgydF4y2Ba jgydF4y2Ba +gydF4y2Ba εgydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba +gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba +gydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba ygydF4y2Ba 我gydF4y2Ba （gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba ＊gydF4y2Ba −gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba ）gydF4y2Ba

受限于gydF4y2Ba

∑gydF4y2Ba ngydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba αgydF4y2Ba ngydF4y2Ba −gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 0gydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba 0gydF4y2Ba ≤gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ≤gydF4y2Ba CgydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba 0gydF4y2Ba ≤gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba ≤gydF4y2Ba CgydF4y2Ba ．gydF4y2Ba

的gydF4y2BaβgydF4y2Ba参数可以完全描述为一个线性组合的训练观察使用的方程gydF4y2Ba

βgydF4y2Ba ＝gydF4y2Ba ∑gydF4y2Ba ngydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba αgydF4y2Ba ngydF4y2Ba −gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ．gydF4y2Ba

用于预测新值的函数只依赖于支持向量:金宝appgydF4y2Ba

fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba ∑gydF4y2Ba ngydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba αgydF4y2Ba ngydF4y2Ba −gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ′gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba +gydF4y2Ba bgydF4y2Ba ．gydF4y2Ba (1）gydF4y2Ba

Karush-Kuhn-Tucker (KKT)互补条件是获得最优解所需的优化约束条件。金宝搏官方网站对于线性SVM回归，这些条件为gydF4y2Ba

∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba αgydF4y2Ba ngydF4y2Ba （gydF4y2Ba εgydF4y2Ba +gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba −gydF4y2Ba ygydF4y2Ba ngydF4y2Ba +gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ′gydF4y2Ba βgydF4y2Ba +gydF4y2Ba bgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 0gydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba （gydF4y2Ba εgydF4y2Ba +gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba +gydF4y2Ba ygydF4y2Ba ngydF4y2Ba −gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ′gydF4y2Ba βgydF4y2Ba −gydF4y2Ba bgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 0gydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba （gydF4y2Ba CgydF4y2Ba −gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 0gydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba （gydF4y2Ba CgydF4y2Ba −gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 0gydF4y2Ba ．gydF4y2Ba

这些条件表明，所有严格在ε管内的观测都有拉格朗日乘子gydF4y2BaαgydF4y2BangydF4y2Ba= 0gydF4y2Ba而且gydF4y2BaαgydF4y2BangydF4y2Ba＊gydF4y2Ba= 0gydF4y2Ba．如果任何一gydF4y2BaαgydF4y2BangydF4y2Ba或gydF4y2BaαgydF4y2BangydF4y2Ba＊gydF4y2Ba不为零，那么对应的观测值就叫做agydF4y2Ba金宝app支持向量gydF4y2Ba．gydF4y2Ba

房地产gydF4y2BaαgydF4y2Ba的支持向量机模型存储支持向量的两个拉格朗日乘子之间的差值，金宝appgydF4y2BaαgydF4y2BangydF4y2Ba- - - - - -gydF4y2BaαgydF4y2BangydF4y2Ba＊gydF4y2Ba．的属性gydF4y2Ba金宝appSupportVectorsgydF4y2Ba而且gydF4y2Ba偏见gydF4y2Ba商店gydF4y2BaxgydF4y2BangydF4y2Ba而且gydF4y2BabgydF4y2Ba,分别。gydF4y2Ba

非线性支持向量机回归:原始公式gydF4y2Ba

有些回归问题不能充分地用线性模型来描述。在这种情况下，拉格朗日对偶公式允许前面描述的技术扩展到非线性函数。gydF4y2Ba

通过替换点积得到非线性支持向量机回归模型gydF4y2BaxgydF4y2Ba1gydF4y2Ba′gydF4y2BaxgydF4y2Ba2gydF4y2Ba用一个非线性核函数gydF4y2BaGgydF4y2Ba（gydF4y2BaxgydF4y2Ba1gydF4y2Ba，gydF4y2BaxgydF4y2Ba2gydF4y2Ba) = φgydF4y2Ba（gydF4y2BaxgydF4y2Ba1gydF4y2Ba)，gydF4y2BaφgydF4y2Ba（gydF4y2BaxgydF4y2Ba2gydF4y2Ba) >gydF4y2Ba,在那里gydF4y2BaφgydF4y2Ba（gydF4y2BaxgydF4y2Ba)是映射的转换gydF4y2BaxgydF4y2Ba到高维空间。统计和机器学习工具箱提供了以下内置的正半定核函数。gydF4y2Ba

内核的名字gydF4y2Ba 核函数gydF4y2Ba
线性(点积)gydF4y2Ba GgydF4y2Ba （gydF4y2Ba xgydF4y2Ba jgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba kgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba xgydF4y2Ba jgydF4y2Ba ′gydF4y2Ba xgydF4y2Ba kgydF4y2Ba
高斯gydF4y2Ba GgydF4y2Ba （gydF4y2Ba xgydF4y2Ba jgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba kgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 经验值gydF4y2Ba （gydF4y2Ba −gydF4y2Ba ‖gydF4y2Ba xgydF4y2Ba jgydF4y2Ba −gydF4y2Ba xgydF4y2Ba kgydF4y2Ba ‖gydF4y2Ba 2gydF4y2Ba ）gydF4y2Ba
多项式gydF4y2Ba GgydF4y2Ba （gydF4y2Ba xgydF4y2Ba jgydF4y2Ba ，gydF4y2Ba xgydF4y2Ba kgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba （gydF4y2Ba 1gydF4y2Ba +gydF4y2Ba xgydF4y2Ba jgydF4y2Ba ′gydF4y2Ba xgydF4y2Ba kgydF4y2Ba ）gydF4y2Ba 问gydF4y2Ba ,在那里gydF4y2Ba问gydF4y2Ba在集合{2,3，…}中。gydF4y2Ba

的gydF4y2Ba格拉姆矩阵gydF4y2Ba是一个gydF4y2BangydF4y2Ba——- - - - - -gydF4y2BangydF4y2Ba包含元素的矩阵gydF4y2BaggydF4y2Ba我gydF4y2Ba，gydF4y2BajgydF4y2Ba= G (gydF4y2BaxgydF4y2Ba我gydF4y2Ba，gydF4y2BaxgydF4y2BajgydF4y2Ba）gydF4y2Ba．每个元素gydF4y2BaggydF4y2Ba我gydF4y2Ba，gydF4y2BajgydF4y2Ba等于预测因子的内积gydF4y2BaφgydF4y2Ba．然而，我们不需要知道gydF4y2BaφgydF4y2Ba，因为我们可以用核函数直接生成Gram矩阵。利用该方法，非线性支持向量机可以找到最优函数gydF4y2BafgydF4y2Ba（gydF4y2BaxgydF4y2Ba）gydF4y2Ba在变换后的预测空间中。gydF4y2Ba

非线性支持向量机回归:对偶公式gydF4y2Ba

非线性支持向量机回归的对偶公式取代了预测因子的内积(gydF4y2BaxgydF4y2Ba我gydF4y2Ba′gydF4y2BaxgydF4y2BajgydF4y2Ba)与格拉姆矩阵的对应元素(gydF4y2BaggydF4y2Ba我gydF4y2Ba，gydF4y2BajgydF4y2Ba)．gydF4y2Ba

非线性支持向量机回归找到最小的系数gydF4y2Ba

lgydF4y2Ba （gydF4y2Ba αgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba 2gydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba ∑gydF4y2Ba jgydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba −gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba （gydF4y2Ba αgydF4y2Ba jgydF4y2Ba −gydF4y2Ba αgydF4y2Ba jgydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba GgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba jgydF4y2Ba ）gydF4y2Ba +gydF4y2Ba εgydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba +gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba −gydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba ygydF4y2Ba 我gydF4y2Ba （gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba −gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba

受gydF4y2Ba

∑gydF4y2Ba ngydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba αgydF4y2Ba ngydF4y2Ba −gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 0gydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba 0gydF4y2Ba ≤gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ≤gydF4y2Ba CgydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba 0gydF4y2Ba ≤gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba ≤gydF4y2Ba CgydF4y2Ba ．gydF4y2Ba

用于预测新值的函数等于gydF4y2Ba

fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba ∑gydF4y2Ba ngydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba αgydF4y2Ba ngydF4y2Ba −gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba GgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ）gydF4y2Ba +gydF4y2Ba bgydF4y2Ba ．gydF4y2Ba （2）gydF4y2Ba

KKT互补条件为gydF4y2Ba

∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba αgydF4y2Ba ngydF4y2Ba （gydF4y2Ba εgydF4y2Ba +gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba −gydF4y2Ba ygydF4y2Ba ngydF4y2Ba +gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 0gydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba （gydF4y2Ba εgydF4y2Ba +gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba +gydF4y2Ba ygydF4y2Ba ngydF4y2Ba −gydF4y2Ba fgydF4y2Ba （gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 0gydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba （gydF4y2Ba CgydF4y2Ba −gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 0gydF4y2Ba ∀gydF4y2Ba ngydF4y2Ba ：gydF4y2Ba ξgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba （gydF4y2Ba CgydF4y2Ba −gydF4y2Ba αgydF4y2Ba ngydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 0gydF4y2Ba ．gydF4y2Ba

SVM回归优化问题的求解gydF4y2Ba

规划求解算法gydF4y2Ba

最小化问题可以用标准的二次规划形式表示，用常用的二次规划技术求解。然而，使用二次规划算法的计算成本很高，特别是因为Gram矩阵可能太大而无法存储在内存中。使用分解方法可以加快计算速度并避免内存耗尽。gydF4y2Ba

分解方法gydF4y2Ba(也称为gydF4y2Ba分块和工作集方法gydF4y2Ba)，将所有观测结果分成两个不相交的集:工作集和剩余集。分解方法在每次迭代中只修改工作集中的元素。因此，在每次迭代中只需要Gram矩阵的一些列，这减少了每次迭代所需的存储量。gydF4y2Ba

顺序最小优化gydF4y2Ba(SMO)是解决支持向量机问题最常用的方法gydF4y2Ba[4]gydF4y2Ba．SMO执行一系列两点优化。在每次迭代中，基于使用二阶信息的选择规则选择两个点的工作集。然后，该工作集的拉格朗日乘子用文中描述的方法解析求解gydF4y2Ba[２]gydF4y2Ba而且gydF4y2Ba[1]gydF4y2Ba．gydF4y2Ba

在支持向量机回归中，梯度向量gydF4y2Ba ∇gydF4y2Ba lgydF4y2Ba 活动集在每次迭代后更新。梯度向量的分解方程为gydF4y2Ba

（gydF4y2Ba ∇gydF4y2Ba lgydF4y2Ba ）gydF4y2Ba ngydF4y2Ba ＝gydF4y2Ba ｛gydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba −gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba GgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba +gydF4y2Ba εgydF4y2Ba −gydF4y2Ba ygydF4y2Ba ngydF4y2Ba ，gydF4y2Ba ngydF4y2Ba ≤gydF4y2Ba NgydF4y2Ba −gydF4y2Ba ∑gydF4y2Ba 我gydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba −gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba GgydF4y2Ba （gydF4y2Ba xgydF4y2Ba 我gydF4y2Ba ，gydF4y2Ba xgydF4y2Ba ngydF4y2Ba ）gydF4y2Ba +gydF4y2Ba εgydF4y2Ba +gydF4y2Ba ygydF4y2Ba ngydF4y2Ba ，gydF4y2Ba ngydF4y2Ba >gydF4y2Ba NgydF4y2Ba ．gydF4y2Ba

迭代单数据算法gydF4y2Ba(ISDA)每次迭代更新一个拉格朗日乘法器gydF4y2Ba[3]gydF4y2Ba．ISDA通常不使用偏差项gydF4y2BabgydF4y2Ba加上一个小的正常数gydF4y2Ba一个gydF4y2Ba到核函数。下降gydF4y2BabgydF4y2Ba删除求和约束gydF4y2Ba

∑gydF4y2Ba ngydF4y2Ba ＝gydF4y2Ba 1gydF4y2Ba NgydF4y2Ba （gydF4y2Ba αgydF4y2Ba 我gydF4y2Ba −gydF4y2Ba αgydF4y2Ba ＊gydF4y2Ba ）gydF4y2Ba ＝gydF4y2Ba 0gydF4y2Ba

在对偶方程中。这允许我们在每次迭代中更新一个拉格朗日乘法器，这使得它比SMO更容易删除异常值。ISDA从所有的KKT违反者中选出最严重的gydF4y2BaαgydF4y2BangydF4y2Ba而且gydF4y2BaαgydF4y2BangydF4y2Ba＊gydF4y2Ba值作为要更新的工作集。gydF4y2Ba

收敛性判别准则gydF4y2Ba

每个解算器算法迭代计算，直到满足指定的收敛条件。收敛准则有以下几种选择:gydF4y2Ba

  • 可行性的差距gydF4y2Ba—可行性差距表示为gydF4y2Ba

    ΔgydF4y2Ba ＝gydF4y2Ba JgydF4y2Ba （gydF4y2Ba βgydF4y2Ba ）gydF4y2Ba +gydF4y2Ba lgydF4y2Ba （gydF4y2Ba αgydF4y2Ba ）gydF4y2Ba JgydF4y2Ba （gydF4y2Ba βgydF4y2Ba ）gydF4y2Ba +gydF4y2Ba 1gydF4y2Ba ，gydF4y2Ba

    在哪里gydF4y2BaJgydF4y2Ba（gydF4y2BaβgydF4y2Ba）gydF4y2Ba原始的客观和gydF4y2BalgydF4y2Ba（gydF4y2BaαgydF4y2Ba）gydF4y2Ba是双重目标。在每次迭代之后，软件评估可行性差距。如果可行性差距小于指定的值gydF4y2BaGapTolerancegydF4y2Ba，则算法满足收敛准则，软件返回解。gydF4y2Ba

  • 梯度差异gydF4y2Ba-每次迭代后，软件评估梯度向量，gydF4y2Ba ∇gydF4y2Ba lgydF4y2Ba ．如果当前迭代和前一次迭代的梯度向量值之差小于gydF4y2BaDeltaGradientTolerancegydF4y2Ba，则算法满足收敛准则，软件返回解。gydF4y2Ba

  • 最大的KKT违例事件gydF4y2Ba-在每次迭代之后，软件评估所有的KKT违反gydF4y2BaαgydF4y2BangydF4y2Ba而且gydF4y2BaαgydF4y2BangydF4y2Ba＊gydF4y2Ba值。如果最大的违规项小于指定的值gydF4y2BaKKTTolerancegydF4y2Ba，则算法满足收敛准则，软件返回解。gydF4y2Ba

参考文献gydF4y2Ba

[1]范仁仁、陈培宏、林志杰。支持向量机的smol型分解方法研究。金宝appgydF4y2BaIEEE神经网络汇刊，gydF4y2Ba卷17:893-908,2006。gydF4y2Ba

[2]范仁仁、陈培宏、林志杰。使用二阶信息训练支持向量机的工作集选择。金宝appgydF4y2Ba机器学习研究杂志，gydF4y2Ba卷6:1871-1918,2005。gydF4y2Ba

[3]黄，t.m.， V.凯克曼，I.柯普瑞瓦。gydF4y2Ba挖掘庞大数据集的基于核的算法:监督、半监督和无监督学习。gydF4y2Ba施普林格，纽约，2006年。gydF4y2Ba

[4]普拉特，J。gydF4y2Ba序列最小优化:训练支持向量机的快速算法。金宝appgydF4y2Ba技术报告MSR-TR-98-14, 1999。gydF4y2Ba

[5]瓦普尼克V。gydF4y2Ba统计学习理论的本质。gydF4y2Ba施普林格，纽约，1995年。gydF4y2Ba

另请参阅gydF4y2Ba

|gydF4y2Ba|gydF4y2Ba|gydF4y2Ba

相关的话题gydF4y2Ba

统计和机器学习工具箱文档gydF4y2Ba

金宝app

掌握机器学习:一步一步的MATLAB指南gydF4y2Ba

掌握机器学习:一步一步的MATLAB指南gydF4y2Ba

下载电子书gydF4y2Ba