主要内容

fitrsvm

拟合支持向量金宝app机回归模型

在页面中全部折叠

语法

Mdl = fitrsvm(Tbl,ResponseVarName)
Mdl = fitrsvm(Tbl，公式)
Mdl = fitrsvm(Tbl,Y)
Mdl = fitrsvm(X,Y)
Mdl = fitrsvm(___、名称、值)

描述

fitrsvm训练或交叉验证支持向量机(SVM)回归模型的低通过中维预金宝app测器数据集。fitrsvm金宝app支持使用内核函数映射预测器数据，支持SMO、ISDA或l1利用二次规划实现目标函数最小化的软裕度最小化。

为了在高维数据集(即包含许多预测变量的数据集)上训练线性支持向量机回归模型，使用fitrlinear代替。

要训练二进制分类的支持向量机模型，请参见fitcsvm对于低通中维预测器数据集，或fitclinear对于高维数据集。

例子

Mdl= fitrsvm (资源描述，ResponseVarName）返回一个完整的、经过训练的支持向量机(SVM)回金宝app归模型Mdl使用表中的预测器值进行训练资源描述的响应值资源描述。ResponseVarName．

Mdl= fitrsvm (资源描述，公式）返回使用表中的预测值训练的完整SVM回归模型资源描述．公式是否有响应的解释模型和预测变量的子集资源描述曾经适合Mdl．

Mdl= fitrsvm (资源描述，Y）返回一个完整的经过训练的SVM回归模型，使用表中的预测值进行训练资源描述以及向量中的响应值Y．

Mdl= fitrsvm (X，Y）返回一个完整的经过训练的SVM回归模型，使用矩阵中的预测值进行训练X以及向量中的响应值Y．

例子

Mdl= fitrsvm (___，名称,值）返回一个SVM回归模型，其中包含由一个或多个名称-值对参数指定的附加选项，使用任何前面的语法。例如，您可以指定内核函数或训练交叉验证的模型。

例子

全部折叠

打开实时脚本

使用存储在矩阵中金宝app的样本数据训练支持向量机(SVM)回归模型。

加载carsmall数据集。

负载carsmallrng“默认”%用于重现性

指定马力而且重量作为预测变量(X),英里/加仑作为响应变量(Y)．

X =[马力，重量];Y = mpg;

训练一个默认的SVM回归模型。

Mdl = fitrsvm(X,Y)
Mdl = RegressionSVM ResponseName: 'Y' CategoricalPredictors: [] ResponseTransform: 'none' Alpha: [75x1 double] Bias: 57.3958 KernelParameters: [1x1 struct] NumObservations: 93 BoxConstraints: [93x1 double] ConvergenceInfo: [1x1 struct] Is金宝appSupportVector: [93x1 logical] Solver: 'SMO' Properties, Methods

Mdl是经过训练的RegressionSVM模型。

检查模型是否收敛。

Mdl.ConvergenceInfo.Converged
ans =逻辑0

0表示模型没有收敛。

使用标准化数据重新训练模型。

MdlStd = fitrsvm(X,Y，“标准化”,真正的)
MdlStd = RegressionSVM ResponseName: 'Y' CategoricalPredictors: [] Alpha: [77x1 double] Bias: 22.9131 KernelParameters: [1x1 struct] Mu: [109.3441 2.9625e+03] Sigma: [45.3545 805.9668] NumObservations: 93 BoxConstraints: [93x1 double] ConvergenceInfo: [1x1 struct] IsSupportVector: [93x1 logic金宝appal] Solver: 'SMO' Properties, Methods

检查模型是否收敛。

MdlStd.ConvergenceInfo.Converged
ans =逻辑1

1表明模型确实收敛。

计算新模型的复代(样本内)均方误差。

lStd = resubLoss(MdlStd)
lStd = 17.0256
打开脚本

使用UCI机器学金宝app习库中的鲍鱼数据训练支持向量机回归模型。

下载数据并将其保存在当前文件夹中“abalone.csv”．

url =“https://archive.ics.uci.edu/ml/machine-learning-databases/abalone/abalone.data”；websave (“abalone.csv”url);

将数据读入表中。指定变量名。

变量名= {“性”；“长度”；“直径”；“高度”；“Whole_weight”；.．.“Shucked_weight”；“Viscera_weight”；“Shell_weight”；“戒指”};Tbl =可读(“abalone.csv”，“文件类型”，“文本”，“ReadVariableNames”、假);Tbl.Properties.VariableNames = varnames;

样本数据包含4177个观测值。所有的预测变量都是连续的性，这是一个具有可能值的类别变量“米”(男性)“F”(女性)，和“我”(婴儿)。目标是预测存储在环)，并用物理测量方法测定鲍鱼的年龄。

训练支持向量机回归模型，使用具有自动核尺度的高斯核函数。标准化数据。

rng默认的%用于重现性n) n; n;“戒指”，“KernelFunction”，“高斯”，“KernelScale”，“汽车”，.．.“标准化”,真正的)
Mdl = RegressionSVM PredictorNames: {1×8 cell} ResponseName: 'Rings' CategoricalPredictors: 1 ResponseTransform: 'none' Alpha: [3635×1 double] Bias: 10.8144 KernelParameters: [1×1 struct] Mu: [1×10 double] Sigma: [1×10 double] NumObservations: 4177 BoxConstraints: [4177×1 double] ConvergenceInfo: [1×1 struct] Is金宝appSupportVector: [4177×1 logical] Solver: 'SMO'

命令窗口显示了这一点Mdl是经过训练的RegressionSVM建模并显示属性列表。

显示属性Mdl使用点表示法。例如，检查以确认模型是否收敛，以及它完成了多少次迭代。

convergenceinfo . converged iter = Mdl. convergenceinfo . convergenceinfo。NumIterations
Conv =逻辑1 iter = 2759

返回结果表明，该模型经过2759次迭代收敛。

打开实时脚本

加载carsmall数据集。

负载carsmallrng“默认”%用于重现性

指定马力而且重量作为预测变量(X),英里/加仑作为响应变量(Y)．

X =[马力重量];Y = mpg;

使用5倍交叉验证交叉验证两个SVM回归模型。对于这两个模型，指定以标准化预测器。对于其中一个模型，指定使用默认的线性核进行训练，而对于另一个模型则指定使用高斯核进行训练。

MdlLin = fitrsvm(X,Y，“标准化”,真的,“KFold”5)
MdlLin = RegressionPartitionedSVM CrossValidatedModel: 'SVM' PredictorNames: {'x1' 'x2'} ResponseName: 'Y' NumObservations: 94 KFold: 5 Partition: [1x1 cvpartition] ResponseTransform: 'none'属性，方法
MdlGau = fitrsvm(X,Y，“标准化”,真的,“KFold”5,“KernelFunction”，“高斯”）
MdlGau = RegressionPartitionedSVM CrossValidatedModel: 'SVM' PredictorNames: {'x1' 'x2'} ResponseName: 'Y' NumObservations: 94 KFold: 5 Partition: [1x1 cvpartition] ResponseTransform: 'none'属性，方法
MdlLin。训练有素的
ans =5×1单元格数组{1 x1 classreg.learning.regr。CompactRegressionSVM} {1x1 classreg.learning.regr.CompactRegressionSVM} {1x1 classreg.learning.regr.CompactRegressionSVM} {1x1 classreg.learning.regr.CompactRegressionSVM} {1x1 classreg.learning.regr.CompactRegressionSVM}

MdlLin而且MdlGau是RegressionPartitionedSVM旨在模型。的训练有素的属性是一个5 × 1的单元格数组CompactRegressionSVM模型。单元格中的模型存储了4层观测数据上的训练结果，将1层观测数据删除。

比较模型的泛化误差。在这种情况下，泛化误差是样本外均方误差。

mseLin = kfoldLoss(MdlLin)
mseLin = 17.4417
mseGau = kfoldLoss(MdlGau)
mseGau = 16.7355

使用高斯核的支持向量机回归模型优于使用线性核的支持向量机回归模型。

通过传递整个数据集来创建一个适合进行预测的模型fitrsvm，并指定所有产生性能更好的模型的名值对参数。但是，不要指定任何交叉验证选项。

MdlGau = fitrsvm(X,Y，“标准化”,真的,“KernelFunction”，“高斯”）;

要预测一组车的MPG，通过Mdl还有一个表格，里面有这些车的马力和重量预测．

打开实时脚本

此示例演示如何使用自动优化超参数fitrsvm．该示例使用carsmall数据。

加载carsmall数据集。

负载carsmall

指定马力而且重量作为预测变量(X),英里/加仑作为响应变量(Y)．

X =[马力重量];Y = mpg;

通过使用自动超参数优化找到最小化五倍交叉验证损失的超参数。

为了再现性，设置随机种子并使用“expected-improvement-plus”采集功能。

rng默认的Mdl = fitrsvm(X,Y，“OptimizeHyperparameters”，“汽车”，.．.“HyperparameterOptimizationOptions”结构(“AcquisitionFunctionName”，.．.“expected-improvement-plus”）)
|====================================================================================================================| | Iter | Eval |目的:| |目的BestSoFar | BestSoFar | BoxConstraint | KernelScale |ε| | | |结果日志(1 +损失)运行时| | | (estim(观察) .) | | | | |====================================================================================================================| | 最好1 | | 6.8077 | 10.27 | 6.8077 | 6.8077 | 0.35664 | 0.043031 | 0.30396 | | 2 |最好| 2.9108 | 0.097504 | 2.9108 | 3.1259 | 70.67 | 710.65 | 1.6369 | | 3 |接受| 4.1884 | 0.18596 | 2.9108 | 3.1211 | 14.367 | 0.0059144 | 442.64 ||4 | Accept | 4.159 | 0.060684 | 2.9108 | 3.0773 | 0.0030879 | 715.31 | 2.6045 | | 5 | Best | 2.902 | 0.17193 | 2.902 | 2.9015 | 969.07 | 703.1 | 0.88614 | | 6 | Accept | 4.1884 | 0.052457 | 2.902 | 2.9017 | 993.93 | 919.26 | 22.16 | | 7 | Accept | 2.9307 | 0.07753 | 2.902 | 2.9018 | 219.88 | 613.28 | 0.015526 | | 8 | Accept | 2.9537 | 0.35015 | 2.902 | 2.9017 | 905.17 | 395.74 | 0.021914 | | 9 | Accept | 2.9073 | 0.096023 | 2.902 | 2.9017 | 24.242 | 647.2 | 0.17855 | | 10 | Accept | 2.9044 | 0.23756 | 2.902 | 2.9017 | 117.27 | 173.98 | 0.73387 | | 11 | Accept | 2.9035 | 0.082249 | 2.902 | 2.9016 | 1.3516 | 131.19 | 0.0093404 | | 12 | Accept | 4.0917 | 0.060391 | 2.902 | 2.902 | 0.012201 | 962.58 | 0.0092777 | | 13 | Accept | 2.9525 | 0.98384 | 2.902 | 2.902 | 77.38 | 65.508 | 0.0093299 | | 14 | Accept | 2.9352 | 0.082393 | 2.902 | 2.9019 | 21.591 | 166.43 | 0.035214 | | 15 | Accept | 2.9341 | 0.10258 | 2.902 | 2.9019 | 45.286 | 207.56 | 0.009379 | | 16 | Accept | 2.9104 | 0.057282 | 2.902 | 2.9018 | 0.064315 | 23.313 | 0.0093341 | | 17 | Accept | 2.9056 | 0.12011 | 2.902 | 2.9018 | 0.33909 | 40.311 | 0.053394 | | 18 | Accept | 2.9335 | 0.11486 | 2.902 | 2.8999 | 0.9904 | 41.169 | 0.0099688 | | 19 | Accept | 2.9885 | 0.18598 | 2.902 | 2.8994 | 0.0010647 | 32.9 | 0.013178 | | 20 | Accept | 4.1884 | 0.070586 | 2.902 | 2.9 | 0.0014524 | 1.9514 | 856.49 | |====================================================================================================================| | Iter | Eval | Objective: | Objective | BestSoFar | BestSoFar | BoxConstraint| KernelScale | Epsilon | | | result | log(1+loss) | runtime | (observed) | (estim.) | | | | |====================================================================================================================| | 21 | Accept | 2.904 | 0.097499 | 2.902 | 2.8835 | 88.487 | 405.92 | 0.44372 | | 22 | Accept | 2.9107 | 0.080064 | 2.902 | 2.8848 | 344.34 | 992 | 0.28418 | | 23 | Accept | 2.904 | 0.063158 | 2.902 | 2.8848 | 0.92028 | 70.985 | 0.52233 | | 24 | Accept | 2.9145 | 0.067186 | 2.902 | 2.8822 | 0.0011412 | 18.159 | 0.16652 | | 25 | Best | 2.8909 | 0.18742 | 2.8909 | 2.8848 | 0.7614 | 17.3 | 1.9075 | | 26 | Accept | 2.9188 | 0.10836 | 2.8909 | 2.8816 | 0.31049 | 18.301 | 0.35285 | | 27 | Accept | 2.9327 | 0.065803 | 2.8909 | 2.8811 | 0.015362 | 20.395 | 1.6596 | | 28 | Accept | 2.897 | 0.11764 | 2.8909 | 2.8811 | 3.3454 | 46.537 | 2.224 | | 29 | Accept | 4.1884 | 0.061914 | 2.8909 | 2.881 | 983.2 | 0.52308 | 910.91 | | 30 | Accept | 2.9167 | 0.055172 | 2.8909 | 2.8821 | 0.0011533 | 10.597 | 0.029731 |

图中包含一个坐标轴。标题为Min目标与函数计算数量的轴包含两个类型为line的对象。这些对象表示最小观测目标，估计最小目标。

__________________________________________________________ 优化完成。最大目标:达到30。总函数评估:30总运行时间:46.34秒总目标函数评估时间:14.3647最佳观测可行点:BoxConstraint KernelScale Epsilon _____________ ___________ _______ 0.7614 17.3 1.9075观测目标函数值= 2.8909估计目标函数值= 2.8957函数评估时间= 0.18742最佳估计可行点(根据模型):BoxConstraint KernelScale Epsilon _____________ ___________ _______ 88.487 405.92 0.44372估计的目标函数值= 2.8821估计的函数评估时间= 0.10031
Mdl = RegressionSVM ResponseName: 'Y' CategoricalPredictors: [] ResponseTransform: 'none' Alpha: [86x1 double] Bias: 46.2480 KernelParameters: [1x1 struct] NumObservations: 93 HyperparameterOptimizationResults: [1x1 BayesianOptimization] BoxConstraints: [93x1 double] ConvergenceInfo: [1x1 struct] Is金宝appSupportVector: [93x1 logical] Solver: 'SMO' Properties, Methods

优化搜索BoxConstraint，KernelScale,ε．输出是估计交叉验证损失最小的回归。

输入参数

全部折叠

用于训练模型的样例数据，指定为表。每一行资源描述对应一个观察结果，每一列对应一个预测变量。可选地,资源描述可以为响应变量包含一个附加列。不允许多列变量和字符向量的单元格数组以外的单元格数组。

如果资源描述包含响应变量，并且希望在中使用所有剩余变量资源描述作为预测器，然后使用指定响应变量ResponseVarName．

如果资源描述包含响应变量，并且您希望仅使用其余变量的子集资源描述作为预测器，然后指定使用的公式公式．

如果资源描述不包含响应变量，则使用Y．响应变量的长度和的行数资源描述必须是平等的。

如果一排资源描述或者是Y至少包含一个南,然后fitrsvm在训练模型时，从两个参数中删除这些行和元素。

以预测符的出现顺序指定它们的名称资源描述，使用PredictorNames名称-值对参数。

数据类型:表格

中指定为变量名的响应变量名资源描述．响应变量必须是一个数字向量。

您必须指定ResponseVarName作为字符向量或字符串标量。例如，如果资源描述存储响应变量Y作为资源描述。Y，然后将其指定为“Y”．的所有列资源描述,包括Y，作为训练模型时的预测因子。

数据类型:字符|字符串

响应变量和预测变量子集的解释模型，在形式中指定为字符向量或字符串标量“Y ~ x1 + x2 + x3”．在这种形式中，Y表示响应变量，和x1，x2,x3表示预测变量。

中指定变量的子集资源描述使用公式作为训练模型的预测因子。如果您指定了一个公式，那么该软件将不使用任何变量资源描述没有出现在公式．

公式中的变量名必须是资源描述（Tbl.Properties.VariableNames)和有效的MATLAB®标识符。中的变量名可以进行验证资源描述通过使用isvarname函数。如果变量名无效，则可以使用matlab.lang.makeValidName函数。

数据类型:字符|字符串

响应数据，指定为n-by-1数字向量。的长度Y的行数资源描述或X必须是平等的。

如果一排资源描述或X的一个元素Y，至少包含一个南,然后fitrsvm在训练模型时，从两个参数中删除这些行和元素。

要指定响应变量名，请使用ResponseName名称-值对参数。

数据类型:单|双

支持向量机回归模型拟合的预测器数据，指定为n——- - - - - -p数字矩阵。n观察的次数和p是预测变量的数量。

的长度Y的行数X必须是平等的。

如果一排X或者是Y至少包含一个南,然后fitrsvm从两个参数中删除这些行和元素。

以预测符的出现顺序指定它们的名称X，使用PredictorNames名称-值对参数。

数据类型:单|双

名称-值对实参

指定逗号分隔的可选对名称,值参数。的名字参数名称和价值对应的值。的名字必须出现在引号内。可以以任意顺序指定多个名称和值对参数Name1, Value1,…,的家．

例子:“KernelFunction”、“高斯”、“标准化”,没错,‘CrossVal’,‘上’使用高斯核和标准化训练数据训练10倍交叉验证的支持向量机回归模型。

请注意

方法不能使用任何交叉验证名值对参数“OptimizeHyperparameters”名称-值对参数。的交叉验证“OptimizeHyperparameters”只有使用“HyperparameterOptimizationOptions”名称-值对参数。

金宝app支持向量机选项

全部折叠

系数的框约束，指定为逗号分隔的对，由“BoxConstraint”一个正的标量值。

的绝对值α系数不能超过的值BoxConstraint．

默认的BoxConstraint的值“高斯”或“rbf”核函数为差(Y) / 1.349,在那里差(Y)反应的四分位范围是可变的吗Y．对于所有其他内核，默认为BoxConstraint取值为1。

例子:BoxConstraint 10

数据类型:单|双

核函数用来计算格拉姆矩阵，指定为逗号分隔的对，由“KernelFunction”和这个表中的一个值。

价值 描述 公式
“高斯”或“rbf” 高斯或径向基函数(RBF)核

G （ x j ， x k ） ＝ 经验值 （ − 为 x j − x k 为 2 ）

“线性” 线性内核

G （ x j ， x k ） ＝ x j ′ x k

多项式的 多项式的内核。使用“PolynomialOrder”,问指定一个多项式的有序核问．

G （ x j ， x k ） ＝ （ 1 + x j ′ x k ） 问

你可以设置你自己的核函数，例如，内核，通过设置“KernelFunction”、“内核”．内核必须有以下表格:

函数G =核(U,V)
地点:

  • U是一个米——- - - - - -p矩阵。

  • V是一个n——- - - - - -p矩阵。

  • G是一个米——- - - - - -n的克矩阵U而且V．

和kernel.m必须在MATLAB路径上。

避免为内核函数使用泛型名是一种很好的实践。例如，调用sigmoid核函数“mysigmoid”而不是“乙状结肠”．

例子:“KernelFunction”、“高斯”

数据类型:字符|字符串

内核比例参数，指定为逗号分隔的对，由“KernelScale”而且“汽车”或者一个正的标量。该软件对预测矩阵的所有元素进行除法X的值KernelScale．然后，应用相应的核范数计算Gram矩阵。

  • 如果你指定“汽车”，然后软件采用启发式程序选择一个合适的比例因子。这种启发式过程使用子抽样，因此每次调用的估计值可能不同。因此，为了再现结果，设置一个随机数种子使用rng前培训。

  • 如果你指定KernelScale举个例子，你的核函数，“KernelFunction”、“内核”，那么软件就会抛出一个错误。你必须应用内部缩放内核．

例子:“KernelScale”、“汽车”

数据类型:双|单|字符|字符串

多项式核函数的顺序，指定为逗号分隔的对，由“PolynomialOrder”一个正整数。

如果你设置“PolynomialOrder”而且KernelFunction不是多项式的，那么软件就会抛出一个错误。

例子:“PolynomialOrder”,2

数据类型:双|单

内核偏移量参数，指定为逗号分隔的对，由“KernelOffset”一个非负的标量。

软件增加了KernelOffsetGram矩阵的每个元素。

默认值为:

  • 0如果求解器是SMO(也就是说，您设置“规划求解”、“SMO的）

  • 0．1如果求解器是ISDA(也就是说，您设置“规划求解”、“ISDA的）

例子:“KernelOffset”,0

数据类型:双|单

不敏感频带宽度的一半，指定为逗号分隔的一对，由‘ε’和一个非负标量值。

默认的ε值是差(Y) / 13.49，这是使用响应变量的四分位间范围估计的标准差的十分之一Y．如果差(Y)等于0，那么默认值是多少ε值为0.1。

例子:‘ε’,0.3

数据类型:单|双

标志以标准化预测器数据，指定为逗号分隔的对，由“标准化”而且真正的（1)或假（0)．

如果你设置“标准化”,真的：

  • 该软件将预测数据的每一列居中并缩放(X)分别用加权列均值和标准差表示(有关加权标准化的详情，请参阅算法)．MATLAB没有对为类别预测器生成的虚拟变量列中包含的数据进行标准化。

  • 该软件使用标准化的预测矩阵训练模型，但将非标准化数据存储在模型属性中X．

例子:“标准化”,真的

数据类型:逻辑

优化例程，指定为逗号分隔的对，由“规划求解”和这个表中的一个值。

价值 描述
ISDA的 迭代单数据算法(见［３０］）
“L1QP” 使用quadprog(优化工具箱)来实现l1 .二次规划的软裕度最小化。此选项需要一个优化工具箱™许可证。有关更多细节，请参见二次规划的定义(优化工具箱)．
SMO的 顺序最小优化(参见[17]）

默认值为:

  • ISDA的如果你设置“OutlierFraction”到正的值

  • SMO的否则

例子:“规划求解”、“ISDA的

系数的初始估计值，用逗号分隔的对表示“α”一个数字向量。的长度α必须等于的行数X．

  • 的每个元素α中的一个观察结果X．

  • α不能包含南年代。

  • 如果你指定α和交叉验证名值对参数中的任何一个(“CrossVal”，“CVPartition”，“坚持”，“KFold”,或“Leaveout”)，然后软件返回一个错误。

如果Y的所有行，然后删除Y，X,α对应于缺失的值。也就是说，输入:

idx = ~isnan(Y);Y = Y(idx);X = X(idx，:);Alpha = Alpha (idx);
然后,通过Y，X,α分别为响应、预测量和初始估计值。

默认为0(大小(Y, 1))．

例子:“阿尔法”,0.1 *(大小(X, 1), 1)

数据类型:单|双

缓存大小，指定为逗号分隔的对，由“CacheSize”而且“最大”或者一个正的标量。

如果CacheSize是“最大”，那么软件就会保留足够的内存来保存整个n——- - - - - -n格拉姆矩阵．

如果CacheSize是一个正的标量，那么软件储备呢CacheSize兆字节的内存用于训练模型。

例子:“CacheSize”、“最大”

数据类型:双|单|字符|字符串

标记来剪辑alpha系数，指定为逗号分隔的对，由“ClipAlphas”,要么真正的或假．

假设观察的系数j是αj观察的盒子约束j是Cj，j= 1,…,n,在那里n是训练样本量。

价值 描述
真正的 在每次迭代中，如果αj是接近0还是接近Cj，然后MATLAB集αj到0或到Cj,分别。
假 MATLAB在优化过程中不改变alpha系数。

的最终值α在α属性。

ClipAlphas会影响SMO和ISDA的收敛。

例子:“ClipAlphas”,假的

数据类型:逻辑

优化诊断消息输出之间的迭代次数，指定为逗号分隔的对，由“NumPrint”和一个非负整数。

如果你指定“详细”,1而且NumPrint, NumPrint，则软件将显示来自SMO和ISDA的所有优化诊断信息numprint命令窗口中的迭代。

例子:“NumPrint”,500年

数据类型:双|单

训练数据中异常值的期望比例，指定为逗号分隔的对，由“OutlierFraction”和区间[0,1)中的数值标量。fitrsvm删除具有大梯度的观测值，确保fitrsvm删除所指定的观察值的部分OutlierFraction在达到收敛的时候。此名称-值对仅在以下情况下有效“规划求解”是ISDA的．

例子:“OutlierFraction”,0.1

数据类型:单|双

标记来用训练数据中的单个观察值替换重复的观察值，指定为逗号分隔的对，由“RemoveDuplicates”而且真正的或假．

如果RemoveDuplicates是真正的,然后fitrsvm用相同值的单个观察值替换训练数据中的重复观察值。单个观测值的权重等于相应删除的重复数据的权重之和权重)．

提示

如果您的数据集包含许多重复的观察结果，那么指定“RemoveDuplicates”,真的可以大大缩短收敛时间。

数据类型:逻辑

冗长级别，指定为逗号分隔的对，由“详细”而且0，1,或2．的价值详细的控制软件在命令窗口中显示的优化信息的数量，并将信息作为结构保存到Mdl.ConvergenceInfo.History．

此表总结了可用的冗长级别选项。

价值 描述
0 软件不显示和保存收敛信息。
1 软件显示诊断信息，并保存每天的收敛条件numprint迭代,numprint名称-值对参数的值“NumPrint”．
2 软件在每次迭代时显示诊断信息并保存收敛条件。

例子:“详细”,1

数据类型:双|单

其他回归选择

全部折叠

类别预测器列表，指定为此表中的值之一。

价值 描述
正整数向量

向量中的每个条目都是一个索引值，对应于包含类别变量的预测器数据的列。索引值在1和之间p,在那里p用于训练模型的预测器的数量。

如果fitrsvm使用输入变量的子集作为预测器，然后函数只使用该子集对预测器进行索引。的“CategoricalPredictors”值不计算响应变量、观察权重变量和函数没有使用的任何其他变量。
逻辑向量

一个真正的条目意味着预测器数据的对应列是一个分类变量。向量的长度是p．
字符矩阵 矩阵的每一行都是一个预测变量的名称。中的条目名称必须匹配PredictorNames．用额外的空格填充名字，这样字符矩阵的每一行都有相同的长度。
字符向量的字符串数组或单元格数组 数组中的每个元素都是一个预测变量的名称。中的条目名称必须匹配PredictorNames．
“所有” 所有的预测都是绝对的。

默认情况下，如果预测器数据在表中(资源描述)，fitrsvm如果变量是逻辑向量、分类向量、字符数组、字符串数组或字符向量的单元格数组，则假定该变量是分类的。如果预测器数据是一个矩阵(X)，fitrsvm假设所有的预测器都是连续的。要将任何其他预测器标识为类别预测器，请使用“CategoricalPredictors”名称-值参数。

对于已识别的类别预测因子，fitrsvm使用两种不同的方案创建虚拟变量，具体取决于类别变量是无序的还是有序的。对于无序类别变量，fitrsvm为分类变量的每一级创建一个虚拟变量。对于有序分类变量，fitrsvm创建的虚拟变量比类别的数量少一个。详情请参见虚拟变量的自动创建．

例子:“CategoricalPredictors”、“所有”

数据类型:单|双|逻辑|字符|字符串|细胞

预测器变量名，指定为惟一名称的字符串数组或惟一字符向量的单元格数组。的功能PredictorNames这取决于你提供训练数据的方式。

  • 如果你提供X而且Y，然后你可以使用PredictorNames中的预测变量指定名称X．

    • 名字的顺序PredictorNames的列顺序必须对应X．也就是说,PredictorNames {1}是X (: 1)，PredictorNames {2}是X (:, 2)，等等。同时,大小(X, 2)而且元素个数(PredictorNames)必须是平等的。

    • 默认情况下,PredictorNames是{x1, x2,…}．

  • 如果你提供资源描述，然后你可以使用PredictorNames选择在训练中使用的预测变量。也就是说,fitrsvm中的预测变量PredictorNames训练过程中的响应变量。

    • PredictorNames的子集Tbl.Properties.VariableNames和不能包含响应变量的名称。

    • 默认情况下,PredictorNames包含所有预测变量的名称。

    • 一个好的实践是使用任意一种方法指定训练的预测器“PredictorNames”或公式，但不是两者都有。

例子:PredictorNames,{‘SepalLength’,‘SepalWidth’,‘PetalLength’,‘PetalWidth}

数据类型:字符串|细胞

响应变量名，指定为字符向量或字符串标量。

  • 如果你提供Y，然后你可以使用“ResponseName”为响应变量指定名称。

  • 如果你提供ResponseVarName或公式，那么你就不能使用“ResponseName”．

例子:“ResponseName”、“响应”

数据类型:字符|字符串

响应转换，指定为两者之一“没有”或者一个函数句柄。默认为“没有”，这意味着@ (y) y，或者不进行变换。对于MATLAB函数或您定义的函数，使用它的函数句柄进行响应变换。函数句柄必须接受一个向量(原始响应值)并返回一个相同大小的向量(转换后的响应值)。

例子:假设您创建了一个函数句柄，它将指数变换应用于输入向量Myfunction = @(y)exp(y)．然后，您可以将响应转换指定为myfunction ResponseTransform,．

数据类型:字符|字符串|function_handle

观察权值，用逗号分隔的对表示“重量”和一个数值的向量。的大小权重必须等于中的行数X．fitrsvm的值规范化权重加起来等于1

数据类型:单|双

交叉验证选择

全部折叠

交叉验证标志，指定为逗号分隔的对，由“CrossVal”,要么“上”或“关闭”．

如果你指定“上”，然后该软件实现10次交叉验证。

要覆盖此交叉验证设置，请使用以下名称-值对参数之一:CVPartition，坚持，KFold,或Leaveout．要创建交叉验证模型，一次只能使用一个交叉验证名称-值对参数。

或者，您可以稍后使用crossval方法。

例子:“CrossVal”,“上”

交叉验证分区，指定为cvpartition创建的分区对象cvpartition．分区对象指定交叉验证的类型以及训练集和验证集的索引。

要创建交叉验证的模型，您只能指定以下四个名称-值参数中的一个:CVPartition，坚持，KFold,或Leaveout．

例子:假设您创建一个随机分区，对500个观察结果进行5次交叉验证cvp = cvpartition(500，'KFold'，5)．然后，您可以使用指定交叉验证的模型“CVPartition”,本量利．

用于抵制验证的数据的一部分，指定为范围(0,1)中的标量值。如果你指定‘坚持’,p，然后软件完成以下步骤:

  1. 随机选择和保留p * 100%的数据作为验证数据，并使用其余的数据训练模型。

  2. 存储紧凑的，训练过的模型训练有素的属性的交叉验证模型。

要创建交叉验证的模型，您只能指定以下四个名称-值参数中的一个:CVPartition，坚持，KFold,或Leaveout．

例子:“坚持”,0.1

数据类型:双|单

交叉验证模型中使用的折叠数，指定为大于1的正整数。如果你指定KFold, k，然后软件完成以下步骤:

  1. 将数据随机划分为k集。

  2. 对于每个集合，保留该集合作为验证数据，并使用另一个集合训练模型k- 1集。

  3. 存储k紧凑，训练有素的模型k中的-by-1单元格向量训练有素的属性的交叉验证模型。

要创建交叉验证的模型，您只能指定以下四个名称-值参数中的一个:CVPartition，坚持，KFold,或Leaveout．

例子:“KFold”,5

数据类型:单|双

保留一个交叉验证标志，指定为“上”或“关闭”．如果你指定“Leaveout”,“上”，那么对于每一个n观察(n是否指定了观察数(不包括遗漏的观察数)NumObservations属性)，软件完成以下步骤:

  1. 保留一个观察结果作为验证数据，并使用另一个来训练模型n- 1次观察。

  2. 存储n紧凑，训练有素的模型n中的-by-1单元格向量训练有素的属性的交叉验证模型。

要创建交叉验证的模型，您只能指定以下四个名称-值参数中的一个:CVPartition，坚持，KFold,或Leaveout．

例子:“Leaveout”,“上”

收敛控制

全部折叠

由SMO或ISDA获得的上下违例者之间的梯度差公差，指定为逗号分隔的对，由“DeltaGradientTolerance”一个非负的标量。

例子:“DeltaGradientTolerance”,1的军医

数据类型:单|双

由SMO或ISDA获得的可行性间隙公差，指定为逗号分隔的对，由“GapTolerance”一个非负的标量。

如果GapTolerance是0,然后fitrsvm不使用此参数检查收敛性。

例子:“GapTolerance”,1的军医

数据类型:单|双

数值优化迭代的最大次数，指定为逗号分隔的对，由“IterationLimit”一个正整数。

无论优化例程是否成功收敛，软件都会返回一个经过训练的模型。Mdl。ConvergenceInfo包含收敛信息。

例子:“IterationLimit”,1 e8

数据类型:双|单

对Karush-Kuhn-Tucker (KKT)违例的容忍，指定为逗号分隔的对，由“KKTTolerance”和一个非负标量值。

此名称-值对仅适用于“规划求解”是SMO的或ISDA的．

如果KKTTolerance是0,然后fitrsvm不使用此参数检查收敛性。

例子:“KKTTolerance”,1的军医

数据类型:单|双

活动集的约简之间的迭代次数，指定为逗号分隔的对，由“ShrinkagePeriod”和一个非负整数。

如果你设置“ShrinkagePeriod”,0，则软件不收缩活动集。

例子:“ShrinkagePeriod”,1000年

数据类型:双|单

Hyperparameter优化

全部折叠

参数要优化，指定为逗号分隔的对，由“OptimizeHyperparameters”和以下其中之一:

  • “没有”-不要优化。

  • “汽车”——使用{‘BoxConstraint’,‘KernelScale’,‘ε’}．

  • “所有”—优化所有符合条件的参数。

  • 合格参数名称的字符串数组或单元格数组。

  • 向量的optimizableVariable的输出hyperparameters．

优化尝试最小化交叉验证的损失(错误)fitrsvm通过改变参数。要控制交叉验证类型和优化的其他方面，请使用HyperparameterOptimizationOptions名称-值对。

请注意

“OptimizeHyperparameters”值覆盖使用其他名称-值对参数设置的任何值。例如，设置“OptimizeHyperparameters”来“汽车”导致“汽车”要应用的值。

符合条件的参数fitrsvm是:

  • BoxConstraint- - - - - -fitrsvm在正数值之间搜索，默认情况下按对数缩放范围(1 e - 3, 1 e3)．

  • KernelScale- - - - - -fitrsvm在正数值之间搜索，默认情况下按对数缩放范围(1 e - 3, 1 e3)．

  • ε- - - - - -fitrsvm在正数值之间搜索，默认情况下按对数缩放范围(1 e - 3, 1 e2) *差(Y) / 1.349．

  • KernelFunction- - - - - -fitrsvm搜索中“高斯”，“线性”,多项式的．

  • PolynomialOrder- - - - - -fitrsvm在范围内的整数之间进行搜索(2、4)．

  • 标准化- - - - - -fitrsvm搜索中“真正的”而且“假”．

通过传递vector来设置非默认参数optimizableVariable具有非默认值的对象。例如,

负载carsmall参数=超参数(“fitrsvm”(功率、重量),MPG);参数(1)。Range = [1e-4,1e6];

通过参数个数的价值OptimizeHyperparameters．

默认情况下，迭代显示出现在命令行中，并根据优化中的超参数的数量显示图形。对于优化和绘图，目标函数为Log(1 +交叉验证损失)回归和分类的误分类率。要控制迭代显示，请设置详细的的字段“HyperparameterOptimizationOptions”名称-值对参数。要控制情节，设置ShowPlots的字段“HyperparameterOptimizationOptions”名称-值对参数。

示例请参见优化支持向量机回归．

例子:“OptimizeHyperparameters”、“汽车”

选项，指定为逗号分隔的对，由“HyperparameterOptimizationOptions”还有一个结构。的效果OptimizeHyperparameters名称-值对参数。结构中的所有字段都是可选的。

字段名 值 默认的
优化器

  • “bayesopt”-使用贝叶斯优化。在内部，这个设置调用bayesopt．

  • “gridsearch”-使用网格搜索NumGridDivisions每个维度的值。

  • “randomsearch”-在其中随机搜索MaxObjectiveEvaluations点。

“gridsearch”以随机顺序进行搜索，使用统一采样而不从网格中替换。优化后，可以使用该命令获得网格顺序的表sortrows (Mdl.HyperparameterOptimizationResults)．

 “bayesopt”
AcquisitionFunctionName

  • “expected-improvement-per-second-plus”

  • “expected-improvement”

  • “expected-improvement-plus”

  • “expected-improvement-per-second”

  • “lower-confidence-bound”

  • “probability-of-improvement”

获取函数，其名称包括每秒不会产生可重复的结果，因为优化依赖于目标函数的运行时间。获取函数，其名称包括+当他们过度开发某一区域时，修改他们的行为。有关更多细节，请参见采集功能类型．

 “expected-improvement-per-second-plus”
MaxObjectiveEvaluations 目标函数评价的最大次数。 30.为“bayesopt”或“randomsearch”，和整个网格“gridsearch”
MaxTime

时间限制，指定为正实数。时间限制以秒为单位，用抽搐而且toc．运行时间可能超过MaxTime因为MaxTime不会中断函数的计算。

 正
NumGridDivisions 为“gridsearch”，表示每个维度的值的个数。该值可以是一个给出每个维度值数量的正整数向量，也可以是一个适用于所有维度的标量。对于类别变量，该字段将被忽略。 10
ShowPlots 指示是否显示图形的逻辑值。如果真正的，该字段根据迭代次数绘制最佳目标函数值。如果有一个或两个优化参数，如果优化器是“bayesopt”,然后ShowPlots并根据参数绘制了目标函数模型。 真正的
SaveIntermediateResults 指示何时是否保存结果的逻辑值优化器是“bayesopt”．如果真正的，该字段将覆盖名为“BayesoptResults”在每次迭代中。变量是aBayesianOptimization对象。 假
详细的

显示到命令行。

  • 0-无迭代显示

  • 1-迭代显示

  • 2-迭代显示额外的信息

详细信息请参见bayesopt详细的名称-值对参数。

 1
UseParallel 指示是否并行运行贝叶斯优化的逻辑值，这需要并行计算工具箱™。由于并行时序的不可再现性，并行贝叶斯优化不一定产生可再现的结果。详情请参见并行贝叶斯优化． 假
重新分区

指示是否在每次迭代时重新划分交叉验证的逻辑值。如果假，优化器使用单个分区进行优化。

真正的通常会给出最健壮的结果，因为该设置考虑了分区噪声。然而，为了得到好的结果，真正的需要至少两倍的函数求值。

 假
使用以下三个字段名称中的一个。
CVPartition 一个cvpartition对象，如由cvpartition． “Kfold”,5如果不指定任何交叉验证字段
坚持 范围内的标量(0,1)表示抵制分数。
Kfold 大于1的整数。

例子:“HyperparameterOptimizationOptions”、结构(MaxObjectiveEvaluations, 60)

数据类型:结构体

输出参数

全部折叠

训练过的SVM回归模型，返回为RegressionSVM模型或RegressionPartitionedSVM旨在模型。

如果设置任何名称-值对参数KFold，坚持，Leaveout，CrossVal,或CVPartition,然后Mdl是一个RegressionPartitionedSVM旨在模型。否则,Mdl是一个RegressionSVM模型。

限制

fitrsvm金宝app支持低通中维数据集。对于高维数据集，使用fitrlinear代替。

提示

  • 除非您的数据集很大，否则总是尝试将预测器标准化(参见标准化)．标准化使得预测器对它们所测量的尺度不敏感。

  • 的交叉验证是一种很好的实践KFold名称-值对参数。交叉验证结果决定了支持向量机模型的推广效果。

  • 支持向量的稀疏性是支持向金宝app量机模型的一个理想属性。若要减少支持向量的数量，请设置金宝appBoxConstraint名称-值对参数设置为大值。这个动作也增加了训练时间。

  • 为最佳训练时间，设置CacheSize您的计算机上的内存限制所允许的最大值。

  • 如果您期望的支持向量比训练集中的观察值要少得多，那金宝app么您可以使用名称-值对参数缩小活动集，从而显著加快收敛速度“ShrinkagePeriod”．这是一个很好的练习“ShrinkagePeriod”,1000年．

  • 远离回归线的重复观测结果不会影响收敛。然而，只要在回归线附近出现一些重复的观察结果，就会大大减慢收敛速度。要加快收敛速度，请指定“RemoveDuplicates”,真的如果:

    • 你的数据集包含许多重复的观察结果。

    • 您怀疑一些重复的观察结果可能落在回归线附近。

    然而，为了在训练过程中保持原始数据集，fitrsvm必须临时存储不同的数据集:原始数据集和没有重复观测的数据集。因此，如果指定真正的对于包含少量副本的数据集，那么fitrsvm消耗的内存接近原始数据的两倍。

  • 在训练一个模型之后，您可以生成预测新数据响应的C/ c++代码。生成C/ c++代码需要MATLAB编码器™．详情请参见代码生成简介．

算法

  • 关于线性和非线性支持向量机回归问题的数学公式和求解算法，请参见理解支持向量机回归金宝app．

  • 南，<定义>，空字符向量(”，空字符串(＂＂),< >失踪值表示丢失的数据值。fitrsvm删除与丢失响应对应的整行数据。当归一化权值时，fitrsvm忽略与至少一个缺失预测因子的观察结果相对应的任何权重。因此，观察箱的约束可能不相等BoxConstraint．

  • fitrsvm删除权值为零的观察值。

  • 如果你设置“标准化”,真的而且“重量”,然后fitrsvm使用相应的加权平均数和加权标准差对预测因子进行标准化。也就是说,fitrsvm标准化预测j（xj)使用

    x j ∗ ＝ x j − μ j ∗ σ j ∗ ．

    • μ j ∗ ＝ 1 ∑ k w k ∑ k w k x j k ．

    • xjk是观察k(行)的预测器j(列)。

    • （ σ j ∗ ） 2 ＝ v 1 v 1 2 − v 2 ∑ k w k （ x j k − μ j ∗ ） 2 ．

    • v 1 ＝ ∑ j w j ．

    • v 2 ＝ ∑ j （ w j ） 2 ．

  • 如果你的预测数据包含分类变量，那么软件通常对这些变量使用全虚拟编码。该软件为每个类别变量的每一级创建一个虚拟变量。

    • 的PredictorNames属性为每个原始预测器变量名存储一个元素。例如，假设有三个预测器，其中一个是具有三个级别的类别变量。然后PredictorNames是包含预测器变量的原始名称的字符向量的1 × 3单元格数组。

    • 的ExpandedPredictorNames属性为每个预测器变量(包括虚拟变量)存储一个元素。例如，假设有三个预测器，其中一个是具有三个级别的类别变量。然后ExpandedPredictorNames是一个1 × 5的字符向量单元格数组，其中包含预测变量和新的虚拟变量的名称。

    • 类似地,β属性为每个预测器(包括虚拟变量)存储一个beta系数。

    • 的金宝appSupportVectors属性存储支持向量(包括虚拟变量)的预测器值。金宝app例如，假设有米金宝app支持向量和三个预测因子，其中一个是三级分类变量。然后金宝appSupportVectors是一个米5矩阵。

    • 的X属性将训练数据存储为原始输入。它不包括哑变量。当输入是一个表时，X只包含用作预测器的列。

  • 对于表中指定的预测器，如果任何变量包含有序(序数)类别，则软件对这些变量使用序数编码。

    • 对于一个变量k软件会创建有序的关卡k- 1虚拟变量。的j虚变量为－1适用于以下级别j,＋1的水平j+ 1通过k．

    • 对象中存储的虚拟变量的名称ExpandedPredictorNames属性用值指示第一个级别＋1．软件商店k- 1虚拟变量的其他预测器名称，包括级别2、3、…k．

  • 所有求解器实现l1 .软边际最小化。

  • 让p是训练数据中你期望的异常值的比例。如果你设置OutlierFraction, p，然后软件实现强劲的学习．换句话说，该软件试图删除100个p优化算法收敛时观测值的%。被删除的观测值对应于量级较大的梯度。

参考文献

[1] D.克拉克，Z.施雷特，A.亚当斯。“反向传播和反向传播的定量比较”，提交给1996年澳大利亚神经网络会议。

[2]风扇，r.e。,林志信。和c.j。林。用二阶信息选择工作集来训练支持向量机。金宝app机器学习研究杂志， 2005年第6卷，1889-1918页。

凯克曼V.， t。黄和M.沃格特。从巨大数据集训练核机器的迭代单数据算法:理论和性能。在金宝app支持向量机:理论与应用．王立波主编，255-274。柏林:Springer-Verlag, 2005。

利希曼，M。UCI机器学习库[http://archive.ics.uci.edu/ml]。加州尔湾:加州大学信息与计算机科学学院。

纳什，w.j.， T. L.塞勒斯，S. R.塔尔博特，A. J.考索恩，W. B.福特。鲍鱼种群生物学(石决明物种)在塔斯马尼亚。一、黑唇鲍鱼(h . rubra)从北海岸和巴斯海峡的岛屿。”海洋渔业司，技术报告第48号，1994年。

哇，S。级联相关的扩展和基准测试:前馈监督人工神经网络的级联相关体系结构和基准测试的扩展。塔斯马尼亚大学计算机科学系论文, 1995年。

扩展功能

另请参阅

|||

主题

在R2015b中引入

统计和机器学习工具箱文档

金宝app

掌握机器学习:MATLAB的一步一步指南

掌握机器学习:MATLAB的一步一步指南

下载电子书