用二元线性分类器拟合高维数据
fitclinear
为了减少包含许多预测变量的高维数据集上的计算时间,可以使用 通过使用纠错输出代码组合支持向量机或逻辑回归二元分类器来训练用于多类学习的线性分类模型,请参见fitcecoc
使用表中的预测变量返回线性分类模型Mdl
= fitclinear (资源描述
ResponseVarName
使用表中的示例数据返回线性分类模型Mdl
= fitclinear (资源描述
公式
使用表中的预测变量返回线性分类模型Mdl
= fitclinear (资源描述
Y
除以前语法中的任何输入参数组合外,还使用一个或多个名称-值对参数指定选项。例如,您可以指定预测器矩阵的列对应于观察值、实现逻辑回归或指定交叉验证。方法进行交叉验证是一种良好的实践Mdl
= fitclinear (X
Y
名称,值
[
还使用任何前面的语法返回优化细节。你不能要求Mdl
FitInfo
[
参数时,还返回超参数优化细节Mdl
FitInfo
HyperparameterOptimizationResults
OptimizeHyperparameters
使用支持向量机、双SGD和山脊正则化训练二元线性分类模型。金宝app 加载NLP数据集。 识别与“统计和机器学习工具箱”文档网页对应的标签。 训练一个二进制线性分类模型,可以识别文档网页中的字数是否来自统计和机器学习工具箱™文档。使用整个数据集训练模型。通过提取拟合摘要来确定优化算法对模型与数据的拟合程度。负载
X
Ystats = Y ==
rng (1);
Mdl = ClassificationLinear ResponseName: 'Y' ClassNames: [0 1] ScoreTransform: 'none' Beta: [34023x1 double]偏差:-1.0059 Lambda: 3.1674e-05学习者:'svm'属性,方法
FitInfo =
Mdl
FitInfo
为了确定使用逻辑回归学习器的线性分类模型的良好套索惩罚强度,实现5倍交叉验证。 加载NLP数据集。 这些模型应该识别网页中的字数是否来自统计和机器学习工具箱™文档。因此,确定与统计和机器学习工具箱™文档网页对应的标签。 创建一组11个对数间隔的正则化强度 交叉验证模型。要提高执行速度,可以调换预测器数据,并指定观察值为列。用SpaRSA估计系数。将目标函数的梯度公差降低到 显示第一个训练好的线性分类模型。 估计交叉验证的分类误差。 因为有11个正则化优势, 较高的值 在同一图中,绘制交叉验证,分类错误率和每个正则化强度的非零系数的频率。在对数尺度上画出所有变量。 选择正则化强度的指标,以平衡预测变量稀疏性和低分类错误。在本例中,为之间的值 从负载
X
Ystats = Y ==
Lambda = logspace(-6,-0.5,11);
X = X';rng (10);
CVMdl = ClassificationPartitionedLinear CrossValidatedModel: 'Linear' ResponseName: 'Y' NumObservations: 31572 KFold: 5 Partition: [1x1 cvpartition] ClassNames: [0 1] ScoreTransform: 'none'属性,方法
numCLModels = nummel (CVMdl.Trained)
numCLModels = 5
CVMdl
Mdl1 = CVMdl。训练有素的{1}
Mdl1 = ClassificationLinear ResponseName: 'Y' ClassNames: [0 1] ScoreTransform: 'logit' Beta: [34023x11 double]偏差:[-13.3808 -13.3808 -13.3808 -13.3808 -13.3808 -13.3808…[Lambda: [1.0000e-06 3.5481e-06 1.2589e-05 4.4668e-05…]学习者:“逻辑”属性,方法
Mdl1
ce = kfoldLoss(CVMdl);
Mdl = fitclinear(X,Ystats,
图;[h,hL1,hL2] = plotyy(log10(Lambda),log10(ce),
idxFinal = 7;
MdlFinal = selectModels(Mdl,idxFinal);
MdlFinal
这个例子展示了如何最小化线性分类器中的交叉验证错误 加载NLP数据集。 这些模型应该识别网页中的字数是否来自统计和机器学习工具箱™文档。识别相关标签。 类优化分类 为了重现性,设置随机种子并使用负载
X
X = X';Ystats = Y ==
rng
|=====================================================================================================| | Iter | Eval客观客观| | | BestSoFar | BestSoFar |λ|学生| | |结果| |运行时| | (estim(观察) .) | | | |=====================================================================================================| | 最好1 | | 0.041619 | 6.6709 | 0.041619 | 0.041619 | 0.077903 |物流| | 2 |最好| 0.00079184 | 6.4184 | 0.00079184 | 0.0029367 | 2.1405 e-09 |物流| | 3 |接受| 0.049221 | 8.7669 | 0.00079184 | 0.00082068 | 0.72101 |支持向量机| | 4 |接受| 0.00079184 | 5.775 | 0.00079184 | 0.000815 | 3.4734 e-07 |支持向量机| | 5 |接受| 0.00079184 | 5.7506 | 0.00079184 | 0.00079162 | 6.3377 e-08 |支持向量机| | 6 |的| 0.00072849 | 6.123 | 0.00072849 | 0.00072833 | 3.1802平台以及物流| | | | 7日接受| 0.00088686 | 9.7504 | 0.00072849 | 0.00072669 | 3.1843平台以及|支持向量机| | 8 |接受| 0.00085519 | 6.7312 | 0.00072849 | 0.00072431 | 2.6328 e-09 |支持向量机| | 9|一个ccept|0.00079184 | 8.1651 | 0.00072849 | 0.00074339 | 1.3065e-07 | logistic | | 10 | Best | 0.00069682 | 6.1395 | 0.00069682 | 0.00066299 | 2.5158e-08 | logistic | | 11 | Accept | 0.00079184 | 5.7969 | 0.00069682 | 0.00071402 | 3.7515e-08 | logistic | | 12 | Accept | 0.00079184 | 6.3738 | 0.00069682 | 0.00071478 | 1.3131e-07 | svm | | 13 | Accept | 0.00072849 | 5.6554 | 0.00069682 | 0.00071584 | 3.1674e-10 | logistic | | 14 | Accept | 0.00076017 | 5.9448 | 0.00069682 | 0.00072942 | 4.4568e-08 | logistic | | 15 | Accept | 0.00072849 | 6.6745 | 0.00069682 | 0.00073013 | 7.5535e-10 | logistic | | 16 | Accept | 0.00076017 | 5.4024 | 0.00069682 | 0.00073075 | 3.1954e-10 | logistic | | 17 | Accept | 0.00076017 | 7.1567 | 0.00069682 | 0.00072977 | 9.1758e-09 | logistic | | 18 | Accept | 0.00072849 | 6.1015 | 0.00069682 | 0.00072983 | 4.4686e-08 | logistic | | 19 | Accept | 0.00072849 | 5.8012 | 0.00069682 | 0.00073039 | 8.0196e-10 | logistic | | 20 | Accept | 0.00076017 | 5.2825 | 0.00069682 | 0.00073013 | 1.7193e-08 | svm | |=====================================================================================================| | Iter | Eval | Objective | Objective | BestSoFar | BestSoFar | Lambda | Learner | | | result | | runtime | (observed) | (estim.) | | | |=====================================================================================================| | 21 | Accept | 0.00079184 | 5.8074 | 0.00069682 | 0.0007305 | 1.1233e-07 | svm | | 22 | Accept | 0.00072849 | 5.3167 | 0.00069682 | 0.00073081 | 3.1702e-10 | logistic | | 23 | Accept | 0.049221 | 1.1026 | 0.00069682 | 0.00072533 | 3.1561 | logistic | | 24 | Accept | 0.001457 | 5.8324 | 0.00069682 | 0.0007355 | 0.001078 | svm | | 25 | Accept | 0.00085519 | 4.8939 | 0.00069682 | 0.00073567 | 5.9511e-05 | svm | | 26 | Accept | 0.00088686 | 4.2562 | 0.00069682 | 0.00073562 | 0.00026832 | svm | | 27 | Accept | 0.00082351 | 8.0542 | 0.00069682 | 0.0007355 | 4.1959e-06 | svm | | 28 | Accept | 0.0010136 | 25.768 | 0.00069682 | 0.00073533 | 1.8071e-06 | logistic | | 29 | Accept | 0.00085519 | 18.785 | 0.00069682 | 0.00073529 | 5.2279e-07 | logistic | | 30 | Accept | 0.00076017 | 7.183 | 0.00069682 | 0.00073523 | 1.1406e-06 | svm |
__________________________________________________________ 优化完成。最大目标达到30个。总函数评估:30总运行时间:250.1851秒总目标函数评估时间:217.4809最佳观测可行点:Lambda Learner __________ ________ 2.5158e-08 logistic观测目标函数值= 0.00069682估计目标函数值= 0.00073751函数评估时间= 6.1395最佳估计可行点(根据模型):Lambda Learner __________ ________ 3.1954e-10 logistic估计目标函数值= 0.00073523估计函数评估时间= 5.6392
Mdl = ClassificationLinear ResponseName: 'Y' ClassNames: [0 1] ScoreTransform: 'logit' Beta: [34023x1 double]偏差:-9.8074 Lambda: 3.1954e-10学习者:'logistic'属性,方法
X- - - - - -预测数据
完整的矩阵|稀疏矩阵
预测器数据,指定为 的长度 请注意 如果你定位你的预测矩阵,使观察结果与列相对应,并指定 数据类型:单
Y- - - - - -类标签
分类数组|字符数组|字符串数组|逻辑向量|数值向量|字符向量的单元格数组
分类模型训练到的类标签,指定为类别、字符或字符串数组、逻辑或数字向量或字符向量的单元格数组。 的长度 如果 类指定类顺序是一个很好的实践 数据类型:
fitclinear
“类名”
fitcecoc
X
资源描述
字符
资源描述- - - - - -样本数据
表格
用于训练模型的示例数据,指定为表。每行 可选地, 响应变量必须是类别、字符或字符串数组、逻辑或数字向量或字符向量的单元格数组。 类在响应变量中指定类的顺序是一种良好的实践 权重的列必须是数字向量。 中必须指定响应变量 通过使用指定响应变量 使用定义模型规范 如果 数据类型:
fitclinear
一会
fitcecoc
ResponseVarName
公式
权重
PredictorNames
Y
表格
ResponseVarName- - - - - -响应变量名
变量名资源描述
响应变量名,指定为中的变量名 您必须指定 响应变量必须是类别、字符或字符串数组;向量:逻辑或数字向量;或者是字符向量的单元格数组。如果 类指定类的顺序是一个很好的实践 数据类型:资源描述
一会
字符
公式- - - - - -响应变量的解释模型和预测变量的子集
特征向量|字符串标量
响应变量和预测变量子集的解释模型,在表单中指定为字符向量或字符串标量 中指定变量的子集 公式中的变量名必须同时为 数据类型:资源描述
isvarname
matlab.lang.makeValidName
字符
请注意
软件处理 响应变量中缺少值(例如, 在预测器观察中至少有一个缺失值(例如,行 为了节省内存使用,最好的做法是在训练之前手动从训练数据中删除包含缺失值的观察值。
{2}
南
的可选逗号分隔对“ObservationsIn”、“列”、“学习者”,“物流”、“CrossVal”,“上”
请注意
方法时,不能使用任何交叉验证名称-值参数
λ- - - - - -正则化项强度
“汽车”
(默认)|负的标量|非负值的向量
正则化术语的强度,指定为由逗号分隔的对组成 为 如果指定了交叉验证、名值对参数(例如, 否则, 对于一个非负值的向量, 如果 如果 例子: 数据类型:
CrossVal
解算器
正则化
fitclinear
“λ”,10 ^ (- (10:2:2))
字符
学习者- - - - - -线性分类模型类型
“支持向量机”
(默认)|“物流”
线性分类模型类型,指定为由逗号分隔的对组成 在这个表格中, β x b 例子:
价值 算法 响应范围 损失函数
“支持向量机”
金宝app支持向量机 y 铰链:
“物流”
逻辑回归 一样
异常(物流):
“学习者”,“物流”
ObservationsIn- - - - - -预测器数据观测维数
“行”
(默认)|“列”
预测器数据观测维数,指定为 请注意 如果你定位你的预测矩阵,使观察结果与列相对应,并指定 例子: 数据类型:“ObservationsIn”、“列”
字符
正则化- - - - - -复杂性惩罚类型
“套索”
|“岭”
复杂度惩罚类型,指定为由逗号分隔的对组成 该软件从平均损失函数的和组成最小化的目标函数(见 要指定正则化项的强度,即 该软件排除偏差项( 如果 提示 对于预测变量选择,请指定 为了优化精度,请指定 例子:学习者
价值 描述
“套索”
套索(L1)惩罚:
“岭”
脊(L2)惩罚:
λ
解算器
“正规化”、“套索”
解算器- - - - - -目标函数最小化技术
“sgd”
|“asgd”
|“双重”
|“蓄热”|“lbfgs”|“sparsa”|字符串数组|字符向量的单元格数组
目标函数最小化技术,指定为逗号分隔对组成 如果你指定: 山脊惩罚(见 支持向量机模型(见 套索罚 否则,默认解算器为 如果指定求解器名称的字符串数组或单元格数组,则 例子: 提示 SGD和ASGD能比其他求解器更快地求解目标函数,而LBFGS和SpaRSA能比其他求解器得到更精确的解。金宝搏官方网站求解器组合,比如 在SGD和ASGD之间进行选择时,请考虑: SGD每次迭代花费更少的时间,但需要更多的迭代来收敛。 ASGD需要更少的迭代来收敛,但是每次迭代需要更多的时间。 如果预测数据是高维的 虽然您可以设置其他组合,但它们通常会导致精度较差的解决方案。金宝搏官方网站 如果预测数据是中等到低维的 如果 例子:
价值 描述 限制
“sgd”
随机梯度下降(SGD)
“asgd”
平均随机梯度下降(ASGD)
“双重”
支持向量机的双SGD
正则化
必须学习者
“蓄热”
Broyden-Fletcher-Goldfarb-Shanno准牛顿算法(BFGS)
效率低下,如果 X
“lbfgs”
有限内存BFGS (LBFGS)
正则化
“sparsa”
基于可分离近似的稀疏重建
正则化
λ
{“sgd”“lbfgs”}
“sgd”
“asgd”
“双重”
“lbfgs”
{“sgd”、“lbfgs”}
{“asgd”、“lbfgs”}
{“双”、“lbfgs”}
“sgd”
“asgd”
“sparsa”
{“sgd”、“sparsa”}
{“asgd”、“sparsa”}
“规划求解”,{‘sgd’,‘lbfgs}
β- - - - - -初始线性系数估计
0 (p,1)
(默认)|数值向量|数字矩阵
初始线性系数估计值( 如果您指定 软件优化使用 该软件再次优化使用结果估计从以前的优化作为一个 软件执行第2步,直到耗尽所有的值 如果您指定 如果你设置 数据类型:X
λ
j
j
j
单
偏见- - - - - -初始截距估计
数字标量|数值向量
初步截距估计( 如果您指定一个标量,那么软件将优化目标函数 软件优化使用 使用结果估计作为下一个优化迭代的温暖开始,并在中使用下一个最小值 软件执行第2步,直到耗尽所有的值 如果您指定 默认情况下: 如果 如果 数据类型:λ
j
j
j
学习者
j
单
FitBias- - - - - -线性模型截距包含标志
真正的
(默认)|假
线性模型截距包含标志,指定为由逗号分隔的对组成 例子: 数据类型:
价值 描述
真正的
该软件包括偏差项
假
软件集 “FitBias”,假的
逻辑
PostFitBias- - - - - -标志拟合优化后的线性模型截距
假
(默认)|真正的
标志来拟合优化后的线性模型截距,指定为由逗号分隔的对组成 估计 估计 估计分类分数 不菲 如果你指定 例子: 数据类型:
价值 描述
假
软件估计偏差项
真正的
FitBias
“PostFitBias”,真的
逻辑
详细的- - - - - -冗长的水平
0
(默认)|非负整数
详细级别,指定为逗号分隔的对,由 例子: 数据类型:
价值 描述
0
fitclinear
1
fitclinear
任意正整数 fitclinear
“详细”,1
双
BatchSize- - - - - -Mini-batch大小
正整数
小批量大小,指定为由逗号分隔的对组成 如果 如果 例子: 数据类型:
X
“BatchSize”,100年
单
LearnRate- - - - - -学习速率
积极的标量
学习率,指定为由逗号分隔的对组成 如果
λ 如果 如果 如果 默认情况下, 例子: 数据类型:
正则化
λ
解算器
“LearnRate”,0.01
单
OptimizeLearnRate- - - - - -标志降低学习率
真正的
(默认)|假
标志,以在软件检测到发散(即超过最小值)时降低学习率,指定为逗号分隔的对,由 如果 对于很少的优化迭代,软件开始优化使用 如果目标函数值增加,则软件重新启动并使用当前学习率值的一半。 软件迭代第2步,直到目标函数减小。 例子: 数据类型:
LearnRate
“OptimizeLearnRate”,真的
逻辑
TruncationPeriod- - - - - -套索截断运行之间的小批数量
10
(默认)|正整数
套索截断运行之间的小批数,指定为逗号分隔的对,由 截断运行后,软件应用软阈值的线性系数。即加工后
SGD, ASGD, 如果 例子: 数据类型:
λ
正则化
“TruncationPeriod”,100年
单
CategoricalPredictors- - - - - -分类预测器列表
正整数向量|逻辑向量|字符矩阵|字符串数组|字符向量的单元格数组|“所有”
类别预测符列表,指定为此表中的值之一。描述假设预测器数据在行中有观测值,在列中有预测器。 向量中的每个条目都是一个指标值,表明相应的预测器是分类的。索引值在1和之间 如果 一个 默认情况下,如果预测器数据在表( 对于已识别的分类预测因子, 例子: 数据类型:
价值 描述
正整数向量
逻辑向量
字符矩阵 矩阵的每一行都是一个预测变量的名称。名称必须与中的条目匹配 PredictorNames
字符向量的字符串数组或单元格数组 数组中的每个元素都是一个预测变量的名称。名称必须与中的条目匹配
“所有”
所有预测因素都是绝对的。 资源描述
X
“CategoricalPredictors”、“所有”
单
一会- - - - - -用于培训的类名
分类数组|字符数组|字符串数组|逻辑向量|数值向量|字符向量的单元格数组
用于训练的类名,指定为类别、字符或字符串数组;向量:逻辑或数字向量;或者是字符向量的单元格数组。 如果 使用 在培训期间指定课程的顺序。 指定与类顺序对应的任何输入或输出参数维度的顺序。例如,使用 选择用于培训的类的子集。例如,假设集合中所有不同的类名 的默认值 例子: 数据类型:资源描述
Y
成本
“类名”,(“b”,“g”)
分类
成本- - - - - -误分类代价
方阵|结构数组
错误分类代价,指定为逗号分隔的对,由 如果你指定了方阵 如果你指定了结构 的默认值 例子: 数据类型:
一会
S.ClassNames
Y
S.ClassificationCosts
K
K
K
fitclinear
之前
“成本”,[0 2;1 0]
单
PredictorNames- - - - - -预测变量名称
唯一名称的字符串数组|唯一字符向量的单元格数组
预测器变量名,指定为唯一名称的字符串数组或唯一字符向量的单元格数组。的功能 如果你提供 里面名字的顺序 默认情况下, 如果你提供 默认情况下, 一个好的实践是使用其中一种来指定训练的预测器 例子: 数据类型:
X
Y
资源描述
PredictorNames
公式
PredictorNames,{‘SepalLength’,‘SepalWidth’,‘PetalLength’,‘PetalWidth}
字符串
之前- - - - - -先验概率
“经验”
(默认)|“统一”
|数值向量|结构数组
每个类的先验概率,由逗号分隔的对组成 下表总结了设置先验概率的可用选项。 一个结构 例子: 数据类型:
价值 描述
“经验”
类先验概率是类的相对频率 Y
“统一”
所有类先验概率都等于1/ K
K
数值向量 每个元素都是一个类先验概率。根据元素的顺序排列 “类名”
结构数组
S.ClassNames
S.ClassProbs
fitclinear
“之前”,结构(“类名”,{{“setosa”、“癣”}},ClassProbs, 1:2)
字符
ResponseName- - - - - -响应变量名
“Y”
(默认)|特征向量|字符串标量
响应变量名,指定为字符向量或字符串标量。 如果你提供 如果你提供 例子: 数据类型:
Y
ResponseVarName
公式
“ResponseName”、“反应”
字符
ScoreTransform- - - - - -分数转换
“没有”
(默认)|“doublelogit”
|“invlogit”
|“ismax”|“分对数”|函数处理|……
分数转换,指定为字符向量、字符串标量或函数句柄。 该表总结了可用的字符向量和字符串标量。 对于MATLAB函数或您定义的函数,使用其函数句柄进行分数转换。函数句柄必须接受一个矩阵(原始分数)并返回一个相同大小的矩阵(转换后的分数)。 例子: 数据类型:
价值 描述
“doublelogit”
1 / (1 +
“invlogit”
日志(
“ismax”
将得分最大的类的得分设置为1,并将所有其他类的得分设置为0
“分对数”
1 / (1 +
“没有”
x
“标志”
1
“对称”
2
“symmetricismax”
将得分最大的类的得分设置为1,并将所有其他类的得分设置为-1
“symmetriclogit”
2 / (1 + “ScoreTransform”、“分对数”
字符
权重- - - - - -观察权重
非负数值向量|变量名资源描述
中指定为非负数值向量或变量名的观测权重 如果将输入数据指定为表 默认情况下, 软件规范化 数据类型:资源描述
X
单
CrossVal- - - - - -交叉验证标志
“关闭”
(默认)|“上”
交叉验证标志,指定为逗号分隔的对,由 如果你指定 若要重写此交叉验证设置,请使用以下名称-值对参数之一: 例子:CVPartition
坚持
KFold
“Crossval”,“上”
坚持- - - - - -顽固性验证的数据比例
范围(0,1)中的标量值
用于拒绝验证的数据的百分比,指定为逗号分隔的对,由 随机储备 中存储紧凑的训练过的模型 要创建交叉验证的模型,您只能使用以下四个选项之一: 例子: 数据类型:p
,然后软件:
p
* 100CVPartition
'
坚持
'
KFold
'
“坚持”,0.1
双
KFold- - - - - -折叠数
10
(默认)|大于1的正整数值
交叉验证分类器中使用的折叠数,指定为逗号分隔的对,由 将数据随机划分为 对于每个集合,保留该集合作为验证数据,并使用另一个集合训练模型 存储 要创建交叉验证的模型,您只能使用以下四个选项之一: 例子: 数据类型:
k
k
CVPartition
'
坚持
'
KFold
'
“KFold”,8
单
BatchLimit- - - - - -最大批次数
正整数
要处理的最大批数,指定为逗号分隔的对,由 默认情况下: 软件通过这些数据 如果指定多个求解器,并使用(A)SGD来获得下一个求解器的初始近似值,则默认值为 如果你指定 如果你指定 例子: 数据类型:
PassLimit
BatchSize
'
PassLimit
'
“BatchLimit”,100年
单
BetaTolerance- - - - - -线性系数和偏置项的相对公差
1的军医
(默认)|负的标量
对线性系数和偏置项(截距)的相对公差,指定为逗号分隔的对,由 让 中指定的最后一个求解器,如果该软件收敛 例子: 数据类型:解算器
e-6 BetaTolerance, 1
单
NumCheckConvergence- - - - - -下一次收敛检查前要处理的批次数
正整数
在下一次收敛检查之前要处理的批数,指定为由逗号分隔的对组成 要指定批处理大小,请参见 默认情况下,每次通过整个数据集,软件都会检查大约10次收敛性。 例子: 数据类型:BatchSize
“NumCheckConvergence”,100年
单
PassLimit- - - - - -最大通过次数
1
(默认)|正整数
通过数据的最大次数,指定为逗号分隔的对,由 当 如果你指定 例子: 数据类型:fitclinear
BatchLimit
'
“PassLimit”,5
单
ValidationData- - - - - -优化收敛检测的验证数据
单元阵列|表格
用于优化收敛检测的验证数据,指定为由逗号分隔的对组成 在优化过程中,软件定期估计损失 你可以指定 如果你指定 您可以指定 如果你指定 中指定的最后一个求解器,如果该软件收敛 默认情况下,软件不会通过监测验证数据丢失来检测收敛性。CrossVal
资源描述
ValidationData {1}
X
ValidationData {2}
Y
ResponseVarName
公式
详细的
解算器
BetaTolerance- - - - - -线性系数和偏置项的相对公差
1的军医
(默认)|负的标量
对线性系数和偏置项(截距)的相对公差,指定为逗号分隔的对,由 让 如果你还指定 中指定的最后一个求解器,如果该软件收敛 例子: 数据类型:DeltaGradientTolerance
解算器
e-6 BetaTolerance, 1
单
DeltaGradientTolerance- - - - - -Gradient-difference宽容
1
(默认)|负的标量
上下池之间的梯度差公差 如果KKT违反者的量级小于 中指定的最后一个求解器,如果该软件收敛 例子: 数据类型:
解算器
依照“DeltaGapTolerance”,1
双
NumCheckConvergence- - - - - -在下一次收敛检查之前,通过整个数据集处理的次数
5
(默认)|正整数
在下一次收敛检查之前,通过整个数据集要处理的次数,指定为由逗号分隔的对组成的 例子: 数据类型:“NumCheckConvergence”,100年
单
PassLimit- - - - - -最大通过次数
10
(默认)|正整数
通过数据的最大次数,指定为逗号分隔的对,由 当软件完成对数据的一次处理时,它已经处理了所有的观察结果。 当软件通过数据时 例子: 数据类型:“PassLimit”,5
单
ValidationData- - - - - -优化收敛检测的验证数据
单元阵列|表格
用于优化收敛检测的验证数据,指定为由逗号分隔的对组成 在优化过程中,软件定期估计损失 你可以指定 如果你指定 您可以指定 如果你指定 中指定的最后一个求解器,如果该软件收敛 默认情况下,软件不会通过监测验证数据丢失来检测收敛性。CrossVal
资源描述
ValidationData {1}
X
ValidationData {2}
Y
ResponseVarName
公式
详细的
解算器
BetaTolerance- - - - - -线性系数和偏置项的相对公差
1的军医
(默认)|负的标量
对线性系数和偏置项(截距)的相对公差,指定为逗号分隔的对,由 让 如果你还指定 中指定的最后一个求解器,如果该软件收敛 例子: 数据类型:GradientTolerance
解算器
e-6 BetaTolerance, 1
单
GradientTolerance- - - - - -绝对梯度公差
1 e-6
(默认)|负的标量
绝对梯度公差,指定为由逗号分隔的对组成 让 如果你还指定 如果软件收敛于软件中指定的最后一个求解器,则优化终止。否则,软件将使用中指定的下一个求解器 例子: 数据类型:BetaTolerance
解算器
e-5 GradientTolerance, 1
单
HessianHistorySize- - - - - -黑森近似的历史缓冲区大小
15
(默认)|正整数
黑森近似的历史缓冲区大小,指定为逗号分隔的对,由 软件不支持金宝app 例子: 数据类型:“HessianHistorySize”,10
单
IterationLimit- - - - - -优化迭代的最大次数
1000
(默认)|正整数
优化迭代的最大次数,指定为由逗号分隔的对组成 例子: 数据类型:解算器
“IterationLimit”,500年
单
ValidationData- - - - - -优化收敛检测的验证数据
单元阵列|表格
用于优化收敛检测的验证数据,指定为由逗号分隔的对组成 在优化过程中,软件定期估计损失 你可以指定 如果你指定 您可以指定 如果你指定 中指定的最后一个求解器,如果该软件收敛 默认情况下,软件不会通过监测验证数据丢失来检测收敛性。CrossVal
资源描述
ValidationData {1}
X
ValidationData {2}
Y
ResponseVarName
公式
详细的
解算器
OptimizeHyperparameters- - - - - -需要优化的参数
“没有”
(默认)|“汽车”
|“所有”
|符合条件的参数名的字符串数组或单元格数组|向量的optimizableVariable对象
参数进行优化,指定为由逗号分隔的对组成 符合条件的参数名的字符串数组或单元格数组。 向量的 优化尝试最小化交叉验证损失(错误) 请注意 的价值 符合条件的参数 通过传递的向量来设置非默认参数 通过 默认情况下,迭代显示出现在命令行上,并根据优化中的超参数数量显示图形。对于优化和绘图,目标函数为误分类率。要控制迭代显示,请设置 有关示例,请参见 例子:
“没有”
“汽车”
“所有”
hyperparameters
HyperparameterOptimizationOptions
负载
“OptimizeHyperparameters”、“汽车”
HyperparameterOptimizationOptions- - - - - -优化选项
结构
用于优化的选项,指定为结构。的效果 名称包括的获取函数 时间限制,指定为正实标量。时间限制以秒为单位,由 在命令行显示: 详细信息请参见 指示是否在每次迭代中重新划分交叉验证的逻辑值。如果这个字段是 设置 例子: 数据类型:OptimizeHyperparameters
字段名 值 默认的
优化器
“bayesopt”
bayesopt
“gridsearch”
“randomsearch”
“gridsearch”
“bayesopt”
AcquisitionFunctionName
“expected-improvement-per-second-plus”
“expected-improvement”
“expected-improvement-plus”
“expected-improvement-per-second”
“lower-confidence-bound”
“probability-of-improvement”
“expected-improvement-per-second-plus”
MaxObjectiveEvaluations
目标函数求值的最大个数。 30.
MaxTime
抽搐
toc
正
NumGridDivisions
为 10
ShowPlots
指示是否显示图的逻辑值。如果 ObjectiveMinimumTrace
EstimatedObjectiveMinimumTrace
真正的
SaveIntermediateResults
时是否保存结果的逻辑值 BayesianOptimization
假
详细的
0
1
2
详细的
名称-值参数和示例1
UseParallel
指示是否并行运行贝叶斯优化的逻辑值,这需要并行计算工具箱™。由于并行计时的不可再现性,并行贝叶斯优化不一定产生可再现的结果。详细信息请参见 假
重新分区
假
使用以下三个选项中的一个即可。
CVPartition
一个
cvpartition
“Kfold”,5
坚持
范围内的标量
Kfold
大于1的整数 “HyperparameterOptimizationOptions”、结构(MaxObjectiveEvaluations, 60)
结构体
Mdl-训练好的线性分类模型ClassificationLinear模型对象|ClassificationPartitionedLinear交叉验证的模型对象
训练过的线性分类模型,返回为 如果您设置了任何名称-值对参数 引用 请注意 与其他分类模型不同,为了节省内存使用,KFold
坚持
CrossVal
CVPartition
FitInfo-优化细节结构数组
优化细节,作为结构数组返回。 字段指定最终值或名称-值对参数规范,例如, 该表描述了一些值得注意的字段。 优化终止原因 中的值 每个迭代的优化信息的结构数组。这个领域 要访问字段,使用点表示法。例如,要访问每个迭代的目标函数值的向量,请输入 检查是一种很好的做法λ
解算器
场 描述
TerminationStatus
FitTime
时间流逝,以秒为单位
历史
整数 解算器
1 SGD
2 ASGD
3. 支持向量机的双SGD
4 LBFGS
5 高炉煤气
6 SpaRSA
HyperparameterOptimizationResults-超参数交叉验证优化BayesianOptimization对象|表包含超参数和相关值
超参数的交叉验证优化,返回为BayesianOptimization
“OptimizeHyperparameters”
的价值 的价值
“bayesopt”
类的对象
BayesianOptimization
“gridsearch”
使用的超参数表,观察到的目标函数值(交叉验证损失),以及从最低(最好)到最高(最差)的观察值排序
一个
高维线性分类和回归模型相对快速地最小化目标函数,但代价是一定的准确性,只有数字预测变量的限制,并且模型必须是相对于参数的线性。如果您的预测器数据集是低维到中维,或包含异质变量,那么您应该使用适当的分类或回归拟合函数。为了帮助您决定哪个拟合函数适合您的低维数据集,请使用此表。 二进制分类: 多类分类: 回归: 计算预测变量的Gram矩阵,便于进行非线性核变换。 使用SMO, ISDA或 无正则化的最小二乘: 使用套索惩罚的正则化最小二乘: 岭回归: 无正则化逻辑回归: 使用套索惩罚的正则化逻辑回归:
适合的模型 函数 显著的算法差异
支持向量机
fitcsvm
fitcecoc
fitrsvm
quadprog
线性回归
fitlm
套索
脊
套索
套索
逻辑回归
fitglm
lassoglm
fitglm
lassoglm
最好的做法是确定预测矩阵的方向,使观察值与列相对应,并进行指定
如果你的预测数据只有很少的观测值,但有很多预测变量,那么: 指定 对于SGD或ASGD求解器,设置
PassLimit
对于SGD和ASGD求解器, 如果 如果BatchSize
高学习率(见LearnRate
当使用套索惩罚,试验不同的值TruncationPeriod
为了提高效率, 代码要求将预测器和观察值定向为的行和列X
X = bsxfun (@rdivide bsxfun (@minus X,意味着(X, 2)),性病(0,2));
在训练模型之后,您可以生成C/ c++代码来预测新数据的标签。生成C/ c++代码需要
如果你指定 当 当随后验证损失估计超过最小估计5倍时,ValidationData
fitclinear
如果你指定 一次 如果你实现 否则, 您可以确定交叉验证模型的质量。例如: 要使用步骤1中的保留数据或折叠外数据确定验证损失,请将交叉验证的模型传递给 为了预测第1步中对残留数据或折叠外数据的观察结果,将交叉验证的模型传递给CrossVal
CVPartition
坚持
KFold
fitclinear
X
Y
资源描述
fitclinear
[1]谢长杰,张桂文,林长杰,s.s. Keerthi, s.s Sundararajan。大规模线性支持向量机的双坐标下降方法。
[2] Langford, J., Li ., and T. Zhang。“通过截断梯度的稀疏在线学习。”
[3]诺西德尔,J.和S. J.赖特。
[4]沙利夫-施瓦兹,S. Y.辛格和N.斯雷布罗。Pegasos:支持向量机的原始估计次梯度求解器
[5]赖特,S. J. R. D.诺瓦克,M. A. T.菲格雷多。"可分离近似的稀疏重建"
小,林。正则化随机学习和在线优化的双平均方法
徐伟。“用平均随机梯度下降法实现最优一次大规模学习”
使用注意事项和限制: 与内存中的默认值相比,一些名称-值对参数具有不同的默认值 对于高数组, 当初始值为 有关更多信息,请参见
fitclinear
“ObservationsIn”
“λ”
“学习者”
“正规化”
“规划求解”
“FitBias”
“详细”
“β”
“偏见”
“类名”
“成本”
“之前”
“重量”
“HessianHistorySize”
“BetaTolerance”
“GradientTolerance”
“IterationLimit”
“OptimizeHyperparameters”
“HyperparameterOptimizationOptions”
要执行并行超参数优化,请使用 有关并行超参数优化的更多信息,请参见 有关并行计算的一般信息,请参见
fitcsvm
|fitckernel
|fitcecoc
|fitglm
|lassoglm
|testcholdout
|fitrlinear
|templateLinear
|预测
|kfoldPredict
|kfoldLoss
|ClassificationLinear
|ClassificationPartitionedLinear
你点击了一个对应于这个MATLAB命令的链接: 在MATLAB命令窗口中输入该命令来运行该命令。Web浏览器不支持MATLAB命令。金宝app
选择一个网站,在可用的地方获得翻译的内容,并查看当地的活动和优惠。根据您所在的位置,我们建议您选择:
您也可以从以下列表中选择一个网站: 选择中国站点(中文或英文)以获得最佳站点性能。其他MathWorks国家站点没有针对您所在位置的访问进行优化。如何获得最佳的网站性能
欧洲