templateLinear
线性分类学习器模板
描述
templateLinear创建适合将线性分类模型拟合到多类问题的高维数据的模板。
模板指定二元学习器模型、正则化类型和强度,以及求解器等。创建模板后,通过将模板和数据传递给fitcecoc.
例子
训练多类线性分类模型
训练一个由多个二元线性分类模型组成的ECOC模型。
加载NLP数据集。
负载nlpdata
X是一个稀疏矩阵的预测数据,和Y是类标签的分类向量。数据中有两个以上的类。
创建一个默认的线性分类模型模板。
t = templatlinear ();
若要调整默认值,请参见名称-值对参数在templateLinear页面。
训练一个由多个二进制线性分类模型组成的ECOC模型,该模型可以根据文档网页上单词的频率分布来识别产品。为了更快的训练时间,转置预测器数据,并指定观察值对应于列。
X = X';rng (1);%用于再现性Mdl = fitcecoc(X,Y,“学习者”t“ObservationsIn”,“列”)
Mdl = CompactClassificationECOC ResponseName: 'Y' ClassNames: [comm dsp ecoder fixedpoint…]BinaryLearners: {78x1 cell} CodingMatrix: [13x78 double]属性,方法
或者,您可以使用以下方法训练由默认线性分类模型组成的ECOC模型“学习者”,“线性”.
为了保存记忆,fitcecoc返回由线性分类学习器组成的训练ECOC模型CompactClassificationECOC模型对象。
输入参数
名称-值参数
指定可选参数对为Name1 = Value1,…,以=家,在那里的名字参数名称和价值对应的值。名称-值参数必须出现在其他参数之后,但对的顺序无关紧要。
在R2021a之前,使用逗号分隔每个名称和值,并将其括起来的名字在报价。
例子:“学习者”,“物流”、“正规化”,“套索”、“CrossVal”,“上”指定使用套索惩罚实现逻辑回归,并实现10倍交叉验证。
线性分类选项
λ- - - - - -正则化项强度
“汽车”
(默认)|负的标量|非负值的向量
正则化术语的强度,指定为由逗号分隔的对组成“λ”而且“汽车”,一个非负的标量,或者一个非负的值的向量。
为“汽车”,λ= 1 /n.
如果指定了交叉验证、名值对参数(例如,CrossVal),然后n是折叠观察数。
否则,n是训练样本量。
对于一个非负值的向量,templateLinear中每个不同值依次优化目标函数λ按升序排列。
如果解算器是“sgd”或“asgd”而且正则化是“套索”,templateLinear不使用以前的系数估计作为温暖的开始用于下一个优化迭代。否则,templateLinear使用热启动。
如果正则化是“套索”时,则任意系数估计值为0时,均保持其值templateLinear中的后续值进行优化λ.
templateLinear返回每个指定正则化强度的系数估计值。
例子:“λ”,10 ^ (- (10:2:2))
数据类型:字符|字符串|双|单
学习者- - - - - -线性分类模型类型
“支持向量机”
(默认)|“物流”
线性分类模型类型,指定为由逗号分隔的对组成“学习者”而且“支持向量机”或“物流”.
在这个表格中,
β的向量p系数。
x是来自p预测变量。
b是标量偏置。
价值
算法
响应范围
损失函数
“支持向量机”
金宝app支持向量机
y∊{1};正类为1,其他为-1
铰链:
“物流”
逻辑回归
一样“支持向量机”
异常(物流):
例子:“学习者”,“物流”
正则化- - - - - -复杂性惩罚类型
“套索”
|“岭”
复杂度惩罚类型,指定为由逗号分隔的对组成“正规化”而且“套索”或“岭”.
该软件从平均损失函数的和组成最小化的目标函数(见学习者)和该表中的正则化项。
价值
描述
“套索”
套索(L1)惩罚:
“岭”
脊(L2)惩罚:
要指定正则化项的强度,即λ在表达式中,使用λ.
该软件排除偏差项(β0)从正规化惩罚。
如果解算器是“sparsa”,则为默认值正则化是“套索”.否则,默认为“岭”.
提示
对于预测变量选择,请指定“套索”.有关变量选择的更多信息,请参见特征选择简介.
为了优化精度,请指定“岭”.
例子:“正规化”、“套索”
解算器- - - - - -目标函数最小化技术
“sgd”
|“asgd”
|“双重”
|“蓄热”|“lbfgs”|“sparsa”|字符串数组|字符向量的单元格数组
目标函数最小化技术,指定为逗号分隔对组成“规划求解”一个字符向量或字符串标量,一个字符串数组,或一个单元格数组的字符向量的值从这个表。
价值
描述
限制
“sgd”
随机梯度下降(SGD)[4][2]
“asgd”
平均随机梯度下降(ASGD)[7]
“双重”
支持向量机的双SGD[1][6]
正则化
必须“岭”而且学习者必须“支持向量机”.
“蓄热”
Broyden-Fletcher-Goldfarb-Shanno准牛顿算法(BFGS)[3]
效率低下,如果X是非常高维的。
“lbfgs”
有限内存BFGS (LBFGS)[3]
正则化必须“岭”.
“sparsa”
基于可分离近似的稀疏重建[5]
正则化必须“套索”.
如果你指定:
山脊惩罚(见正则化),且预测器数据集包含100个或更少的预测器变量,则默认解算器为“蓄热”.
支持向量机模型(见学习者),一个岭惩罚,且预测器数据集包含超过100个预测器变量,则默认求解器为“双重”.
套索惩罚和预测器数据集包含100个或更少的预测器变量,则默认求解器为“sparsa”.
否则,默认解算器为“sgd”.请注意,在执行超参数优化时,默认求解器可以更改。有关更多信息,请参见正则化方法决定了超参数优化中使用的线性学习求解器.
如果指定求解器名称的字符串数组或单元格数组,则λ,软件采用求解器的解金宝搏官方网站j作为求解的一个温暖的开始j+ 1。
例子:{“sgd”“lbfgs”}应用SGD求解目标,并将其作为LBFGS的热启动。
提示
SGD和ASGD能比其他求解器更快地求解目标函数,而LBFGS和SpaRSA能比其他求解器得到更精确的解。金宝搏官方网站求解器组合,比如{“sgd”“lbfgs”}而且{“sgd”“sparsa”}能够平衡优化速度和精度。
在SGD和ASGD之间进行选择时,请考虑:
SGD每次迭代花费更少的时间,但需要更多的迭代来收敛。
ASGD需要更少的迭代来收敛,但是每次迭代需要更多的时间。
如果预测数据是高维的正则化是“岭”,设置解算器对这些组合中的任何一个:
“sgd”
“asgd”
“双重”如果学习者是“支持向量机”
“lbfgs”
{“sgd”、“lbfgs”}
{“asgd”、“lbfgs”}
{“双”、“lbfgs”}如果学习者是“支持向量机”
虽然您可以设置其他组合,但它们通常会导致精度较差的解决方案。金宝搏官方网站
如果预测数据是中等到低维的正则化是“岭”,设置解算器来“蓄热”.
如果正则化是“套索”,设置解算器对这些组合中的任何一个:
“sgd”
“asgd”
“sparsa”
{“sgd”、“sparsa”}
{“asgd”、“sparsa”}
例子:“规划求解”,{‘sgd’,‘lbfgs}
β- - - - - -初始线性系数估计
0 (p,1)
(默认)|数值向量|数字矩阵
初始线性系数估计值(β),指定为逗号分隔的对,由“β”和一个p-维数字向量或ap——- - - - - -l数字矩阵。p预测变量的数量在吗X而且l正则化强度值的数量(有关详细信息,请参阅λ).
如果您指定p-维向量,然后软件对目标函数进行优化l使用此过程的次数。
软件优化使用β的初始值和最小值λ作为正则化强度。
该软件再次优化使用结果估计从以前的优化作为一个温暖的开始中次小的值λ作为正则化强度。
软件执行第2步,直到耗尽所有的值λ.
如果您指定p——- - - - - -l矩阵,然后软件对目标函数进行优化l次了。在迭代j,软件使用β(:,j)作为初始值,在排序之后λ按升序使用λ(j)作为正则化强度。
如果你设置“规划求解”、“双”,那么软件就会忽略β.
数据类型:单|双
偏见- - - - - -初始截距估计
数字标量|数值向量
初步截距估计(b),指定为逗号分隔的对,由“偏见”和一个数值标量或l-维数值向量。l正则化强度值的数量(有关详细信息,请参阅λ).
如果您指定一个标量,那么软件将优化目标函数l使用此过程的次数。
软件优化使用偏见的初始值和最小值λ作为正则化强度。
使用结果估计作为下一个优化迭代的温暖开始,并在中使用下一个最小值λ作为正则化强度。
软件执行第2步,直到耗尽所有的值λ.
如果您指定l-维向量,然后软件对目标函数进行优化l次了。在迭代j,软件使用偏差(j)作为初始值,在排序之后λ按升序使用λ(j)作为正则化强度。
默认情况下:
如果学习者是“物流”,那么让gj如果是1Y (j)为正类,否则为-1。偏见是加权平均的吗g用于训练或交叉验证,内叠观察。
如果学习者是“支持向量机”,然后偏见是0。
数据类型:单|双
FitBias- - - - - -线性模型截距包含标志
真正的
(默认)|假
线性模型截距包含标志,指定为由逗号分隔的对组成“FitBias”而且真正的或假.
价值
描述
真正的
该软件包括偏差项b在线性模型中,然后估计它。
假
软件集b在估计期间= 0。
例子:“FitBias”,假的
数据类型:逻辑
PostFitBias- - - - - -标志拟合优化后的线性模型截距
假
(默认)|真正的
标志来拟合优化后的线性模型截距,指定为由逗号分隔的对组成“PostFitBias”而且真正的或假.
价值
描述
假
软件估计偏差项b这些系数β在优化。
真正的
估计b,软件:
估计β而且b使用模型
估计分类分数
不菲b通过在分类分数上设置阈值来获得最大的准确性
如果你指定真正的,然后FitBias一定是真的。
例子:“PostFitBias”,真的
数据类型:逻辑
详细的- - - - - -冗长的水平
0
(默认)|1
详细级别,指定为逗号分隔的对,由“详细”,要么0或1.详细的控制在命令行上显示诊断信息。
价值
描述
0
templateLinear不显示诊断信息。
1
templateLinear定期显示目标函数值、梯度幅值和其他诊断信息。
例子:“详细”,1
数据类型:单|双
SGD和ASGD求解器选项
BatchSize- - - - - -Mini-batch大小
正整数
小批量大小,指定为由逗号分隔的对组成“BatchSize”一个正整数。在每次迭代中,软件估计梯度使用BatchSize训练数据的观察结果。
如果预测器数据是数字矩阵,则默认值为10.
如果预测器数据是稀疏矩阵,则默认值为马克斯([10日装天花板(sqrt (ff)))),在那里ff = numel(X)/nnz(X),即丰满的因素的X.
例子:“BatchSize”,100年
数据类型:单|双
LearnRate- - - - - -学习速率
积极的标量
学习率,指定为由逗号分隔的对组成“LearnRate”一个正标量。LearnRate通过缩放次梯度来控制优化步长。
如果正则化是“岭”,然后LearnRate初始学习率γ0.templateLinear确定迭代的学习率t,γt,使用
λ的值λ.
如果解算器是“sgd”,然后c= 1。
如果解算器是“asgd”,然后c是0.75[7].
如果正则化是“套索”,则对于所有迭代,LearnRate是恒定的。
默认情况下,LearnRate是1 /√(1 +马克斯(sum (x ^ 2, obsDim)))),在那里obsDim是1如果观测数据构成预测数据的列X,2否则。
例子:“LearnRate”,0.01
数据类型:单|双
OptimizeLearnRate- - - - - -标志降低学习率
真正的
(默认)|假
标志,以在软件检测到发散(即超过最小值)时降低学习率,指定为逗号分隔的对,由“OptimizeLearnRate”而且真正的或假.
如果OptimizeLearnRate是“真正的”,那么:
对于很少的优化迭代,软件开始优化使用LearnRate作为学习率。
如果目标函数值增加,则软件重新启动并使用当前学习率值的一半。
软件迭代第2步,直到目标函数减小。
例子:“OptimizeLearnRate”,真的
数据类型:逻辑
TruncationPeriod- - - - - -套索截断运行之间的小批数量
10
(默认)|正整数
套索截断运行之间的小批数,指定为逗号分隔的对,由“TruncationPeriod”一个正整数。
截断运行后,软件应用软阈值的线性系数。即加工后k=TruncationPeriod小批量,软件截断估计的系数j使用
SGD,
是系数的估计吗j处理后kmini-batches。
γt 迭代时的学习率是多少t.λ的值λ.
ASGD,
是平均估计系数吗j处理后kmini-batches,
如果正则化是“岭”,那么软件就会忽略TruncationPeriod.
例子:“TruncationPeriod”,100年
数据类型:单|双
SGD和ASGD收敛控制
BatchLimit- - - - - -最大批次数
正整数
要处理的最大批数,指定为逗号分隔的对,由“BatchLimit”一个正整数。当软件处理时BatchLimit批量,它终止优化。
默认情况下:
软件通过这些数据PassLimit次了。
如果指定多个求解器,并使用(A)SGD来获得下一个求解器的初始近似值,则默认值为装天花板(1 e6 / BatchSize).BatchSize是值'BatchSize
'名称-值对参数。
如果你指定BatchLimit,然后templateLinear也使用导致处理最少观测值的参数BatchLimit或PassLimit.
例子:“BatchLimit”,100年
数据类型:单|双
BetaTolerance- - - - - -线性系数和偏置项的相对公差
1的军医
(默认)|负的标量
对线性系数和偏置项(截距)的相对公差,指定为逗号分隔的对,由“BetaTolerance”一个非负标量。
让
,即优化迭代时的系数向量和偏置项t.如果
,则优化终止。
中指定的最后一个求解器,如果该软件收敛解算器,则优化终止。否则,软件将使用中指定的下一个求解器解算器.
例子:e-6 BetaTolerance, 1
数据类型:单|双
NumCheckConvergence- - - - - -下一次收敛检查前要处理的批次数
正整数
在下一次收敛检查之前要处理的批数,指定为由逗号分隔的对组成“NumCheckConvergence”一个正整数。
要指定批处理大小,请参见BatchSize.
默认情况下,每次通过整个数据集,软件都会检查大约10次收敛性。
例子:“NumCheckConvergence”,100年
数据类型:单|双
PassLimit- - - - - -最大通过次数
1
(默认)|正整数
通过数据的最大次数,指定为逗号分隔的对,由“PassLimit”一个正整数。
当软件完成一次数据处理后,它就处理了所有的观察结果。
当软件通过数据时PassLimit多次,它会终止优化。
如果你指定BatchLimit,然后templateLinear也使用导致处理最少观测值的参数BatchLimit或PassLimit.
例子:“PassLimit”,5
数据类型:单|双
双SGD收敛控制
BetaTolerance- - - - - -线性系数和偏置项的相对公差
1的军医
(默认)|负的标量
对线性系数和偏置项(截距)的相对公差,指定为逗号分隔的对,由“BetaTolerance”一个非负标量。
让
,即优化迭代时的系数向量和偏置项t.如果
,则优化终止。
如果你还指定DeltaGradientTolerance,当软件满足任意一个停止条件时,优化终止。
中指定的最后一个求解器,如果该软件收敛解算器,则优化终止。否则,软件将使用中指定的下一个求解器解算器.
例子:e-6 BetaTolerance, 1
数据类型:单|双
DeltaGradientTolerance- - - - - -Gradient-difference宽容
1
(默认)|负的标量
上下池之间的梯度差公差Karush-Kuhn-Tucker (KKT)互补条件违规者,指定为逗号分隔的对,由“DeltaGradientTolerance”一个非负标量。
如果KKT违反者的量级小于DeltaGradientTolerance,则软件终止优化。
中指定的最后一个求解器,如果该软件收敛解算器,则优化终止。否则,软件将使用中指定的下一个求解器解算器.
例子:依照“DeltaGapTolerance”,1
数据类型:双|单
NumCheckConvergence- - - - - -在下一次收敛检查之前,通过整个数据集处理的次数
5
(默认)|正整数
在下一次收敛检查之前,通过整个数据集要处理的次数,指定为由逗号分隔的对组成的“NumCheckConvergence”一个正整数。
例子:“NumCheckConvergence”,100年
数据类型:单|双
PassLimit- - - - - -最大通过次数
10
(默认)|正整数
通过数据的最大次数,指定为逗号分隔的对,由“PassLimit”一个正整数。
当软件完成对数据的一次处理时,它已经处理了所有的观察结果。
当软件通过数据时PassLimit多次,它会终止优化。
例子:“PassLimit”,5
数据类型:单|双
BFGS, LBFGS和SpaRSA收敛控件
BetaTolerance- - - - - -线性系数和偏置项的相对公差
1的军医
(默认)|负的标量
线性系数和偏置项(截距)的相对公差,指定为非负标量。
让
,即优化迭代时的系数向量和偏置项t.如果
,则优化终止。
如果你还指定GradientTolerance,当软件满足任意一个停止条件时,优化终止。
中指定的最后一个求解器,如果该软件收敛解算器,则优化终止。否则,软件将使用中指定的下一个求解器解算器.
例子:e-6 BetaTolerance, 1
数据类型:单|双
GradientTolerance- - - - - -绝对梯度公差
1 e-6
(默认)|负的标量
绝对梯度公差,指定为非负标量。
让
为目标函数相对于优化迭代时的系数和偏差项的梯度向量t.如果
,则优化终止。
如果你还指定BetaTolerance,当软件满足任意一个停止条件时,优化终止。
如果软件收敛于软件中指定的最后一个求解器,则优化终止。否则,软件将使用中指定的下一个求解器解算器.
例子:e-5 GradientTolerance, 1
数据类型:单|双
HessianHistorySize- - - - - -黑森近似的历史缓冲区大小
15
(默认)|正整数
黑森近似的历史缓冲区大小,指定为逗号分隔的对,由“HessianHistorySize”一个正整数。也就是说,在每次迭代中,软件使用最新的统计数据组成黑森HessianHistorySize迭代。
软件不支持金宝app“HessianHistorySize”SpaRSA。
例子:“HessianHistorySize”,10
数据类型:单|双
IterationLimit- - - - - -优化迭代的最大次数
1000
(默认)|正整数
优化迭代的最大次数,指定为由逗号分隔的对组成“IterationLimit”一个正整数。IterationLimit的值解算器:“蓄热”,“lbfgs”,“sparsa”.
例子:“IterationLimit”,500年
数据类型:单|双
输出参数
t-线性分类模型学习模板模板对象
线性分类模型学习器模板,作为模板对象返回。要使用高维数据为多类问题训练线性分类模型,请通过t来fitcecoc.
如果你显示t,则所有未指定的选项均为空([]).但是,在训练过程中,软件会将空选项替换为相应的默认值。
更多关于
温暖的开始
一个温暖的开始是beta系数和偏差项的初始估计,提供给优化例程,以实现更快的收敛。
提示
最好的做法是确定预测矩阵的方向,使观察值与列相对应,并进行指定“ObservationsIn”、“列”.因此,您可以体验到优化执行时间的显著减少。
如果预测器数据有很少的观测值,但有很多预测变量,则:
指定“PostFitBias”,真的.
对于SGD或ASGD求解器,设置PassLimit一个大于1的正整数,例如,5或10。这种设置通常会产生更好的准确性。
对于SGD和ASGD求解器,BatchSize影响收敛速度。
如果BatchSize,则软件在多次迭代中达到最小值,但每次迭代快速计算梯度。
如果BatchSize,则软件在较少的迭代中达到最小值,但每次迭代计算梯度速度较慢。
学习率高(见LearnRate)加速收敛到最小值,但可能导致发散(即超过最小值)。小的学习率确保收敛到最小,但可能导致缓慢的终止。
如果正则化是“套索”,然后用不同的值进行实验TruncationPeriod.例如,setTruncationPeriod来1,10,然后One hundred..
为了提高效率,该软件没有将预测数据标准化。为了标准化预测数据(X),输入
X = bsxfun (@rdivide bsxfun (@minus X,意味着(X, 2)),性病(0,2));
代码要求将预测器和观察值定向为的行和列X,分别。此外,为了节省内存使用,代码将原始预测数据替换为标准化数据。
参考文献
[1]谢长杰,张桂文,林长杰,s.s. Keerthi, s.s Sundararajan。大规模线性支持向量机的双坐标下降方法。第25届国际机器学习会议论文集,ICML ' 08, 2001, pp. 408-415。
[2] Langford, J., Li ., and T. Zhang。“通过截断梯度的稀疏在线学习。”j·马赫。学习。Res。, Vol. 10, 2009, pp. 777-801。
[3]诺西德尔,J.和S. J.赖特。数值优化,第二版,纽约:施普林格,2006。
[4]沙利夫-施瓦兹,S. Y.辛格和N.斯雷布罗。Pegasos:支持向量机的原始估计次梯度求解器第24届机器学习国际会议论文集,ICML ' 07, 2007,第807-814页。
[5]赖特,S. J. R. D.诺瓦克,M. A. T.菲格雷多。"可分离近似的稀疏重建"反式。Proc团体。,卷57,第7期,2009,第2479-2493页。
小,林。正则化随机学习和在线优化的双平均方法j·马赫。学习。Res。, Vol. 11, 2010, pp. 2543-2596。
徐伟。“用平均随机梯度下降法实现最优一次大规模学习”相关系数, abs/1107.2490, 2011。
扩展功能
高大的数组使用行数超过内存容量的数组进行计算。
通过传递线性模型模板和高数组来训练模型时的使用注意事项和限制fitcecoc:
当您使用高数组时,这些名称-值对参数的默认值是不同的。
“λ”-可以“汽车”(默认值)或标量
“正规化”—仅金宝app支持“岭”
“规划求解”—仅金宝app支持“lbfgs”
“FitBias”—仅金宝app支持真正的
“详细”—默认值为1
“BetaTolerance”—将默认值放宽为1 e - 3
“GradientTolerance”—将默认值放宽为1 e - 3
“IterationLimit”—将默认值放宽为20.
当fitcecoc使用一个templateLinear对象的高数组,唯一可用的求解器是LBFGS。该软件通过在每次迭代中将损失和梯度计算分布到高阵列的不同部分来实现LBFGS。的初始值β而且偏见,该软件通过将模型局部拟合到部分数据,并通过求平均来组合系数,从而优化参数的初始估计。
有关更多信息,请参见高大的数组.
版本历史
在R2016a中引入
另请参阅
templateLinear
模板指定二元学习器模型、正则化类型和强度,以及求解器等。创建模板后,通过将模板和数据传递给fitcecoc
例子
训练多类线性分类模型
训练一个由多个二元线性分类模型组成的ECOC模型。
加载NLP数据集。
负载nlpdata
X是一个稀疏矩阵的预测数据,和Y是类标签的分类向量。数据中有两个以上的类。
创建一个默认的线性分类模型模板。
t = templatlinear ();
若要调整默认值,请参见名称-值对参数在templateLinear页面。
训练一个由多个二进制线性分类模型组成的ECOC模型,该模型可以根据文档网页上单词的频率分布来识别产品。为了更快的训练时间,转置预测器数据,并指定观察值对应于列。
X = X';rng (1);%用于再现性Mdl = fitcecoc(X,Y,“学习者”t“ObservationsIn”,“列”)
Mdl = CompactClassificationECOC ResponseName: 'Y' ClassNames: [comm dsp ecoder fixedpoint…]BinaryLearners: {78x1 cell} CodingMatrix: [13x78 double]属性,方法
或者,您可以使用以下方法训练由默认线性分类模型组成的ECOC模型“学习者”,“线性”.
为了保存记忆,fitcecoc返回由线性分类学习器组成的训练ECOC模型CompactClassificationECOC模型对象。
训练多类线性分类模型
训练一个由多个二元线性分类模型组成的ECOC模型。 加载NLP数据集。 创建一个默认的线性分类模型模板。 若要调整默认值,请参见 训练一个由多个二进制线性分类模型组成的ECOC模型,该模型可以根据文档网页上单词的频率分布来识别产品。为了更快的训练时间,转置预测器数据,并指定观察值对应于列。 或者,您可以使用以下方法训练由默认线性分类模型组成的ECOC模型 为了保存记忆,负载
X
t = templatlinear ();
X = X';rng (1);
Mdl = CompactClassificationECOC ResponseName: 'Y' ClassNames: [comm dsp ecoder fixedpoint…]BinaryLearners: {78x1 cell} CodingMatrix: [13x78 double]属性,方法
输入参数
名称-值参数
指定可选参数对为Name1 = Value1,…,以=家,在那里的名字参数名称和价值对应的值。名称-值参数必须出现在其他参数之后,但对的顺序无关紧要。
在R2021a之前,使用逗号分隔每个名称和值,并将其括起来的名字在报价。
例子:“学习者”,“物流”、“正规化”,“套索”、“CrossVal”,“上”指定使用套索惩罚实现逻辑回归,并实现10倍交叉验证。
线性分类选项
λ- - - - - -正则化项强度
“汽车”
(默认)|负的标量|非负值的向量
正则化术语的强度,指定为由逗号分隔的对组成“λ”而且“汽车”,一个非负的标量,或者一个非负的值的向量。
为“汽车”,λ= 1 /n.
如果指定了交叉验证、名值对参数(例如,CrossVal),然后n是折叠观察数。
否则,n是训练样本量。
对于一个非负值的向量,templateLinear中每个不同值依次优化目标函数λ按升序排列。
如果解算器是“sgd”或“asgd”而且正则化是“套索”,templateLinear不使用以前的系数估计作为温暖的开始用于下一个优化迭代。否则,templateLinear使用热启动。
如果正则化是“套索”时,则任意系数估计值为0时,均保持其值templateLinear中的后续值进行优化λ.
templateLinear返回每个指定正则化强度的系数估计值。
例子:“λ”,10 ^ (- (10:2:2))
数据类型:字符|字符串|双|单
学习者- - - - - -线性分类模型类型
“支持向量机”
(默认)|“物流”
线性分类模型类型,指定为由逗号分隔的对组成“学习者”而且“支持向量机”或“物流”.
在这个表格中,
β的向量p系数。
x是来自p预测变量。
b是标量偏置。
价值
算法
响应范围
损失函数
“支持向量机”
金宝app支持向量机
y∊{1};正类为1,其他为-1
铰链:
“物流”
逻辑回归
一样“支持向量机”
异常(物流):
例子:“学习者”,“物流”
正则化- - - - - -复杂性惩罚类型
“套索”
|“岭”
复杂度惩罚类型,指定为由逗号分隔的对组成“正规化”而且“套索”或“岭”.
该软件从平均损失函数的和组成最小化的目标函数(见学习者)和该表中的正则化项。
价值
描述
“套索”
套索(L1)惩罚:
“岭”
脊(L2)惩罚:
要指定正则化项的强度,即λ在表达式中,使用λ.
该软件排除偏差项(β0)从正规化惩罚。
如果解算器是“sparsa”,则为默认值正则化是“套索”.否则,默认为“岭”.
提示
对于预测变量选择,请指定“套索”.有关变量选择的更多信息,请参见特征选择简介.
为了优化精度,请指定“岭”.
例子:“正规化”、“套索”
解算器- - - - - -目标函数最小化技术
“sgd”
|“asgd”
|“双重”
|“蓄热”|“lbfgs”|“sparsa”|字符串数组|字符向量的单元格数组
目标函数最小化技术,指定为逗号分隔对组成“规划求解”一个字符向量或字符串标量,一个字符串数组,或一个单元格数组的字符向量的值从这个表。
价值
描述
限制
“sgd”
随机梯度下降(SGD)[4][2]
“asgd”
平均随机梯度下降(ASGD)[7]
“双重”
支持向量机的双SGD[1][6]
正则化
必须“岭”而且学习者必须“支持向量机”.
“蓄热”
Broyden-Fletcher-Goldfarb-Shanno准牛顿算法(BFGS)[3]
效率低下,如果X是非常高维的。
“lbfgs”
有限内存BFGS (LBFGS)[3]
正则化必须“岭”.
“sparsa”
基于可分离近似的稀疏重建[5]
正则化必须“套索”.
如果你指定:
山脊惩罚(见正则化),且预测器数据集包含100个或更少的预测器变量,则默认解算器为“蓄热”.
支持向量机模型(见学习者),一个岭惩罚,且预测器数据集包含超过100个预测器变量,则默认求解器为“双重”.
套索惩罚和预测器数据集包含100个或更少的预测器变量,则默认求解器为“sparsa”.
否则,默认解算器为“sgd”.请注意,在执行超参数优化时,默认求解器可以更改。有关更多信息,请参见正则化方法决定了超参数优化中使用的线性学习求解器.
如果指定求解器名称的字符串数组或单元格数组,则λ,软件采用求解器的解金宝搏官方网站j作为求解的一个温暖的开始j+ 1。
例子:{“sgd”“lbfgs”}应用SGD求解目标,并将其作为LBFGS的热启动。
提示
SGD和ASGD能比其他求解器更快地求解目标函数,而LBFGS和SpaRSA能比其他求解器得到更精确的解。金宝搏官方网站求解器组合,比如{“sgd”“lbfgs”}而且{“sgd”“sparsa”}能够平衡优化速度和精度。
在SGD和ASGD之间进行选择时,请考虑:
SGD每次迭代花费更少的时间,但需要更多的迭代来收敛。
ASGD需要更少的迭代来收敛,但是每次迭代需要更多的时间。
如果预测数据是高维的正则化是“岭”,设置解算器对这些组合中的任何一个:
“sgd”
“asgd”
“双重”如果学习者是“支持向量机”
“lbfgs”
{“sgd”、“lbfgs”}
{“asgd”、“lbfgs”}
{“双”、“lbfgs”}如果学习者是“支持向量机”
虽然您可以设置其他组合,但它们通常会导致精度较差的解决方案。金宝搏官方网站
如果预测数据是中等到低维的正则化是“岭”,设置解算器来“蓄热”.
如果正则化是“套索”,设置解算器对这些组合中的任何一个:
“sgd”
“asgd”
“sparsa”
{“sgd”、“sparsa”}
{“asgd”、“sparsa”}
例子:“规划求解”,{‘sgd’,‘lbfgs}
β- - - - - -初始线性系数估计
0 (p,1)
(默认)|数值向量|数字矩阵
初始线性系数估计值(β),指定为逗号分隔的对,由“β”和一个p-维数字向量或ap——- - - - - -l数字矩阵。p预测变量的数量在吗X而且l正则化强度值的数量(有关详细信息,请参阅λ).
如果您指定p-维向量,然后软件对目标函数进行优化l使用此过程的次数。
软件优化使用β的初始值和最小值λ作为正则化强度。
该软件再次优化使用结果估计从以前的优化作为一个温暖的开始中次小的值λ作为正则化强度。
软件执行第2步,直到耗尽所有的值λ.
如果您指定p——- - - - - -l矩阵,然后软件对目标函数进行优化l次了。在迭代j,软件使用β(:,j)作为初始值,在排序之后λ按升序使用λ(j)作为正则化强度。
如果你设置“规划求解”、“双”,那么软件就会忽略β.
数据类型:单|双
偏见- - - - - -初始截距估计
数字标量|数值向量
初步截距估计(b),指定为逗号分隔的对,由“偏见”和一个数值标量或l-维数值向量。l正则化强度值的数量(有关详细信息,请参阅λ).
如果您指定一个标量,那么软件将优化目标函数l使用此过程的次数。
软件优化使用偏见的初始值和最小值λ作为正则化强度。
使用结果估计作为下一个优化迭代的温暖开始,并在中使用下一个最小值λ作为正则化强度。
软件执行第2步,直到耗尽所有的值λ.
如果您指定l-维向量,然后软件对目标函数进行优化l次了。在迭代j,软件使用偏差(j)作为初始值,在排序之后λ按升序使用λ(j)作为正则化强度。
默认情况下:
如果学习者是“物流”,那么让gj如果是1Y (j)为正类,否则为-1。偏见是加权平均的吗g用于训练或交叉验证,内叠观察。
如果学习者是“支持向量机”,然后偏见是0。
数据类型:单|双
FitBias- - - - - -线性模型截距包含标志
真正的
(默认)|假
线性模型截距包含标志,指定为由逗号分隔的对组成“FitBias”而且真正的或假.
价值
描述
真正的
该软件包括偏差项b在线性模型中,然后估计它。
假
软件集b在估计期间= 0。
例子:“FitBias”,假的
数据类型:逻辑
PostFitBias- - - - - -标志拟合优化后的线性模型截距
假
(默认)|真正的
标志来拟合优化后的线性模型截距,指定为由逗号分隔的对组成“PostFitBias”而且真正的或假.
价值
描述
假
软件估计偏差项b这些系数β在优化。
真正的
估计b,软件:
估计β而且b使用模型
估计分类分数
不菲b通过在分类分数上设置阈值来获得最大的准确性
如果你指定真正的,然后FitBias一定是真的。
例子:“PostFitBias”,真的
数据类型:逻辑
详细的- - - - - -冗长的水平
0
(默认)|1
详细级别,指定为逗号分隔的对,由“详细”,要么0或1.详细的控制在命令行上显示诊断信息。
价值
描述
0
templateLinear不显示诊断信息。
1
templateLinear定期显示目标函数值、梯度幅值和其他诊断信息。
例子:“详细”,1
数据类型:单|双
SGD和ASGD求解器选项
BatchSize- - - - - -Mini-batch大小
正整数
小批量大小,指定为由逗号分隔的对组成“BatchSize”一个正整数。在每次迭代中,软件估计梯度使用BatchSize训练数据的观察结果。
如果预测器数据是数字矩阵,则默认值为10.
如果预测器数据是稀疏矩阵,则默认值为马克斯([10日装天花板(sqrt (ff)))),在那里ff = numel(X)/nnz(X),即丰满的因素的X.
例子:“BatchSize”,100年
数据类型:单|双
LearnRate- - - - - -学习速率
积极的标量
学习率,指定为由逗号分隔的对组成“LearnRate”一个正标量。LearnRate通过缩放次梯度来控制优化步长。
如果正则化是“岭”,然后LearnRate初始学习率γ0.templateLinear确定迭代的学习率t,γt,使用
λ的值λ.
如果解算器是“sgd”,然后c= 1。
如果解算器是“asgd”,然后c是0.75[7].
如果正则化是“套索”,则对于所有迭代,LearnRate是恒定的。
默认情况下,LearnRate是1 /√(1 +马克斯(sum (x ^ 2, obsDim)))),在那里obsDim是1如果观测数据构成预测数据的列X,2否则。
例子:“LearnRate”,0.01
数据类型:单|双
OptimizeLearnRate- - - - - -标志降低学习率
真正的
(默认)|假
标志,以在软件检测到发散(即超过最小值)时降低学习率,指定为逗号分隔的对,由“OptimizeLearnRate”而且真正的或假.
如果OptimizeLearnRate是“真正的”,那么:
对于很少的优化迭代,软件开始优化使用LearnRate作为学习率。
如果目标函数值增加,则软件重新启动并使用当前学习率值的一半。
软件迭代第2步,直到目标函数减小。
例子:“OptimizeLearnRate”,真的
数据类型:逻辑
TruncationPeriod- - - - - -套索截断运行之间的小批数量
10
(默认)|正整数
套索截断运行之间的小批数,指定为逗号分隔的对,由“TruncationPeriod”一个正整数。
截断运行后,软件应用软阈值的线性系数。即加工后k=TruncationPeriod小批量,软件截断估计的系数j使用
SGD,
是系数的估计吗j处理后kmini-batches。
γt 迭代时的学习率是多少t.λ的值λ.
ASGD,
是平均估计系数吗j处理后kmini-batches,
如果正则化是“岭”,那么软件就会忽略TruncationPeriod.
例子:“TruncationPeriod”,100年
数据类型:单|双
SGD和ASGD收敛控制
BatchLimit- - - - - -最大批次数
正整数
要处理的最大批数,指定为逗号分隔的对,由“BatchLimit”一个正整数。当软件处理时BatchLimit批量,它终止优化。
默认情况下:
软件通过这些数据PassLimit次了。
如果指定多个求解器,并使用(A)SGD来获得下一个求解器的初始近似值,则默认值为装天花板(1 e6 / BatchSize).BatchSize是值'BatchSize
'名称-值对参数。
如果你指定BatchLimit,然后templateLinear也使用导致处理最少观测值的参数BatchLimit或PassLimit.
例子:“BatchLimit”,100年
数据类型:单|双
BetaTolerance- - - - - -线性系数和偏置项的相对公差
1的军医
(默认)|负的标量
对线性系数和偏置项(截距)的相对公差,指定为逗号分隔的对,由“BetaTolerance”一个非负标量。
让
,即优化迭代时的系数向量和偏置项t.如果
,则优化终止。
中指定的最后一个求解器,如果该软件收敛解算器,则优化终止。否则,软件将使用中指定的下一个求解器解算器.
例子:e-6 BetaTolerance, 1
数据类型:单|双
NumCheckConvergence- - - - - -下一次收敛检查前要处理的批次数
正整数
在下一次收敛检查之前要处理的批数,指定为由逗号分隔的对组成“NumCheckConvergence”一个正整数。
要指定批处理大小,请参见BatchSize.
默认情况下,每次通过整个数据集,软件都会检查大约10次收敛性。
例子:“NumCheckConvergence”,100年
数据类型:单|双
PassLimit- - - - - -最大通过次数
1
(默认)|正整数
通过数据的最大次数,指定为逗号分隔的对,由“PassLimit”一个正整数。
当软件完成一次数据处理后,它就处理了所有的观察结果。
当软件通过数据时PassLimit多次,它会终止优化。
如果你指定BatchLimit,然后templateLinear也使用导致处理最少观测值的参数BatchLimit或PassLimit.
例子:“PassLimit”,5
数据类型:单|双
双SGD收敛控制
BetaTolerance- - - - - -线性系数和偏置项的相对公差
1的军医
(默认)|负的标量
对线性系数和偏置项(截距)的相对公差,指定为逗号分隔的对,由“BetaTolerance”一个非负标量。
让
,即优化迭代时的系数向量和偏置项t.如果
,则优化终止。
如果你还指定DeltaGradientTolerance,当软件满足任意一个停止条件时,优化终止。
中指定的最后一个求解器,如果该软件收敛解算器,则优化终止。否则,软件将使用中指定的下一个求解器解算器.
例子:e-6 BetaTolerance, 1
数据类型:单|双
DeltaGradientTolerance- - - - - -Gradient-difference宽容
1
(默认)|负的标量
上下池之间的梯度差公差Karush-Kuhn-Tucker (KKT)互补条件违规者,指定为逗号分隔的对,由“DeltaGradientTolerance”一个非负标量。
如果KKT违反者的量级小于DeltaGradientTolerance,则软件终止优化。
中指定的最后一个求解器,如果该软件收敛解算器,则优化终止。否则,软件将使用中指定的下一个求解器解算器.
例子:依照“DeltaGapTolerance”,1
数据类型:双|单
NumCheckConvergence- - - - - -在下一次收敛检查之前,通过整个数据集处理的次数
5
(默认)|正整数
在下一次收敛检查之前,通过整个数据集要处理的次数,指定为由逗号分隔的对组成的“NumCheckConvergence”一个正整数。
例子:“NumCheckConvergence”,100年
数据类型:单|双
PassLimit- - - - - -最大通过次数
10
(默认)|正整数
通过数据的最大次数,指定为逗号分隔的对,由“PassLimit”一个正整数。
当软件完成对数据的一次处理时,它已经处理了所有的观察结果。
当软件通过数据时PassLimit多次,它会终止优化。
例子:“PassLimit”,5
数据类型:单|双
BFGS, LBFGS和SpaRSA收敛控件
BetaTolerance- - - - - -线性系数和偏置项的相对公差
1的军医
(默认)|负的标量
线性系数和偏置项(截距)的相对公差,指定为非负标量。
让
,即优化迭代时的系数向量和偏置项t.如果
,则优化终止。
如果你还指定GradientTolerance,当软件满足任意一个停止条件时,优化终止。
中指定的最后一个求解器,如果该软件收敛解算器,则优化终止。否则,软件将使用中指定的下一个求解器解算器.
例子:e-6 BetaTolerance, 1
数据类型:单|双
GradientTolerance- - - - - -绝对梯度公差
1 e-6
(默认)|负的标量
绝对梯度公差,指定为非负标量。
让
为目标函数相对于优化迭代时的系数和偏差项的梯度向量t.如果
,则优化终止。
如果你还指定BetaTolerance,当软件满足任意一个停止条件时,优化终止。
如果软件收敛于软件中指定的最后一个求解器,则优化终止。否则,软件将使用中指定的下一个求解器解算器.
例子:e-5 GradientTolerance, 1
数据类型:单|双
HessianHistorySize- - - - - -黑森近似的历史缓冲区大小
15
(默认)|正整数
黑森近似的历史缓冲区大小,指定为逗号分隔的对,由“HessianHistorySize”一个正整数。也就是说,在每次迭代中,软件使用最新的统计数据组成黑森HessianHistorySize迭代。
软件不支持金宝app“HessianHistorySize”SpaRSA。
例子:“HessianHistorySize”,10
数据类型:单|双
IterationLimit- - - - - -优化迭代的最大次数
1000
(默认)|正整数
优化迭代的最大次数,指定为由逗号分隔的对组成“IterationLimit”一个正整数。IterationLimit的值解算器:“蓄热”,“lbfgs”,“sparsa”.
例子:“IterationLimit”,500年
数据类型:单|双
名称-值参数
指定可选参数对为Name1 = Value1,…,以=家,在那里的名字参数名称和价值对应的值。名称-值参数必须出现在其他参数之后,但对的顺序无关紧要。
在R2021a之前,使用逗号分隔每个名称和值,并将其括起来的名字在报价。
例子:“学习者”,“物流”、“正规化”,“套索”、“CrossVal”,“上”指定使用套索惩罚实现逻辑回归,并实现10倍交叉验证。
线性分类选项
λ- - - - - -正则化项强度
“汽车”
(默认)|负的标量|非负值的向量
正则化术语的强度,指定为由逗号分隔的对组成“λ”而且“汽车”,一个非负的标量,或者一个非负的值的向量。
为“汽车”,λ= 1 /n.
如果指定了交叉验证、名值对参数(例如,CrossVal),然后n是折叠观察数。
否则,n是训练样本量。
对于一个非负值的向量,templateLinear中每个不同值依次优化目标函数λ按升序排列。
如果解算器是“sgd”或“asgd”而且正则化是“套索”,templateLinear不使用以前的系数估计作为温暖的开始用于下一个优化迭代。否则,templateLinear使用热启动。
如果正则化是“套索”时,则任意系数估计值为0时,均保持其值templateLinear中的后续值进行优化λ.
templateLinear返回每个指定正则化强度的系数估计值。
例子:“λ”,10 ^ (- (10:2:2))
数据类型:字符|字符串|双|单
学习者- - - - - -线性分类模型类型
“支持向量机”
(默认)|“物流”
线性分类模型类型,指定为由逗号分隔的对组成“学习者”而且“支持向量机”或“物流”.
在这个表格中,
β的向量p系数。
x是来自p预测变量。
b是标量偏置。
价值
算法
响应范围
损失函数
“支持向量机”
金宝app支持向量机
y∊{1};正类为1,其他为-1
铰链:
“物流”
逻辑回归
一样“支持向量机”
异常(物流):
例子:“学习者”,“物流”
正则化- - - - - -复杂性惩罚类型
“套索”
|“岭”
复杂度惩罚类型,指定为由逗号分隔的对组成“正规化”而且“套索”或“岭”.
该软件从平均损失函数的和组成最小化的目标函数(见学习者)和该表中的正则化项。
价值
描述
“套索”
套索(L1)惩罚:
“岭”
脊(L2)惩罚:
要指定正则化项的强度,即λ在表达式中,使用λ.
该软件排除偏差项(β0)从正规化惩罚。
如果解算器是“sparsa”,则为默认值正则化是“套索”.否则,默认为“岭”.
提示
对于预测变量选择,请指定“套索”.有关变量选择的更多信息,请参见特征选择简介.
为了优化精度,请指定“岭”.
例子:“正规化”、“套索”
解算器- - - - - -目标函数最小化技术
“sgd”
|“asgd”
|“双重”
|“蓄热”|“lbfgs”|“sparsa”|字符串数组|字符向量的单元格数组
目标函数最小化技术,指定为逗号分隔对组成“规划求解”一个字符向量或字符串标量,一个字符串数组,或一个单元格数组的字符向量的值从这个表。
价值
描述
限制
“sgd”
随机梯度下降(SGD)[4][2]
“asgd”
平均随机梯度下降(ASGD)[7]
“双重”
支持向量机的双SGD[1][6]
正则化
必须“岭”而且学习者必须“支持向量机”.
“蓄热”
Broyden-Fletcher-Goldfarb-Shanno准牛顿算法(BFGS)[3]
效率低下,如果X是非常高维的。
“lbfgs”
有限内存BFGS (LBFGS)[3]
正则化必须“岭”.
“sparsa”
基于可分离近似的稀疏重建[5]
正则化必须“套索”.
如果你指定:
山脊惩罚(见正则化),且预测器数据集包含100个或更少的预测器变量,则默认解算器为“蓄热”.
支持向量机模型(见学习者),一个岭惩罚,且预测器数据集包含超过100个预测器变量,则默认求解器为“双重”.
套索惩罚和预测器数据集包含100个或更少的预测器变量,则默认求解器为“sparsa”.
否则,默认解算器为“sgd”.请注意,在执行超参数优化时,默认求解器可以更改。有关更多信息,请参见正则化方法决定了超参数优化中使用的线性学习求解器.
如果指定求解器名称的字符串数组或单元格数组,则λ,软件采用求解器的解金宝搏官方网站j作为求解的一个温暖的开始j+ 1。
例子:{“sgd”“lbfgs”}应用SGD求解目标,并将其作为LBFGS的热启动。
提示
SGD和ASGD能比其他求解器更快地求解目标函数,而LBFGS和SpaRSA能比其他求解器得到更精确的解。金宝搏官方网站求解器组合,比如{“sgd”“lbfgs”}而且{“sgd”“sparsa”}能够平衡优化速度和精度。
在SGD和ASGD之间进行选择时,请考虑:
SGD每次迭代花费更少的时间,但需要更多的迭代来收敛。
ASGD需要更少的迭代来收敛,但是每次迭代需要更多的时间。
如果预测数据是高维的正则化是“岭”,设置解算器对这些组合中的任何一个:
“sgd”
“asgd”
“双重”如果学习者是“支持向量机”
“lbfgs”
{“sgd”、“lbfgs”}
{“asgd”、“lbfgs”}
{“双”、“lbfgs”}如果学习者是“支持向量机”
虽然您可以设置其他组合,但它们通常会导致精度较差的解决方案。金宝搏官方网站
如果预测数据是中等到低维的正则化是“岭”,设置解算器来“蓄热”.
如果正则化是“套索”,设置解算器对这些组合中的任何一个:
“sgd”
“asgd”
“sparsa”
{“sgd”、“sparsa”}
{“asgd”、“sparsa”}
例子:“规划求解”,{‘sgd’,‘lbfgs}
β- - - - - -初始线性系数估计
0 (p,1)
(默认)|数值向量|数字矩阵
初始线性系数估计值(β),指定为逗号分隔的对,由“β”和一个p-维数字向量或ap——- - - - - -l数字矩阵。p预测变量的数量在吗X而且l正则化强度值的数量(有关详细信息,请参阅λ).
如果您指定p-维向量,然后软件对目标函数进行优化l使用此过程的次数。
软件优化使用β的初始值和最小值λ作为正则化强度。
该软件再次优化使用结果估计从以前的优化作为一个温暖的开始中次小的值λ作为正则化强度。
软件执行第2步,直到耗尽所有的值λ.
如果您指定p——- - - - - -l矩阵,然后软件对目标函数进行优化l次了。在迭代j,软件使用β(:,j)作为初始值,在排序之后λ按升序使用λ(j)作为正则化强度。
如果你设置“规划求解”、“双”,那么软件就会忽略β.
数据类型:单|双
偏见- - - - - -初始截距估计
数字标量|数值向量
初步截距估计(b),指定为逗号分隔的对,由“偏见”和一个数值标量或l-维数值向量。l正则化强度值的数量(有关详细信息,请参阅λ).
如果您指定一个标量,那么软件将优化目标函数l使用此过程的次数。
软件优化使用偏见的初始值和最小值λ作为正则化强度。
使用结果估计作为下一个优化迭代的温暖开始,并在中使用下一个最小值λ作为正则化强度。
软件执行第2步,直到耗尽所有的值λ.
如果您指定l-维向量,然后软件对目标函数进行优化l次了。在迭代j,软件使用偏差(j)作为初始值,在排序之后λ按升序使用λ(j)作为正则化强度。
默认情况下:
如果学习者是“物流”,那么让gj如果是1Y (j)为正类,否则为-1。偏见是加权平均的吗g用于训练或交叉验证,内叠观察。
如果学习者是“支持向量机”,然后偏见是0。
数据类型:单|双
FitBias- - - - - -线性模型截距包含标志
真正的
(默认)|假
线性模型截距包含标志,指定为由逗号分隔的对组成“FitBias”而且真正的或假.
价值
描述
真正的
该软件包括偏差项b在线性模型中,然后估计它。
假
软件集b在估计期间= 0。
例子:“FitBias”,假的
数据类型:逻辑
PostFitBias- - - - - -标志拟合优化后的线性模型截距
假
(默认)|真正的
标志来拟合优化后的线性模型截距,指定为由逗号分隔的对组成“PostFitBias”而且真正的或假.
价值
描述
假
软件估计偏差项b这些系数β在优化。
真正的
估计b,软件:
估计β而且b使用模型
估计分类分数
不菲b通过在分类分数上设置阈值来获得最大的准确性
如果你指定真正的,然后FitBias一定是真的。
例子:“PostFitBias”,真的
数据类型:逻辑
详细的- - - - - -冗长的水平
0
(默认)|1
详细级别,指定为逗号分隔的对,由“详细”,要么0或1.详细的控制在命令行上显示诊断信息。
价值
描述
0
templateLinear不显示诊断信息。
1
templateLinear定期显示目标函数值、梯度幅值和其他诊断信息。
例子:“详细”,1
数据类型:单|双
SGD和ASGD求解器选项
BatchSize- - - - - -Mini-batch大小
正整数
小批量大小,指定为由逗号分隔的对组成“BatchSize”一个正整数。在每次迭代中,软件估计梯度使用BatchSize训练数据的观察结果。
如果预测器数据是数字矩阵,则默认值为10.
如果预测器数据是稀疏矩阵,则默认值为马克斯([10日装天花板(sqrt (ff)))),在那里ff = numel(X)/nnz(X),即丰满的因素的X.
例子:“BatchSize”,100年
数据类型:单|双
LearnRate- - - - - -学习速率
积极的标量
学习率,指定为由逗号分隔的对组成“LearnRate”一个正标量。LearnRate通过缩放次梯度来控制优化步长。
如果正则化是“岭”,然后LearnRate初始学习率γ0.templateLinear确定迭代的学习率t,γt,使用
λ的值λ.
如果解算器是“sgd”,然后c= 1。
如果解算器是“asgd”,然后c是0.75[7].
如果正则化是“套索”,则对于所有迭代,LearnRate是恒定的。
默认情况下,LearnRate是1 /√(1 +马克斯(sum (x ^ 2, obsDim)))),在那里obsDim是1如果观测数据构成预测数据的列X,2否则。
例子:“LearnRate”,0.01
数据类型:单|双
OptimizeLearnRate- - - - - -标志降低学习率
真正的
(默认)|假
标志,以在软件检测到发散(即超过最小值)时降低学习率,指定为逗号分隔的对,由“OptimizeLearnRate”而且真正的或假.
如果OptimizeLearnRate是“真正的”,那么:
对于很少的优化迭代,软件开始优化使用LearnRate作为学习率。
如果目标函数值增加,则软件重新启动并使用当前学习率值的一半。
软件迭代第2步,直到目标函数减小。
例子:“OptimizeLearnRate”,真的
数据类型:逻辑
TruncationPeriod- - - - - -套索截断运行之间的小批数量
10
(默认)|正整数
套索截断运行之间的小批数,指定为逗号分隔的对,由“TruncationPeriod”一个正整数。
截断运行后,软件应用软阈值的线性系数。即加工后k=TruncationPeriod小批量,软件截断估计的系数j使用
SGD,
是系数的估计吗j处理后kmini-batches。
γt 迭代时的学习率是多少t.λ的值λ.
ASGD,
是平均估计系数吗j处理后kmini-batches,
如果正则化是“岭”,那么软件就会忽略TruncationPeriod.
例子:“TruncationPeriod”,100年
数据类型:单|双
SGD和ASGD收敛控制
BatchLimit- - - - - -最大批次数
正整数
要处理的最大批数,指定为逗号分隔的对,由“BatchLimit”一个正整数。当软件处理时BatchLimit批量,它终止优化。
默认情况下:
软件通过这些数据PassLimit次了。
如果指定多个求解器,并使用(A)SGD来获得下一个求解器的初始近似值,则默认值为装天花板(1 e6 / BatchSize).BatchSize是值'BatchSize
'名称-值对参数。
如果你指定BatchLimit,然后templateLinear也使用导致处理最少观测值的参数BatchLimit或PassLimit.
例子:“BatchLimit”,100年
数据类型:单|双
BetaTolerance- - - - - -线性系数和偏置项的相对公差
1的军医
(默认)|负的标量
对线性系数和偏置项(截距)的相对公差,指定为逗号分隔的对,由“BetaTolerance”一个非负标量。
让
,即优化迭代时的系数向量和偏置项t.如果
,则优化终止。
中指定的最后一个求解器,如果该软件收敛解算器,则优化终止。否则,软件将使用中指定的下一个求解器解算器.
例子:e-6 BetaTolerance, 1
数据类型:单|双
NumCheckConvergence- - - - - -下一次收敛检查前要处理的批次数
正整数
在下一次收敛检查之前要处理的批数,指定为由逗号分隔的对组成“NumCheckConvergence”一个正整数。
要指定批处理大小,请参见BatchSize.
默认情况下,每次通过整个数据集,软件都会检查大约10次收敛性。
例子:“NumCheckConvergence”,100年
数据类型:单|双
PassLimit- - - - - -最大通过次数
1
(默认)|正整数
通过数据的最大次数,指定为逗号分隔的对,由“PassLimit”一个正整数。
当软件完成一次数据处理后,它就处理了所有的观察结果。
当软件通过数据时PassLimit多次,它会终止优化。
如果你指定BatchLimit,然后templateLinear也使用导致处理最少观测值的参数BatchLimit或PassLimit.
例子:“PassLimit”,5
数据类型:单|双
双SGD收敛控制
BetaTolerance- - - - - -线性系数和偏置项的相对公差
1的军医
(默认)|负的标量
对线性系数和偏置项(截距)的相对公差,指定为逗号分隔的对,由“BetaTolerance”一个非负标量。
让
,即优化迭代时的系数向量和偏置项t.如果
,则优化终止。
如果你还指定DeltaGradientTolerance,当软件满足任意一个停止条件时,优化终止。
中指定的最后一个求解器,如果该软件收敛解算器,则优化终止。否则,软件将使用中指定的下一个求解器解算器.
例子:e-6 BetaTolerance, 1
数据类型:单|双
DeltaGradientTolerance- - - - - -Gradient-difference宽容
1
(默认)|负的标量
上下池之间的梯度差公差Karush-Kuhn-Tucker (KKT)互补条件违规者,指定为逗号分隔的对,由“DeltaGradientTolerance”一个非负标量。
如果KKT违反者的量级小于DeltaGradientTolerance,则软件终止优化。
中指定的最后一个求解器,如果该软件收敛解算器,则优化终止。否则,软件将使用中指定的下一个求解器解算器.
例子:依照“DeltaGapTolerance”,1
数据类型:双|单
NumCheckConvergence- - - - - -在下一次收敛检查之前,通过整个数据集处理的次数
5
(默认)|正整数
在下一次收敛检查之前,通过整个数据集要处理的次数,指定为由逗号分隔的对组成的“NumCheckConvergence”一个正整数。
例子:“NumCheckConvergence”,100年
数据类型:单|双
PassLimit- - - - - -最大通过次数
10
(默认)|正整数
通过数据的最大次数,指定为逗号分隔的对,由“PassLimit”一个正整数。
当软件完成对数据的一次处理时,它已经处理了所有的观察结果。
当软件通过数据时PassLimit多次,它会终止优化。
例子:“PassLimit”,5
数据类型:单|双
BFGS, LBFGS和SpaRSA收敛控件
BetaTolerance- - - - - -线性系数和偏置项的相对公差
1的军医
(默认)|负的标量
线性系数和偏置项(截距)的相对公差,指定为非负标量。
让
,即优化迭代时的系数向量和偏置项t.如果
,则优化终止。
如果你还指定GradientTolerance,当软件满足任意一个停止条件时,优化终止。
中指定的最后一个求解器,如果该软件收敛解算器,则优化终止。否则,软件将使用中指定的下一个求解器解算器.
例子:e-6 BetaTolerance, 1
数据类型:单|双
GradientTolerance- - - - - -绝对梯度公差
1 e-6
(默认)|负的标量
绝对梯度公差,指定为非负标量。
让
为目标函数相对于优化迭代时的系数和偏差项的梯度向量t.如果
,则优化终止。
如果你还指定BetaTolerance,当软件满足任意一个停止条件时,优化终止。
如果软件收敛于软件中指定的最后一个求解器,则优化终止。否则,软件将使用中指定的下一个求解器解算器.
例子:e-5 GradientTolerance, 1
数据类型:单|双
HessianHistorySize- - - - - -黑森近似的历史缓冲区大小
15
(默认)|正整数
黑森近似的历史缓冲区大小,指定为逗号分隔的对,由“HessianHistorySize”一个正整数。也就是说,在每次迭代中,软件使用最新的统计数据组成黑森HessianHistorySize迭代。
软件不支持金宝app“HessianHistorySize”SpaRSA。
例子:“HessianHistorySize”,10
数据类型:单|双
IterationLimit- - - - - -优化迭代的最大次数
1000
(默认)|正整数
优化迭代的最大次数,指定为由逗号分隔的对组成“IterationLimit”一个正整数。IterationLimit的值解算器:“蓄热”,“lbfgs”,“sparsa”.
例子:“IterationLimit”,500年
数据类型:单|双
指定可选参数对为 在R2021a之前,使用逗号分隔每个名称和值,并将其括起来 例子:的名字
“学习者”,“物流”、“正规化”,“套索”、“CrossVal”,“上”
λ- - - - - -正则化项强度
“汽车”
(默认)|负的标量|非负值的向量
“汽车”
(默认)|正则化术语的强度,指定为由逗号分隔的对组成 为 如果指定了交叉验证、名值对参数(例如, 否则, 对于一个非负值的向量, 如果 如果 例子: 数据类型:
解算器
正则化
templateLinear
“λ”,10 ^ (- (10:2:2))
字符
学习者- - - - - -线性分类模型类型
“支持向量机”
(默认)|“物流”
“支持向量机”
(默认)|“物流”
线性分类模型类型,指定为由逗号分隔的对组成 在这个表格中, β x b 例子:
价值 算法 响应范围 损失函数
“支持向量机”
金宝app支持向量机 y 铰链:
“物流”
逻辑回归 一样
异常(物流):
“学习者”,“物流”
正则化- - - - - -复杂性惩罚类型
“套索”
|“岭”
“套索”
|“岭”
复杂度惩罚类型,指定为由逗号分隔的对组成 该软件从平均损失函数的和组成最小化的目标函数(见 要指定正则化项的强度,即 该软件排除偏差项( 如果 提示 对于预测变量选择,请指定 为了优化精度,请指定 例子:学习者
价值 描述
“套索”
套索(L1)惩罚:
“岭”
脊(L2)惩罚:
λ
解算器
“正规化”、“套索”
解算器- - - - - -目标函数最小化技术
“sgd”
|“asgd”
|“双重”
|“蓄热”|“lbfgs”|“sparsa”|字符串数组|字符向量的单元格数组
“sgd”
|“asgd”
“双重”
“蓄热”|“lbfgs”|“sparsa”|字符串数组|字符向量的单元格数组
目标函数最小化技术,指定为逗号分隔对组成 如果你指定: 山脊惩罚(见 支持向量机模型(见 套索惩罚和预测器数据集包含100个或更少的预测器变量,则默认求解器为 否则,默认解算器为 如果指定求解器名称的字符串数组或单元格数组,则 例子: 提示 SGD和ASGD能比其他求解器更快地求解目标函数,而LBFGS和SpaRSA能比其他求解器得到更精确的解。金宝搏官方网站求解器组合,比如 在SGD和ASGD之间进行选择时,请考虑: SGD每次迭代花费更少的时间,但需要更多的迭代来收敛。 ASGD需要更少的迭代来收敛,但是每次迭代需要更多的时间。 如果预测数据是高维的 虽然您可以设置其他组合,但它们通常会导致精度较差的解决方案。金宝搏官方网站 如果预测数据是中等到低维的 如果 例子:
价值 描述 限制
“sgd”
随机梯度下降(SGD)
“asgd”
平均随机梯度下降(ASGD)
“双重”
支持向量机的双SGD
正则化
必须学习者
“蓄热”
Broyden-Fletcher-Goldfarb-Shanno准牛顿算法(BFGS)
效率低下,如果
“lbfgs”
有限内存BFGS (LBFGS)
正则化
“sparsa”
基于可分离近似的稀疏重建
正则化
λ
{“sgd”“lbfgs”}
“sgd”
“asgd”
“双重”
“lbfgs”
{“sgd”、“lbfgs”}
{“asgd”、“lbfgs”}
{“双”、“lbfgs”}
“sgd”
“asgd”
“sparsa”
{“sgd”、“sparsa”}
{“asgd”、“sparsa”}
“规划求解”,{‘sgd’,‘lbfgs}
β- - - - - -初始线性系数估计
0 (p,1)
(默认)|数值向量|数字矩阵
0 (p,1)
(默认)|初始线性系数估计值( 如果您指定 软件优化使用 该软件再次优化使用结果估计从以前的优化作为一个 软件执行第2步,直到耗尽所有的值 如果您指定 如果你设置 数据类型:λ
j
j
j
单
偏见- - - - - -初始截距估计
数字标量|数值向量
数字标量
初步截距估计( 如果您指定一个标量,那么软件将优化目标函数 软件优化使用 使用结果估计作为下一个优化迭代的温暖开始,并在中使用下一个最小值 软件执行第2步,直到耗尽所有的值 如果您指定 默认情况下: 如果 如果 数据类型:λ
j
j
j
学习者
j
单
FitBias- - - - - -线性模型截距包含标志
真正的
(默认)|假
真正的
(默认)|假
线性模型截距包含标志,指定为由逗号分隔的对组成 例子: 数据类型:
价值 描述
真正的
该软件包括偏差项
假
软件集 “FitBias”,假的
逻辑
PostFitBias- - - - - -标志拟合优化后的线性模型截距
假
(默认)|真正的
假
(默认)|真正的
标志来拟合优化后的线性模型截距,指定为由逗号分隔的对组成 估计 估计 估计分类分数 不菲 如果你指定 例子: 数据类型:
价值 描述
假
软件估计偏差项
真正的
FitBias
“PostFitBias”,真的
逻辑
详细的- - - - - -冗长的水平
0
(默认)|1
0
(默认)|1
详细级别,指定为逗号分隔的对,由 例子: 数据类型:
价值 描述
0
templateLinear
1
templateLinear
“详细”,1
单
BatchSize- - - - - -Mini-batch大小
正整数
正整数
小批量大小,指定为由逗号分隔的对组成 如果预测器数据是数字矩阵,则默认值为 如果预测器数据是稀疏矩阵,则默认值为 例子: 数据类型:
“BatchSize”,100年
单
LearnRate- - - - - -学习速率
积极的标量
积极的标量
学习率,指定为由逗号分隔的对组成 如果
λ 如果 如果 如果 默认情况下, 例子: 数据类型:
正则化
λ
解算器
“LearnRate”,0.01
单
OptimizeLearnRate- - - - - -标志降低学习率
真正的
(默认)|假
真正的
(默认)|假
标志,以在软件检测到发散(即超过最小值)时降低学习率,指定为逗号分隔的对,由 如果 对于很少的优化迭代,软件开始优化使用 如果目标函数值增加,则软件重新启动并使用当前学习率值的一半。 软件迭代第2步,直到目标函数减小。 例子: 数据类型:
LearnRate
“OptimizeLearnRate”,真的
逻辑
TruncationPeriod- - - - - -套索截断运行之间的小批数量
10
(默认)|正整数
10
(默认)|套索截断运行之间的小批数,指定为逗号分隔的对,由 截断运行后,软件应用软阈值的线性系数。即加工后
SGD, ASGD, 如果 例子: 数据类型:
λ
正则化
“TruncationPeriod”,100年
单
BatchLimit- - - - - -最大批次数
正整数
正整数
要处理的最大批数,指定为逗号分隔的对,由 默认情况下: 软件通过这些数据 如果指定多个求解器,并使用(A)SGD来获得下一个求解器的初始近似值,则默认值为 如果你指定 例子: 数据类型:
PassLimit
BatchSize
'
“BatchLimit”,100年
单
BetaTolerance- - - - - -线性系数和偏置项的相对公差
1的军医
(默认)|负的标量
1的军医
(默认)|对线性系数和偏置项(截距)的相对公差,指定为逗号分隔的对,由 让 中指定的最后一个求解器,如果该软件收敛 例子: 数据类型:解算器
e-6 BetaTolerance, 1
单
NumCheckConvergence- - - - - -下一次收敛检查前要处理的批次数
正整数
正整数
在下一次收敛检查之前要处理的批数,指定为由逗号分隔的对组成 要指定批处理大小,请参见 默认情况下,每次通过整个数据集,软件都会检查大约10次收敛性。 例子: 数据类型:BatchSize
“NumCheckConvergence”,100年
单
PassLimit- - - - - -最大通过次数
1
(默认)|正整数
1
(默认)|通过数据的最大次数,指定为逗号分隔的对,由 当软件完成一次数据处理后,它就处理了所有的观察结果。 当软件通过数据时 如果你指定 例子: 数据类型:BatchLimit
“PassLimit”,5
单
BetaTolerance- - - - - -线性系数和偏置项的相对公差
1的军医
(默认)|负的标量
1的军医
(默认)|对线性系数和偏置项(截距)的相对公差,指定为逗号分隔的对,由 让 如果你还指定 中指定的最后一个求解器,如果该软件收敛 例子: 数据类型:DeltaGradientTolerance
解算器
e-6 BetaTolerance, 1
单
DeltaGradientTolerance- - - - - -Gradient-difference宽容
1
(默认)|负的标量
1
(默认)|上下池之间的梯度差公差 如果KKT违反者的量级小于 中指定的最后一个求解器,如果该软件收敛 例子: 数据类型:
解算器
依照“DeltaGapTolerance”,1
双
NumCheckConvergence- - - - - -在下一次收敛检查之前,通过整个数据集处理的次数
5
(默认)|正整数
5
(默认)|在下一次收敛检查之前,通过整个数据集要处理的次数,指定为由逗号分隔的对组成的 例子: 数据类型:“NumCheckConvergence”,100年
单
PassLimit- - - - - -最大通过次数
10
(默认)|正整数
10
(默认)|通过数据的最大次数,指定为逗号分隔的对,由 当软件完成对数据的一次处理时,它已经处理了所有的观察结果。 当软件通过数据时 例子: 数据类型:“PassLimit”,5
单
BetaTolerance- - - - - -线性系数和偏置项的相对公差
1的军医
(默认)|负的标量
1的军医
(默认)|线性系数和偏置项(截距)的相对公差,指定为非负标量。 让 如果你还指定 中指定的最后一个求解器,如果该软件收敛 例子: 数据类型:GradientTolerance
解算器
e-6 BetaTolerance, 1
单
GradientTolerance- - - - - -绝对梯度公差
1 e-6
(默认)|负的标量
1 e-6
(默认)|绝对梯度公差,指定为非负标量。 让 如果你还指定 如果软件收敛于软件中指定的最后一个求解器,则优化终止。否则,软件将使用中指定的下一个求解器 例子: 数据类型:BetaTolerance
解算器
e-5 GradientTolerance, 1
单
HessianHistorySize- - - - - -黑森近似的历史缓冲区大小
15
(默认)|正整数
15
(默认)|黑森近似的历史缓冲区大小,指定为逗号分隔的对,由 软件不支持金宝app 例子: 数据类型:“HessianHistorySize”,10
单
IterationLimit- - - - - -优化迭代的最大次数
1000
(默认)|正整数
1000
(默认)|优化迭代的最大次数,指定为由逗号分隔的对组成 例子: 数据类型:解算器
“IterationLimit”,500年
单
输出参数
t-线性分类模型学习模板模板对象
线性分类模型学习器模板,作为模板对象返回。要使用高维数据为多类问题训练线性分类模型,请通过t来fitcecoc.
如果你显示t,则所有未指定的选项均为空([]).但是,在训练过程中,软件会将空选项替换为相应的默认值。
t-线性分类模型学习模板模板对象
线性分类模型学习器模板,作为模板对象返回。要使用高维数据为多类问题训练线性分类模型,请通过 如果你显示fitcecoc
更多关于
温暖的开始
一个温暖的开始是beta系数和偏差项的初始估计,提供给优化例程,以实现更快的收敛。
温暖的开始
一个温暖的开始是beta系数和偏差项的初始估计,提供给优化例程,以实现更快的收敛。
一个
提示
最好的做法是确定预测矩阵的方向,使观察值与列相对应,并进行指定“ObservationsIn”、“列”.因此,您可以体验到优化执行时间的显著减少。
如果预测器数据有很少的观测值,但有很多预测变量,则:
指定“PostFitBias”,真的.
对于SGD或ASGD求解器,设置PassLimit一个大于1的正整数,例如,5或10。这种设置通常会产生更好的准确性。
对于SGD和ASGD求解器,BatchSize影响收敛速度。
如果BatchSize,则软件在多次迭代中达到最小值,但每次迭代快速计算梯度。
如果BatchSize,则软件在较少的迭代中达到最小值,但每次迭代计算梯度速度较慢。
学习率高(见LearnRate)加速收敛到最小值,但可能导致发散(即超过最小值)。小的学习率确保收敛到最小,但可能导致缓慢的终止。
如果正则化是“套索”,然后用不同的值进行实验TruncationPeriod.例如,setTruncationPeriod来1,10,然后One hundred..
为了提高效率,该软件没有将预测数据标准化。为了标准化预测数据(X),输入
X = bsxfun (@rdivide bsxfun (@minus X,意味着(X, 2)),性病(0,2));
代码要求将预测器和观察值定向为的行和列X,分别。此外,为了节省内存使用,代码将原始预测数据替换为标准化数据。
最好的做法是确定预测矩阵的方向,使观察值与列相对应,并进行指定
“ObservationsIn”、“列” .因此,您可以体验到优化执行时间的显著减少。 如果预测器数据有很少的观测值,但有很多预测变量,则:
指定
“PostFitBias”,真的 . 对于SGD或ASGD求解器,设置
PassLimit
一个大于1的正整数,例如,5或10。这种设置通常会产生更好的准确性。
对于SGD和ASGD求解器,
BatchSize
影响收敛速度。 如果
BatchSize ,则软件在多次迭代中达到最小值,但每次迭代快速计算梯度。 如果
BatchSize ,则软件在较少的迭代中达到最小值,但每次迭代计算梯度速度较慢。
学习率高(见
LearnRate
)加速收敛到最小值,但可能导致发散(即超过最小值)。小的学习率确保收敛到最小,但可能导致缓慢的终止。 如果
正则化
是 “套索” ,然后用不同的值进行实验 TruncationPeriod
.例如,set TruncationPeriod 来 1 , 10 ,然后 One hundred. . 为了提高效率,该软件没有将预测数据标准化。为了标准化预测数据(
X ),输入 X = bsxfun (@rdivide bsxfun (@minus X,意味着(X, 2)),性病(0,2));
代码要求将预测器和观察值定向为的行和列
X ,分别。此外,为了节省内存使用,代码将原始预测数据替换为标准化数据。
参考文献
[1]谢长杰,张桂文,林长杰,s.s. Keerthi, s.s Sundararajan。大规模线性支持向量机的双坐标下降方法。第25届国际机器学习会议论文集,ICML ' 08, 2001, pp. 408-415。
[2] Langford, J., Li ., and T. Zhang。“通过截断梯度的稀疏在线学习。”j·马赫。学习。Res。, Vol. 10, 2009, pp. 777-801。
[3]诺西德尔,J.和S. J.赖特。数值优化,第二版,纽约:施普林格,2006。
[4]沙利夫-施瓦兹,S. Y.辛格和N.斯雷布罗。Pegasos:支持向量机的原始估计次梯度求解器第24届机器学习国际会议论文集,ICML ' 07, 2007,第807-814页。
[5]赖特,S. J. R. D.诺瓦克,M. A. T.菲格雷多。"可分离近似的稀疏重建"反式。Proc团体。,卷57,第7期,2009,第2479-2493页。
小,林。正则化随机学习和在线优化的双平均方法j·马赫。学习。Res。, Vol. 11, 2010, pp. 2543-2596。
徐伟。“用平均随机梯度下降法实现最优一次大规模学习”相关系数, abs/1107.2490, 2011。
[1]谢长杰,张桂文,林长杰,s.s. Keerthi, s.s Sundararajan。大规模线性支持向量机的双坐标下降方法。
[2] Langford, J., Li ., and T. Zhang。“通过截断梯度的稀疏在线学习。”
[3]诺西德尔,J.和S. J.赖特。
[4]沙利夫-施瓦兹,S. Y.辛格和N.斯雷布罗。Pegasos:支持向量机的原始估计次梯度求解器
[5]赖特,S. J. R. D.诺瓦克,M. A. T.菲格雷多。"可分离近似的稀疏重建"
小,林。正则化随机学习和在线优化的双平均方法
徐伟。“用平均随机梯度下降法实现最优一次大规模学习”
扩展功能
高大的数组使用行数超过内存容量的数组进行计算。
通过传递线性模型模板和高数组来训练模型时的使用注意事项和限制fitcecoc:
当您使用高数组时,这些名称-值对参数的默认值是不同的。
“λ”-可以“汽车”(默认值)或标量
“正规化”—仅金宝app支持“岭”
“规划求解”—仅金宝app支持“lbfgs”
“FitBias”—仅金宝app支持真正的
“详细”—默认值为1
“BetaTolerance”—将默认值放宽为1 e - 3
“GradientTolerance”—将默认值放宽为1 e - 3
“IterationLimit”—将默认值放宽为20.
当fitcecoc使用一个templateLinear对象的高数组,唯一可用的求解器是LBFGS。该软件通过在每次迭代中将损失和梯度计算分布到高阵列的不同部分来实现LBFGS。的初始值β而且偏见,该软件通过将模型局部拟合到部分数据,并通过求平均来组合系数,从而优化参数的初始估计。
有关更多信息,请参见高大的数组.
高大的数组使用行数超过内存容量的数组进行计算。
通过传递线性模型模板和高数组来训练模型时的使用注意事项和限制 当您使用高数组时,这些名称-值对参数的默认值是不同的。 当 有关更多信息,请参见fitcecoc
“λ”
“正规化”
“规划求解”
“FitBias”
“详细”
“BetaTolerance”
“GradientTolerance”
“IterationLimit”
版本历史
在R2016a中引入
在R2016a中引入
另请参阅
Abrir比如
Tiene una versión modificada de este ejemplo。¿Desea abrir este ejemplo con sus modificaciones?
MATLAB突击队
Ha hecho clic en unenlace que对应一个este commando de MATLAB: 弹射突击队introduciéndolo en la ventana de commandos de MATLAB。Los navegadores web no permission comandos de MATLAB。
您也可以从以下列表中选择一个网站: 选择中国站点(中文或英文)以获得最佳站点性能。其他MathWorks国家站点没有针对您所在位置的访问进行优化。如何获得最佳的网站性能
欧洲