incrementalLearner

线性模型转换为二进制增量学习分类

语法

IncrementalMdl = incrementalLearner (Mdl)

IncrementalMdl = incrementalLearner (Mdl、名称、值)

描述

IncrementalMdl= incrementalLearner (Mdl)返回一个二进制分类线性模型增量学习,IncrementalMdl使用hyperparameters和传统训练的线性模型的系数二进制分类,Mdl。因为它的属性值反映而获得的知识Mdl,IncrementalMdl可以预测标签给新观测,它是什么温暖的,这意味着其预测性能跟踪。

例子

IncrementalMdl= incrementalLearner (Mdl,名称,值)使用附加选项指定一个或多个参数名称-值对。一些选项需要你火车IncrementalMdl之前预测性能跟踪。例如,“MetricsWarmupPeriod”, 50岁,“MetricsWindowSize”, 100指定了一个初步的增量训练时期的前50观测性能指标跟踪,并指定处理100年观测之前更新性能指标。

例子

全部折叠

传统培训模式转换为增量学习

打开生活的脚本

火车二进制线性分类模型学习使用fitclinear,然后把它转换成一个增量学习。

加载和数据预处理

载入人类活动数据集。

负载humanactivity

细节的数据集,输入描述在命令行中。

响应可以是五类:坐着,站,走,运行,或跳舞。二分响应通过识别主题是否移动(actid> 2)。

Y = actid > 2;

火车线性分类模型

适合一个线性分类模型对整个数据集。

TTMdl = fitclinear(壮举,Y)

TTMdl = ClassificationLinear ResponseName:“Y”类名:[0 1]ScoreTransform:“没有一个”测试:[60 x1双]偏见:-0.2005λ:4.1537 e-05学习者:“支持向量机”属性,方法

TTMdl是一个ClassificationLinear模型对象代表了一个传统上训练有素的线性分类模型。

转换训练模型

传统训练线性分类模型转换为一个二进制分类线性模型的增量学习。

IncrementalMdl = incrementalLearner (TTMdl)

IncrementalMdl = incrementalClassificationLinear IsWarm: 1指标:[1 x2表]一会:[0 1]ScoreTransform:“没有一个”测试:[60 x1双]偏见:-0.2005学习者:“支持向量机”属性,方法

IncrementalMdl是一个incrementalClassificationLinear模型对象准备使用SVM增量学习。

的incrementalLearner函数初始化增量学习者通过学习系数,以及其他信息TTMdl从训练数据中提取。
IncrementalMdl是温暖的IsWarm是1),这意味着可以开始跟踪性能指标增量学习功能。
的incrementalLearner函数火车模型使用自适应尺度不变的解决者,而fitclinear训练有素的TTMdl用高炉煤气的能手。

预测的反应

增量学习者从转换创建一个传统训练模型可以生成预测没有进一步处理。

所有观测使用这两种模型预测分类得分。

[~,ttscores] =预测(TTMdl壮举);[~,ilscores] =预测(IncrementalMdl壮举);compareScores =规范(ttscores (: 1)——ilscores (: 1))

compareScores = 0

之间的差异模型产生的分数是0。

指定SGD解决和规范预测数据

打开生活的脚本

如果你训练一个线性分类模型使用SGD或ASGD解算器,incrementalLearner保存解算器、线性模型类型和相关hyperparameter值时将线性分类模型。

载入人类活动数据集。

负载humanactivity

细节的数据集,输入描述在命令行中。

响应可以是五类:坐着,站着,箍住,跑步,或者跳舞。二分响应通过识别主题是否移动(actid> 2)。

Y = actid > 2;

随机把数据分成两半:上半年培训模式传统,下半年的增量学习。

n =元素个数(Y);rng (1)%的再现性本量利= cvpartition (n,“坚持”,0.5);idxtt =培训(cvp);idxil =测试(cvp);%上半年的数据Xtt =壮举(idxtt:);Ytt = Y (idxtt);%下半年的数据自=壮举(idxil:);Yil = Y (idxil);

创建一组11对数间隔的正则化的优势 $10^{- - - - - - 6}$ 通过 $10^{- - - - - - 0 。 5}$ 。

-0.5λ= logspace(6日,11);

因为不同尺度变量,使用隐式扩张标准化预测数据。

Xtt = (Xtt -意味着(Xtt)。/性病(Xtt);

通过应用5倍交叉验证优化L2正则化参数。指定标准SGD解算器。

Ytt TTCVMdl = fitclinear (Xtt,“KFold”5,“学习者”,“物流”,…“规划求解”,“sgd”,“λ”λ);

TTCVMdl是一个ClassificationPartitionedLinear模型代表的五个模型中创建交叉验证(见TTCVMdl.Trained)。交叉验证过程包括每个指定的正规化训练价值。

计算旨在为每个模型和正则化分类错误。

cvloss = kfoldLoss (TTCVMdl)

cvloss =1×110.0054 0.0039 0.0034 0.0033 0.0030 0.0027 0.0027 0.0031 0.0036 0.0056 0.0077

cvloss包含每个正则化的测试样本分类损失值兰。

选择正则化值最小化分类误差。火车模型再次使用选定的正则化的价值。

[~,idxmin] = min (cvloss);Ytt TTMdl = fitclinear (Xtt,“学习者”,“物流”,“规划求解”,“sgd”,…“λ”λ(idxmin));

TTMdl是一个ClassificationLinear模型。

传统训练线性分类模型转换为一个二进制分类线性模型的增量学习。指定标准SGD解算器。准备标准化预测增量学习功能。这个动作需要一个初期估算预测均值和标准差。指定一个估计的时期2000年观察(默认1000年当需要预测时刻)。

IncrementalMdl = incrementalLearner (TTMdl,“标准化”,真的,“EstimationPeriod”,2000);

IncrementalMdl是一个incrementalClassificationLinear模型对象。incrementalLearner通过解算器和正则化强度等信息从培训TTMdl,IncrementalMdl。

下半年适合增量模型使用的数据适合函数。在每一次迭代:

模拟数据流处理10观测一次。
覆盖前面的增量式模型与一个新安装的观察。
商店 $β_{1}$ 培训期间看到它的发展。

%预先配置nil =元素个数(Yil);numObsPerChunk = 10;nchunk =地板(nil / numObsPerChunk);learnrate = [IncrementalMdl.LearnRate;0 (nchunk 1)];beta1 = [IncrementalMdl.Beta (1);0 (nchunk 1)];%增量式拟合为j = 1: nchunk ibegin = min (nil, numObsPerChunk * (j - 1) + 1);iend = min (nil, numObsPerChunk * j);idx = ibegin: iend;IncrementalMdl =适合(IncrementalMdl自(idx:), Yil (idx));beta1 (j + 1) = IncrementalMdl.Beta (1);结束

IncrementalMdl是一个incrementalClassificationLinear模型对象培训中的所有数据流。

情节 $β_{1}$ 看到它是如何进化的。

情节(beta1) ylabel (“\ beta_1”)参照线(IncrementalMdl.EstimationPeriod / numObsPerChunk,r -。);包含(“迭代”)

图包含一个坐标轴对象。坐标轴对象包含2线类型的对象,constantline。

因为适合不符合模型的流数据在评估期间, $β_{1}$ 是恒定的第一200次迭代(2000观察)。然后, $β_{1}$ 在增量的突然变化。

配置性能指标选项

打开生活的脚本

使用一个训练有素的线性分类模型初始化增量学习。准备学习者通过指定一个增量指标预热期,在此期间updateMetricsAndFit功能只适合模型。指定一个指标500观察的窗口大小。

载入人类活动数据集。

负载humanactivity

细节的数据集,输入描述在命令行中。

响应可以是五类:坐着,站着,散步、跑步、和跳舞。二分响应通过识别主题是否移动(actid> 2)。

Y = actid > 2;

因为数据集分组活动,改组为简单起见。然后,随机把数据分成两半:上半年培训模式传统,下半年的增量学习。

n =元素个数(Y);rng (1)%的再现性本量利= cvpartition (n,“坚持”,0.5);idxtt =培训(cvp);idxil =测试(cvp);shuffidx = randperm (n);X =壮举(shuffidx:);Y = Y (shuffidx);%上半年的数据Xtt = X (idxtt:);Ytt = Y (idxtt);%下半年的数据自= X (idxil:);Yil = Y (idxil);

线性分类模型适合上半年数据。

TTMdl = fitclinear (Xtt Ytt);

传统训练线性分类模型转换为一个二进制分类线性模型的增量学习。指定以下:

一个性能指标预热期2000年的观察
一个指标500观察的窗口大小
使用分类误差和铰链损失测量模型的性能

IncrementalMdl = incrementalLearner (TTMdl,“MetricsWarmupPeriod”,2000,“MetricsWindowSize”,500,…“指标”,(“classiferror”“枢纽”]);

下半年适合增量模型使用的数据updateMetricsAndFit函数。在每一次迭代:

模拟数据流处理一块20的观察。
覆盖前面的增量式模型与一个新安装的观察。
商店 $β_{1}$ 、累积度量和窗口指标增量学习期间看到他们如何演变。

%预先配置nil =元素个数(Yil);numObsPerChunk = 20;nchunk =装天花板(nil / numObsPerChunk);ce = array2table (0 (nchunk, 2),“VariableNames”,(“累积”“窗口”]);铰链= array2table (0 (nchunk, 2),“VariableNames”,(“累积”“窗口”]);beta1 = 0 (nchunk, 1);%增量式拟合为j = 1: nchunk ibegin = min (nil, numObsPerChunk * (j - 1) + 1);iend = min (nil, numObsPerChunk * j);idx = ibegin: iend;IncrementalMdl = updateMetricsAndFit (IncrementalMdl自(idx:), Yil (idx));ce {j:} = IncrementalMdl.Metrics {“ClassificationError”,:};铰链{j:} = IncrementalMdl.Metrics {“HingeLoss”,:};beta1 (j + 1) = IncrementalMdl.Beta (1);结束

IncrementalMdl是一个incrementalClassificationLinear模型训练的所有数据流。在增量学习模型是热身之后,updateMetricsAndFit检查模型的性能的观察,然后符合模型观察。

性能指标和 $β_{1}$ 进化在训练,放到单独的次要情节。

图;次要情节(1,1)情节(beta1) ylabel (“\ beta_1”)xlim ([0 nchunk]);参照线(IncrementalMdl.MetricsWarmupPeriod / numObsPerChunk,r -。);次要情节(3、1、2)h =情节(ce.Variables);xlim ([0 nchunk]);ylabel (分类错误的)参照线(IncrementalMdl.MetricsWarmupPeriod / numObsPerChunk,r -。);传奇(h, ce.Properties.VariableNames“位置”,“西北”次要情节(3,1,3)h =情节(hinge.Variables);xlim ([0 nchunk]);ylabel (“铰链损失”)参照线(IncrementalMdl.MetricsWarmupPeriod / numObsPerChunk,r -。);传奇(h, hinge.Properties.VariableNames“位置”,“西北”)包含(“迭代”)

图包含3轴对象。坐标轴对象1包含2线类型的对象,constantline。轴2包含3线类型的对象,对象constantline。这些对象代表累积,窗口。坐标轴对象3包含对象类型的线,constantline。这些对象代表累积,窗口。

情节表明updateMetricsAndFit以下:

适合 $β_{1}$ 在增量学习迭代。
计算后的性能指标度量预热期。
在每一次迭代计算累积度量。
计算窗口指标500年处理后观察迭代(25)。

输入参数

全部折叠

`Mdl`- - - - - -传统训练线性模型为二进制分类
`ClassificationLinear`模型对象

传统训练线性模型为二进制分类,指定为一个ClassificationLinear模型对象返回的fitclinear。

请注意

如果Mdl.Lambda是一个数值向量,您必须选择模型对应一个正规化的力量通过正规化的道路selectModels。
增量学习功能只支持数字输入预测数据。金宝app如果Mdl是适合分类数据,使用dummyvar每个分类变量转换为一个数字矩阵的虚变量,然后把所有哑变量矩阵和任何其他数值预测。更多细节,请参阅虚拟变量。

名称-值参数

指定可选的逗号分隔条名称,值参数。的名字参数名称和吗价值相应的价值。的名字必须出现在引号。您可以指定几个名称和值对参数在任何顺序Name1, Value1,…,的家。

例子:“规划求解”、“扇区”,“MetricsWindowSize”, 100指定为目标优化自适应尺度不变的解算器,并指定处理100年观测之前更新性能指标。

一般选择

全部折叠

`解算器`- - - - - -目标函数极小化技术
`“扇区”`(默认)|`“sgd”`|`“asgd”`

目标函数最小化技术,指定为逗号分隔组成的“规划求解”在这个表和一个值。

价值描述笔记

价值	描述	笔记
`“扇区”`	增量学习的自适应尺度不变的解算器 [1]	该算法参数是免费的,可以适应不同的预测。试试这个算法使用SGD或ASGD之前。前洗牌传入的批次`适合`函数的模型,设置`洗牌`来`真正的`。
`“sgd”`	随机梯度下降法(SGD)[3][2]	培训有效地与SGD,标准化数据并指定适当的值hyperparameters使用选项中列出SGD和ASGD解算器选项。的`适合`函数总是打乱传入之前批数据拟合模型。
`“asgd”`	平均随机梯度下降法(ASGD)[4]	培训有效地与ASGD,标准化数据并指定适当的值hyperparameters使用选项中列出SGD和ASGD解算器选项。的`适合`函数总是打乱传入之前批数据拟合模型。

“扇区”

增量学习的自适应尺度不变的解算器 [1]

该算法参数是免费的,可以适应不同的预测。试试这个算法使用SGD或ASGD之前。
前洗牌传入的批次适合函数的模型,设置洗牌来真正的。

“sgd”

随机梯度下降法(SGD)[3][2]

培训有效地与SGD,标准化数据并指定适当的值hyperparameters使用选项中列出SGD和ASGD解算器选项。
的适合函数总是打乱传入之前批数据拟合模型。

“asgd”

平均随机梯度下降法(ASGD)[4]

培训有效地与ASGD,标准化数据并指定适当的值hyperparameters使用选项中列出SGD和ASGD解算器选项。
的适合函数总是打乱传入之前批数据拟合模型。

例子:“规划求解”、“sgd”

数据类型:字符|字符串

`EstimationPeriod`- - - - - -数量的观测估计hyperparameters处理
非负整数

数量的观察处理的增量式模型来估计hyperparameters培训或跟踪性能指标之前,指定为逗号分隔组成的“EstimationPeriod”和一个非负整数。

请注意

如果Mdl是准备增量学习(指定所有必需hyperparameters培训),incrementalLearner部队“EstimationPeriod”来0。
如果Mdl不是准备增量学习,incrementalLearner集“EstimationPeriod”来1000年。

更多细节,请参阅估计时间。

例子:“EstimationPeriod”, 100年

数据类型:单|双

`标准化`- - - - - -国旗标准化预测数据
`假`(默认)|`真正的`

标志标准化预测数据,指定为逗号分隔组成的“标准化”在这个表和一个值。

价值	描述
`真正的`	标准化的软件预测数据。更多细节,请参阅标准化数据。
`假`	不规范的软件预测数据。

例子:“标准化”,真的

数据类型:逻辑

SGD和ASGD解算器选项

全部折叠

`BatchSize`- - - - - -Mini-batch大小
正整数

Mini-batch大小,指定为逗号分隔组成的“BatchSize”和一个正整数。在每个迭代训练,incrementalLearner使用min (BatchSize numObs)观察计算次梯度,numObs观察的数量在训练数据传递给吗适合或updateMetricsAndFit。

如果Mdl.ModelParameters.Solver是“sgd”或“asgd”,你不能设置“BatchSize”。相反,incrementalLearner集“BatchSize”来Mdl.ModelParameters.BatchSize。
否则,BatchSize是10。

例子:“BatchSize”, 1

数据类型:单|双

`λ`- - - - - -脊(l2)正则化项的力量
负的标量

脊(l2)正则化项,指定为逗号分隔组成的“λ”和一个负的标量。

当Mdl.Regularization是“岭(L2)”:

如果Mdl.ModelParameters.Solver是“sgd”或“asgd”,你不能设置“λ”。相反,incrementalLearner集“λ”来Mdl.Lambda。
否则,λ是1 e-5。

请注意

incrementalLearner不支持套索正规化。金宝app如果Mdl.Regularization是“套索(L1)”,incrementalLearner使用脊正规化相反,和设置“规划求解”名称-值对参数“扇区”默认情况下。

例子:“λ”,0.01

数据类型:单|双

`LearnRate`- - - - - -学习速率
`“汽车”`|积极的标量

学习速率,指定为逗号分隔组成的“LearnRate”和“汽车”或积极的标量。LearnRate控制的优化步长扩展目标次梯度。

如果Mdl.ModelParameters.Solver是“sgd”或“asgd”,你不能设置“LearnRate”。相反,incrementalLearner集“LearnRate”来Mdl.ModelParameters.LearnRate。
否则,LearnRate是“汽车”。

为“汽车”:

如果EstimationPeriod是0,最初的学习速率0.7。
如果EstimationPeriod>0,最初的学习速率1 /√(1 + max (sum (x ^ 2, obsDim))),在那里obsDim是1如果观测组合预测的列数据,和2否则。适合和updateMetricsAndFit设置值时传递函数模型和训练数据。

名称-值对的观点“LearnRateSchedule”决定了学习速率对后续学习周期。

例子:“LearnRate”, 0.001

数据类型:单|双|字符|字符串

`LearnRateSchedule`- - - - - -学习速率的时间表
`“腐烂”`(默认)|`“不变”`

学习速率的时间表,指定为逗号分隔组成的“LearnRateSchedule”在这张桌子和一个值,LearnRate指定初始学习速率ɣ₀。

价值描述

“不变” 学习速率是ɣ₀学习周期。

价值	描述
`“不变”`	学习速率是ɣ₀学习周期。
`“腐烂”`	学习速率的学习周期t是 $γ_{t} = \frac{γ_{0}}{{(1 + λ γ_{0} t)}^{c}} 。$ λ的值是`λ`。如果`解算器`是`“sgd”`,然后c= 1。如果`解算器`是`“asgd”`,然后c是0.75[4]。

“腐烂”

学习速率的学习周期t是

$γ_{t} = \frac{γ_{0}}{{(1 + λ γ_{0} t)}^{c}} 。$

λ的值是λ。
如果解算器是“sgd”,然后c= 1。
如果解算器是“asgd”,然后c是0.75[4]。

如果Mdl.ModelParameters.Solver是“sgd”或“asgd”,你不能设置“LearnRateSchedule”。

例子:“LearnRateSchedule”、“不变”

数据类型:字符|字符串

自适应尺度不变的解算器选项

全部折叠

`洗牌`- - - - - -国旗在批洗牌的观察
`真正的`(默认)|`假`

国旗洗牌的观察在批处理在每个迭代中,指定为逗号分隔组成的“洗牌”在这个表和一个值。

价值	描述
`真正的`	软件打乱观察每个传入之前批数据处理。这一行动减少偏见引起的抽样方案。
`假`	软件处理数据的顺序接收。

例子:“洗牌”,假的

数据类型:逻辑

性能指标的选择

全部折叠

`指标`- - - - - -在增量学习模型性能指标来跟踪
`“classiferror”`(默认)|字符串向量|函数处理|细胞向量|结构数组|`“binodeviance”`|`“指数”`|`“枢纽”`|`“分对数”`|`“二次”`|……

模型性能指标来跟踪在增量学习的updateMetrics或updateMetricsAndFit函数,指定为一个内置的损失函数的名字,名字,函数的字符串向量处理(@metricName)、结构的功能处理或细胞向量的名字,函数处理,或结构数组。

下表列出了内置的损失函数的名字。您可以指定多个通过使用一个字符串向量。

的名字	描述
`“binodeviance”`	二项异常
`“classiferror”`	分类错误
`“指数”`	指数
`“枢纽”`	铰链
`“分对数”`	物流
`“二次”`	二次

内置的损失函数的更多细节,请参阅损失。

例子:“指标”,(“classiferror”“枢纽”)

指定一个自定义函数,返回一个性能指标,使用函数处理符号。函数必须有这种形式:

度量= customMetric (C, S)

输出参数度规是一个n1数值向量,其中每个元素是损失相应的观测数据通过处理增量学习函数在一个学习周期。
你指定函数名(customMetric)。
C是一个n2逻辑矩阵行指示相应的观察所属的类。列顺序对应于类顺序Mdl.ClassNames。创建C通过设置C (p,问)=1,如果观察p是在课堂上问指定的数据,对于每一个观察。设置行中的其他元素p来0。
年代是一个n2数值矩阵的预测分类的分数。年代类似于分数的输出预测,行对应于观测数据和列顺序对应于类顺序Mdl.ClassNames。S (p,问)分类的观察吗p在课堂上被分类问。

指定多个自定义指标和分配自定义名称,使用结构数组。指定一个内置的和自定义指标的组合,使用细胞向量。

例子:“指标”,结构(‘Metric2’,‘Metric1’, @customMetric1 @customMetric2)

例子:“指标”,{@customMetric1 @customeMetric2分对数的结构(Metric3, @customMetric3)}

updateMetrics和updateMetricsAndFit在属性存储表中指定的度量IncrementalMdl.Metrics。的数据类型指标决定了行表的名称。

`“指标”`值数据类型	的描述`指标`属性行名称	例子
字符串或字符向量	相应的内置的度量	行名称`“classiferror”`是`“ClassificationError”`
结构数组	字段名	行名称`结构(Metric1, @customMetric1)`是`“Metric1”`
函数句柄函数存储在程序文件中	函数的名字	行名称`@customMetric`是`“customMetric”`
匿名函数	`CustomMetric_j`,在那里`j`是度量`j`在`指标`	行名称`@ (C, S) customMetric (C, S)……`是`CustomMetric_1`

性能指标选择的更多细节,请参阅性能指标。

数据类型:字符|字符串|结构体|细胞|function_handle

`MetricsWarmupPeriod`- - - - - -数量的观测符合之前跟踪性能指标
`0`(默认)|非负整数|……

数量的观察增量式模型之前必须适合其跟踪性能指标指标属性,指定为逗号分隔组成的“MetricsWarmupPeriod”和一个非负整数。增量模型是适合温暖的增量后拟合函数MetricsWarmupPeriod观察到增量式模型(EstimationPeriod+MetricsWarmupPeriod观察)。

性能指标选择的更多细节,请参阅性能指标。

数据类型:单|双

`MetricsWindowSize`- - - - - -数量的观察使用性能指标计算窗口
`200年`(默认)|正整数|……

数量的观察使用性能指标计算窗口,指定为一个正整数。

性能指标选择的更多细节,请参阅性能指标。

数据类型:单|双

输出参数

全部折叠

`IncrementalMdl`——二元分类线性模型的增量学习
`incrementalClassificationLinear`模型对象

二进制分类线性模型的增量学习,作为一个返回incrementalClassificationLinear模型对象。IncrementalMdl也配置为生成了新的预测数据(看到了吗预测)。

初始化IncrementalMdl增量学习,incrementalLearner传递的值Mdl这个表的属性的属性IncrementalMdl。

财产	描述
`β`	线性模型系数,数值向量
`偏见`	拦截模型,数字标量
`一会`	类为二进制分类标签,一个双元素列表
`ModelParameters.FitBias`	线性模型拦截包含国旗
`学习者`	线性分类模型类型
`之前`	前类标签分布,数值向量

算法

全部折叠

估计时间

在评估期间,增量式拟合函数适合和updateMetricsAndFit使用第一个进来的EstimationPeriod观察评估(曲调)hyperparameters增量所需的培训。此表描述了hyperparameters当他们估计或调整。

Hyperparameter 模型属性使用 Hyperparameters估计

预测均值和标准差

Hyperparameter	模型属性	使用	Hyperparameters估计
预测均值和标准差	`μ`和`σ`	标准化预测数据	当您设置`“标准化”,真的`(见标准化数据)
学习速率	`LearnRate`	解算器调整步长	当这两个条件: 你改变的解决者`Mdl`SGD或ASGD(见`解算器`)。你不设置`“LearnRate”`名称-值对的论点。

μ和σ

标准化预测数据

当您设置“标准化”,真的(见标准化数据)

学习速率

LearnRate

解算器调整步长

当这两个条件:

你改变的解决者MdlSGD或ASGD(见解算器)。
你不设置“LearnRate”名称-值对的论点。

功能只适合最后评估期间观察到增量模型,他们不使用任何观测模型的跟踪性能。在估计期的结束,更新的属性存储hyperparameters功能。

标准化数据

如果增量学习功能配置标准化预测变量,他们使用中存储的均值和标准差μ和σ增量学习模型的属性IncrementalMdl。

当您设置“标准化”,真的,IncrementalMdl.Mu和IncrementalMdl.Sigma是空的,适用下列条件:
- 如果评估是积极的(参见时期EstimationPeriod的属性IncrementalMdl均值和标准差),增量式拟合函数估计使用评估期间的观察。
- 如果估计时间为0,incrementalLearner部队估计时期1000年。因此,增量式拟合函数估计均值和标准差新预测变量强制评估期间。
当增量拟合函数均值和标准差估计预测,计算加权手段和功能使用评估期间观察加权标准差。具体来说,功能规范预测j(x_j)使用

$x_{j}^{*} = \frac{x_{j} - μ_{j}^{*}}{σ_{j}^{*}} 。$

在哪里
- x_j是预测j,x_jk是观察k的预测j在评估期间。
- $μ_{j}^{*} = \frac{1}{\sum_{k} w_{k}^{*}} \sum_{k} w_{k}^{*} x_{j k} 。$
- ${(σ_{j}^{*})}^{2} = \frac{1}{\sum_{k} w_{k}^{*}} \sum_{k} w_{k}^{*} {(x_{j k} - μ_{j}^{*})}^{2} 。$
- $w_{j}^{*} = \frac{w_{j}}{\sum_{\forall j \in 类 k} w_{j}} p_{k},$ 在哪里
  - p_k是类的先验概率k(之前增量模型)的属性。
  - w_j是观察体重j。

性能指标

的updateMetrics和updateMetricsAndFit函数增量学习函数跟踪模型性能指标(“指标”从新的数据增量式模型时)温暖的(IsWarm属性)。增量模型是温暖的适合或updateMetricsAndFit增量模型“MetricsWarmupPeriod”观察,这是度量预热期。
如果“EstimationPeriod”> 0,hyperparameters估计函数拟合模型的数据。因此,必须处理一个额外的功能EstimationPeriod观察模型开始前预热期的指标。
的指标增量模型的属性存储两种形式的各性能指标作为一个表的变量(列),累积和窗口行,个别指标。当增量模型是温暖的,updateMetrics和updateMetricsAndFit更新后频率的指标:
- 累积——函数计算累积度量模型以来的跟踪性能。更新指标的函数每次调用函数和基地提供的计算对整个数据集。
- 窗口——函数计算基于一个窗口内的所有观测指标决定的“MetricsWindowSize”名称-值对的论点。“MetricsWindowSize”也决定了软件更新的频率窗口指标。例如,如果MetricsWindowSize是20,函数计算指标根据过去的20的观察提供的数据(X((结束- 20 + 1):,:)和Y((- 20 + 1)结束:结束))。
  增量跟踪性能指标的函数在一个窗口中使用以下过程:
  1. 为每个指定的度量,存储缓冲区的长度MetricsWindowSize和一个缓冲的观察权重。
  2. 填充的元素指标基于批次缓冲与模型性能的观察,并存储相应的权重观察权重缓冲区。
  3. 当缓冲区满,覆盖IncrementalMdl.Metrics.Window窗口的加权平均性能指标。如果缓冲区溢出时,函数过程一批观察,最新的传入MetricsWindowSize观察输入缓冲区,和最早的观察从缓冲区中删除。例如,假设MetricsWindowSize是20,缓冲区的指标有10个值从一个以前批处理,和15值传入的。组成20窗口长度的函数使用15传入的观察和测量的最新5测量前一批。

引用

[1]Kempka、MichałWojciech Kotłowski,曼弗雷德·k·Warmuth。“自适应尺度不变的在线学习算法的线性模型”。相关系数(2019年2月)。https://arxiv.org/abs/1902.07528。

[2]兰福德,J。,l。li, and T. Zhang. “Sparse Online Learning Via Truncated Gradient.”j·马赫。学习。Res。10卷,2009年,页777 - 801。

[3]Shalev-Shwartz, S。,Y. Singer, and N. Srebro. “Pegasos: Primal Estimated Sub-Gradient Solver for SVM.”《24日国际会议在机器学习,ICML ' 07,2007年,页807 - 814。

[4]徐,魏。“对最优传递规模与平均随机梯度下降学习。”相关系数、abs / 1107.2490, 2011年。

另请参阅

对象

ClassificationLinear|incrementalClassificationLinear

功能

适合|updateMetrics|updateMetricsAndFit|预测

主题

介绍了R2020b

incrementalLearner

语法

描述

例子

传统培训模式转换为增量学习

指定SGD解决和规范预测数据

配置性能指标选项

输入参数

`Mdl`- - - - - -传统训练线性模型为二进制分类
`ClassificationLinear`模型对象

名称-值参数

`解算器`- - - - - -目标函数极小化技术
`“扇区”`(默认)|`“sgd”`|`“asgd”`

`EstimationPeriod`- - - - - -数量的观测估计hyperparameters处理
非负整数

`标准化`- - - - - -国旗标准化预测数据
`假`(默认)|`真正的`

`BatchSize`- - - - - -Mini-batch大小
正整数

`λ`- - - - - -脊(l2)正则化项的力量
负的标量

`LearnRate`- - - - - -学习速率
`“汽车”`|积极的标量

`LearnRateSchedule`- - - - - -学习速率的时间表
`“腐烂”`(默认)|`“不变”`

`洗牌`- - - - - -国旗在批洗牌的观察
`真正的`(默认)|`假`

`指标`- - - - - -在增量学习模型性能指标来跟踪
`“classiferror”`(默认)|字符串向量|函数处理|细胞向量|结构数组|`“binodeviance”`|`“指数”`|`“枢纽”`|`“分对数”`|`“二次”`|……

`MetricsWarmupPeriod`- - - - - -数量的观测符合之前跟踪性能指标
`0`(默认)|非负整数|……

`MetricsWindowSize`- - - - - -数量的观察使用性能指标计算窗口
`200年`(默认)|正整数|……

输出参数

`IncrementalMdl`——二元分类线性模型的增量学习
`incrementalClassificationLinear`模型对象

更多关于

增量学习

增量学习的自适应尺度不变的解算器

算法

估计时间

标准化数据

性能指标

引用

另请参阅

对象

功能

主题

统计和机器学习工具箱文档

金宝app

掌握机器学习:一个循序渐进的指导与MATLAB

incrementalLearner

语法

描述

例子

传统培训模式转换为增量学习

指定SGD解决和规范预测数据

配置性能指标选项

输入参数

Mdl- - - - - -传统训练线性模型为二进制分类ClassificationLinear模型对象

名称-值参数

解算器- - - - - -目标函数极小化技术“扇区”(默认)|“sgd”|“asgd”

EstimationPeriod- - - - - -数量的观测估计hyperparameters处理非负整数

标准化- - - - - -国旗标准化预测数据假(默认)|真正的

BatchSize- - - - - -Mini-batch大小正整数

λ- - - - - -脊(l2)正则化项的力量负的标量

LearnRate- - - - - -学习速率“汽车”|积极的标量

LearnRateSchedule- - - - - -学习速率的时间表“腐烂”(默认)|“不变”

洗牌- - - - - -国旗在批洗牌的观察真正的(默认)|假

指标- - - - - -在增量学习模型性能指标来跟踪“classiferror”(默认)|字符串向量|函数处理|细胞向量|结构数组|“binodeviance”|“指数”|“枢纽”|“分对数”|“二次”|……

MetricsWarmupPeriod- - - - - -数量的观测符合之前跟踪性能指标0(默认)|非负整数|……

MetricsWindowSize- - - - - -数量的观察使用性能指标计算窗口200年(默认)|正整数|……

输出参数

IncrementalMdl——二元分类线性模型的增量学习incrementalClassificationLinear模型对象

更多关于

增量学习

增量学习的自适应尺度不变的解算器

算法

估计时间

标准化数据

性能指标

引用

另请参阅

对象

功能

主题

统计和机器学习工具箱文档

金宝app

掌握机器学习:一个循序渐进的指导与MATLAB

`Mdl`- - - - - -传统训练线性模型为二进制分类
`ClassificationLinear`模型对象

`解算器`- - - - - -目标函数极小化技术
`“扇区”`(默认)|`“sgd”`|`“asgd”`

`EstimationPeriod`- - - - - -数量的观测估计hyperparameters处理
非负整数

`标准化`- - - - - -国旗标准化预测数据
`假`(默认)|`真正的`

`BatchSize`- - - - - -Mini-batch大小
正整数

`λ`- - - - - -脊(l2)正则化项的力量
负的标量

`LearnRate`- - - - - -学习速率
`“汽车”`|积极的标量

`LearnRateSchedule`- - - - - -学习速率的时间表
`“腐烂”`(默认)|`“不变”`

`洗牌`- - - - - -国旗在批洗牌的观察
`真正的`(默认)|`假`

`指标`- - - - - -在增量学习模型性能指标来跟踪
`“classiferror”`(默认)|字符串向量|函数处理|细胞向量|结构数组|`“binodeviance”`|`“指数”`|`“枢纽”`|`“分对数”`|`“二次”`|……

`MetricsWarmupPeriod`- - - - - -数量的观测符合之前跟踪性能指标
`0`(默认)|非负整数|……

`MetricsWindowSize`- - - - - -数量的观察使用性能指标计算窗口
`200年`(默认)|正整数|……

`IncrementalMdl`——二元分类线性模型的增量学习
`incrementalClassificationLinear`模型对象