主要内容

适合

为增量学习训练线性模型

描述

适合函数拟合线性回归的已配置增量学习模型(incrementalRegressionLinear对象)或线性二元分类(incrementalClassificationLinear对象)到流数据。若要在数据到达时使用它来跟踪性能指标,请使用updateMetricsAndFit代替。

若要一次性将回归或分类模型拟合或交叉验证到整批数据,请参阅中的其他机器学习模型回归分类

例子

Mdl=健康(MdlXY返回一个增量学习模型Mdl,表示输入增量学习模型Mdl使用预测器和响应数据进行训练,X而且Y分别。具体地说,适合实现以下过程:

  1. 用输入增量学习模型的构型、线性模型系数和偏差估计初始化求解器Mdl

  2. 将模型与数据拟合,并将更新后的系数估计值和配置存储在输出模型中Mdl

输入和输出模型是相同的数据类型。

例子

Mdl=健康(MdlXY名称,值使用由一个或多个名-值对参数指定的其他选项。例如,您可以指定预测器数据矩阵的列对应于观测值,并设置观测值权重。

例子

全部折叠

创建一个默认的增量线性SVM模型用于二进制分类。指定5000个观测值的估计周期和SGD求解器。

Mdl =增量分类线性(“EstimationPeriod”, 5000,“规划求解”“sgd”
Mdl = incrementalClassificationLinear IsWarm: 0 Metrics: [1x2 table] ClassNames: [1x0 double] ScoreTransform: 'none' Beta: [0x1 double]偏差:0学习者:'svm'属性,方法

Mdl是一个incrementalClassificationLinear模型。它的所有属性都是只读的。

Mdl在使用它执行任何其他操作之前,必须适合于数据。

加载人类活动数据集。随机打乱数据。

负载humanactivityN = numel(actid);rng (1)%用于再现性Idx = randsample(n,n);X = feat(idx,:);Y = actid(idx);

关于数据集的详细信息,请输入描述在命令行。

回答可以分为五类:坐着、站着、走着、跑着或跳舞。通过识别被测者是否在移动(actid> 2)。

Y = Y > 2;

将增量模型拟合到训练数据中,每次以50个观测数据为块适合函数。在每次迭代中:

  • 通过处理50个观测数据来模拟一个数据流。

  • 将先前的增量模型覆盖为一个适合于新观测的新模型。

  • 商店 β 1 ,训练观察的次数,受试者是否移动的先验概率(Y真正的),看看它们在增量训练中是如何演变的。

%预先配置numObsPerChunk = 50;nchunk = floor(n/numObsPerChunk);Beta1 = 0 (nchunk,1);Numtrainobs = 0 (nchunk,1);Priormoved = 0 (nchunk,1);%增量拟合j = 1:nchunk ibegin = min(n,numObsPerChunk*(j-1) + 1);iend = min(n,numObsPerChunk*j);Idx = ibegin:iend;Mdl = fit(Mdl,X(idx,:),Y(idx));beta1(j) = Mdl.Beta(1);numtrainobs(j) = mll . numtrainingobservations;priormoved(j) = mll . prior (Mdl. prior)ClassNames == true);结束

IncrementalMdl是一个incrementalClassificationLinear在流中的所有数据上训练的模型对象。

要了解参数在增量学习过程中是如何演变的,请将它们绘制在单独的子图上。

图;Subplot (2,2,1)“\ beta_1”)参照线(Mdl。EstimationPeriod / numObsPerChunk,r -。);包含(“迭代”)轴次要情节(2 2 2)情节(numtrainobs);ylabel (“训练观察次数”)参照线(Mdl。EstimationPeriod / numObsPerChunk,r -。);包含(“迭代”)轴次要情节(2,2,3)情节(priormoved);ylabel (“Prior P(主语已移动)”)参照线(Mdl。EstimationPeriod / numObsPerChunk,r -。);包含(“迭代”)轴

图中包含3个轴对象。坐标轴对象1包含2个line、constantline类型的对象。坐标轴对象2包含2个line、constantline类型的对象。坐标轴对象3包含2个line、constantline类型的对象。

情节表明适合直到估计期结束后才使模型适合数据或更新参数。

训练一个用于二元分类的线性模型fitclinear,将其转换为增量学习器,跟踪其性能,并使其适应流数据。在列中定位观测值,并指定观测值的权重。

加载和预处理数据

加载人类活动数据集。随机打乱数据。在列中定位预测器数据的观测值。

负载humanactivityrng (1);%用于再现性N = numel(actid);Idx = randsample(n,n);X = feat(idx,:)';Y = actid(idx);

关于数据集的详细信息,请输入描述在命令行。

回答可以分为五类:坐着、站着、走着、跑着或跳舞。通过识别被测者是否在移动(actid> 2)。

Y = Y > 2;

假设被测者不运动时收集的数据(Y)的质量是物体移动时的两倍。创建一个权重变量,将2归属于从静止主体收集的观察结果,1归属于移动主体。

W = ones(n,1) + ~Y;

二元分类训练线性模型

用二分之一的随机样本拟合二元分类的线性模型。

Idxtt = randsample([true false],n,true);TTMdl = fitclinear(X(:,idxtt),Y(idxtt),“ObservationsIn”“列”...“重量”W (idxtt))
TTMdl = ClassificationLinear ResponseName: 'Y' ClassNames: [0 1] ScoreTransform: 'none' Beta: [60x1 double]偏差:-0.1107 Lambda: 8.2967e-05学习者:'svm'属性,方法

TTMdl是一个ClassificationLinear模型对象,表示用于二进制分类的传统训练线性模型。

转换训练模型

将传统训练的分类模型转换为增量学习的二元分类线性模型。

IncrementalMdl =增量学习者(TTMdl)
IncrementalMdl = incrementalClassificationLinear IsWarm: 1 Metrics: [1x2 table] ClassNames: [0 1] ScoreTransform: 'none' Beta: [60x1 double]偏差:-0.1107 Learner: 'svm'属性,方法

分别跟踪绩效指标和适合模型

方法对其余数据执行增量学习updateMetrics而且适合功能。在每次迭代中:

  1. 通过一次处理50个观测数据来模拟数据流。

  2. 调用updateMetrics在给定传入观测数据块的情况下,更新模型的累积和窗口分类误差。的增量模型中更新损失指标财产。注意,函数并没有将模型与数据块相匹配——数据块是模型的“新”数据。指定观测值以列为方向,并指定观测值权重。

  3. 调用适合使模型与观测数据相匹配。覆盖之前的增量模型以更新模型参数。指定观测值以列为方向,并指定观测值权重。

  4. 存储分类误差和第一次估计系数 β 1

%预先配置Idxil = ~idxtt;Nil = sum(idxil);numObsPerChunk = 50;nchunk = floor(nil/numObsPerChunk);Ce = array2table(0 (nchunk,2),“VariableNames”, (“累积”“窗口”]);beta1 = [incrementalmml . beta (1);0 (nchunk 1)];Xil = X(:,idxil);Yil = Y(idxil);Wil = W(idxil);%增量拟合j = 1:nchunk ibegin = min(nil,numObsPerChunk*(j-1) + 1);iend = min(nil,numObsPerChunk*j);Idx = ibegin:iend;增量mdl = updateMetrics(增量mdl,Xil(:,idx),Yil(idx),...“ObservationsIn”“列”“重量”会(idx));ce{j,:} = IncrementalMdl。指标{“ClassificationError”,:};增量mdl = fit(增量mdl,Xil(:,idx),Yil(idx),“ObservationsIn”“列”...“重量”会(idx));beta1(j + 1) = incrementalmml . beta (1);结束

IncrementalMdl是一个incrementalClassificationLinear在流中的所有数据上训练的模型对象。

或者,您可以使用updateMetricsAndFit更新给定数据块的模型的性能指标,然后将模型与数据进行拟合。

绘制性能指标和估计系数的轨迹图 β 1

图;subplot(2,1,1) h = plot(ce.Variables);xlim ([0 nchunk]);ylabel (分类错误的) subplot(2,1,2) plot(beta1) ylabel(“\ beta_1”) xlim([0 nchunk]);包含(“迭代”

图中包含2个轴对象。坐标轴对象1包含2个line类型的对象。这些对象代表累积、窗口。坐标轴对象2包含一个line类型的对象。

累积损失是稳定的,并逐渐减小,而窗口损失跳跃。

β 1 逐渐变化,然后趋于平稳,如适合处理更多的块。

只有当线性回归模型的性能下降时,才对其进行增量训练。

加载和洗牌2015年纽约市住房数据集。有关数据的详细信息,请参见纽约市开放数据

负载NYCHousing2015rng (1)%用于再现性n = size(NYCHousing2015,1);Shuffidx = randsample(n,n);NYCHousing2015 = NYCHousing2015(shuffidx,:);

提取响应变量SALEPRICE从桌子上。为了数值的稳定性,刻度SALEPRICE通过1 e6

Y = nychousing2015 . salesprice /1e6;NYCHousing2015。售价= [];

从分类预测器创建虚拟变量矩阵。

Catvars = [“区”“BUILDINGCLASSCATEGORY”“社区”];dumvarstbl = varfun(@(x)dummyvar(categorical(x)),NYCHousing2015,...“数据源”, catvars);Dumvarmat = table2array(dumvarstbl);NYCHousing2015(:,catvars) = [];

将表中所有其他数值变量视为销售价格的线性预测因子。将虚拟变量矩阵连接到其余的预测器数据。

idxnum = varfun(@isnumeric,NYCHousing2015,“OutputFormat”“统一”);X = [dumvarmat NYCHousing2015{:,idxnum}];

为增量学习配置线性回归模型,这样它就不会有估计或指标预热期。指定度量窗口大小为1000。将配置的模型与前100个观测值相匹配。

Mdl =增量回归线性(“EstimationPeriod”0,“MetricsWarmupPeriod”0,“MetricsWindowSize”, 1000);numObsPerChunk = 100;Mdl = fit(Mdl,X(1:numObsPerChunk,:),Y(1:numObsPerChunk));

Mdl是一个incrementalRegressionLinear模型对象。

使用条件拟合执行增量学习,每次迭代都遵循以下步骤:

  • 通过一次处理100个观测数据块来模拟数据流。

  • 在200个观测窗口内,通过计算ε不敏感损失来更新模型性能。

  • 只有当损失是最小损失的两倍以上时,模型才适合数据块。

  • 在跟踪性能和拟合时,覆盖之前的增量模型。

  • 存储不敏感损失和 β 313 看看损耗和系数在训练过程中是如何演变的。

  • 跟踪时适合训练模型。

%预先配置n = nummel (Y) - numObsPerChunk;nchunk = floor(n/numObsPerChunk);Beta313 = 0 (nchunk,1);Ei = array2table(nan(nchunk,2),“VariableNames”, (“累积”“窗口”]);训练= false(nchunk,1);%增量拟合j = 2:nchunk ibegin = min(n,numObsPerChunk*(j-1) + 1);iend = min(n,numObsPerChunk*j);Idx = ibegin:iend;Mdl = updateMetrics(Mdl,X(idx,:),Y(idx));ei{j,:} = Mdl。指标{“EpsilonInsensitiveLoss”,:};Minei = min(ei{:,2});Pdiffloss = (ei{j,2} - minei)/minei*100;如果pdiffloss > 100 Mdl = fit(Mdl,X(idx,:),Y(idx));训练(j) = true;结束beta313(j) = Mdl.Beta(end);结束

Mdl是一个incrementalRegressionLinear在流中的所有数据上训练的模型对象。

看看模型的性能如何 β 313 在训练过程中进化出来的,把它们画在单独的子图上。

Subplot (2,1,1) plot(beta313)保持不变情节(找到(训练),beta313(训练),“r”。) ylabel (“\ beta_”{313})参照线(Mdl。EstimationPeriod / numObsPerChunk,r -。);传奇(“\ beta_”{313}培训发生的“位置”“东南”)举行subplot(2,1,2) plot(ei.Variables) ylabel(“不敏感损失”)参照线(Mdl。EstimationPeriod / numObsPerChunk,r -。);包含(“迭代”传奇(ei.Properties.VariableNames)

图中包含2个轴对象。坐标轴对象1包含3个line、constantline类型的对象。这些对象表示\beta_{313},训练发生。坐标轴对象2包含3个line、constantline类型的对象。这些对象代表累积、窗口。

的轨迹图 β 313 显示恒定值的时期,在此期间损失没有从经历的最小值翻倍。

输入参数

全部折叠

增量学习模型以适应流数据,指定为incrementalClassificationLinearincrementalRegressionLinear模型对象。你可以创建Mdl直接或通过转换支持的,传统训练的机器学习模型使用金宝appincrementalLearner函数。更多详细信息,请参见相应的参考页面。

模型拟合的预测器数据块,指定为的浮点矩阵n观察和Mdl。NumPredictors预测变量。的值“ObservationsIn”名称-值对参数决定变量和观察值的方向。

观察标签的长度Y观察的次数X必须平等;Y (j是观察的标签吗j(行或列)在X

请注意

  • 如果Mdl。NumPredictors= 0,适合从中推断预测器的数量X,并设置输出模型的一致性属性。否则,如果流数据中的预测变量数量从Mdl。NumPredictors适合产生一个错误。

  • 适合金宝app仅支持浮点输入预测器数据。如果输入模型Mdl表示经过转换的、传统训练的适合分类数据的模型dummyvar将每个分类变量转换为虚拟变量的数字矩阵,并将所有虚拟变量矩阵与任何其他数字预测函数连接起来。详情请参见虚拟变量

数据类型:|

适合模型的标签块,指定为类别、字符或字符串数组、逻辑或浮点向量,或用于分类问题的字符向量单元格数组;或者一个用于回归问题的浮点向量。

观察标签的长度Y观察的次数X必须平等;Y (j是观察的标签吗j(行或列)在X

对于分类问题:

  • 适合金宝app只支持二进制分类。

  • 一会属性的输入模型Mdl非空,则应用以下条件:

    • 如果Y包含不是成员的标签Mdl。一会适合产生一个错误。

    • 的数据类型Y而且Mdl。一会一定是一样的。

数据类型:字符|字符串|细胞|分类|逻辑||

请注意

  • 如果观察(预测或标签)或权重重量包含至少一个缺失()的值,适合忽略观察结果。因此,适合使用少于n计算模型性能的观察结果。

  • 数据块大小n和随机梯度下降(SGD)超参数批量大小(Mdl。BatchSize)可以是不同的值。如果n<Mdl。BatchSize适合使用n应用SGD时可用的观测值。

名称-值参数

的可选逗号分隔对名称,值参数。名字参数名称和价值对应的值。名字必须出现在引号内。您可以以任意顺序指定多个名称和值对参数Name1, Value1,…,的家

例子:“ObservationsIn”、“列”、“重量”,W指定预测器矩阵的列对应于观测值,以及向量W包含在增量学习期间应用的观察权重。

预测器数据观测维数,由逗号分隔的对组成“ObservationsIn”而且“列”“行”

数据类型:字符|字符串

观察权重块,指定为逗号分隔的对,由“重量”和一个正的浮点向量。适合对观察结果进行权衡X中对应的值权重.的大小权重必须等于n的观测数X

默认情况下,权重(n, 1)

有关更多详细信息,包括标准化方案,请参见观察权重

数据类型:|

输出参数

全部折叠

更新的增量学习模型,作为与输入模型具有相同数据类型的增量学习模型对象返回Mdl,要么incrementalClassificationLinearincrementalRegressionLinear

如果Mdl。EstimationPeriod> 0,增量拟合函数updateMetricsAndFit而且适合使用第一个估计超参数Mdl。EstimationPeriod传递给任一函数的观测值;他们不会将输入模型训练为该数据。但是,如果传入块n观测值大于或等于估计期内剩余的观测值数适合使用第一个估计超参数n- - - - - -,并将输入模型拟合到其余的观察。因此,软件更新β而且偏见属性、超参数属性和记录保存属性,例如NumTrainingObservations

对于分类问题,如果一会属性的输入模型Mdl是一个空数组,适合设置一会属性的输出模型Mdl独特的(Y)

提示

  • 与传统的训练不同,增量学习可能没有单独的测试(坚持)集。因此,要将每个传入的数据块视为一个测试集,将增量模型和每个传入的数据块传递给updateMetrics在用相同的数据训练模型之前。

算法

全部折叠

观察权重

对于分类问题,如果先验类概率分布已知(换句话说,先验分布不是经验的),适合将观察权重归一化,使其与各自类中的先验类概率相加。这个动作意味着,默认情况下,观测权重是各自的先验类概率。

对于回归问题或先验类概率分布是经验的,软件将指定的观察权重归一化,每次调用时求和为1适合

扩展功能

R2020b中介绍