正规化的估计模型参数- MATLAB和Simulink MathWorks日本金宝app - 金宝app,下载188bet金宝搏,金宝搏官方网站

正则化模型参数的估计

正规化是什么?

正则化是指定的技术约束模型的灵活性,从而减少不确定性的估计参数值。

模型参数拟合测量得到的数据预测模型反应,如传递函数和三个波兰人或二阶状态空间模型。模型秩序是衡量其灵活性,更高的订单,更大的灵活性。例如,模型有三个波兰人比一个更灵活的两极。持续增加的顺序会导致模型适合观测数据和提高精度。然而,灵活性增加附带的价格更高的估计的不确定性,通过测量值的随机或更高方差错误。另一方面,选择一个模型与过低的订单会导致较大的系统误差。这些错误不能归咎于测量噪音,也被称为偏见错误。

理想情况下,一个好的模型的参数应该最小化均方误差(MSE)的总和,系统误差(偏见)和随机误差(方差):

MSE = | |偏见²+方差

约束的最小化是一个权衡模型。灵活的(高阶)模型给出了小偏差和方差大,而一个更简单的低阶模型会导致较大的偏差和方差小的错误。通常,你可以调查这个偏差和方差之间的权衡错误通过交叉验证测试的一组模型增加灵活性。然而,这样的测试并不总是充分控制在管理参数估计行为。例如:

你不能使用已知的(先天的)信息模型影响的质量符合。
在灰色矩形和其他结构化模型,由底层常微分方程的顺序是固定的,不能改变。如果数据不够丰富,捕捉全方位的动态行为,这通常会导致高的不确定性估计的值。
不同模型的顺序不让你明确的形状基本参数的方差。

正则化给你一个更好的控制偏差和方差权衡最小化准则,通过引入一个额外的项惩罚模型的灵活性。没有正规化,与一个输出,没有权重,模型参数估计得到通过最小化加权二次范数的预测错误ε(t,θ):

$\begin{array}{l} V_{N} (θ) = \frac{1}{N} \sum_{t = 1}^{N} ε^{2} (t, θ) \end{array}$

在哪里t是时间变量,N数据样本的数量,ε(t,θ)是预测误差是观察到的输出之间的差异计算和预测模型的输出。

正则化修改成本函数通过添加一个术语规范的平方成比例参数向量θ,这样的参数θ通过最小化:

${\hat{V}}_{N} (θ) = \frac{1}{N} \sum_{t = 1}^{N} ε^{2} (t, θ) + \frac{1}{N} λ {为 θ 为}^{2}$

在哪里λ是一个积极的常数的影响交易V方差误差_N(θ)偏移误差-λ的值越大,越高偏差和低的方差θ。添加项惩罚的参数值的影响评估期间保持它们的值小。在统计学中,这种类型的正规化岭回归。有关更多信息,请参见岭回归(统计和机器学习的工具箱)。

请注意

另一个选择的标准θ向量是L₁规范,即套索正规化。然而,系统辨识工具箱™仅支持基于2-norm的点球,被称为L金宝app₂正规化,见前面的方程。

惩罚项是更加有效的利用正定矩阵R,它允许权重和/或旋转的参数向量:

${\hat{V}}_{N} (θ) = \frac{1}{N} \sum_{t = 1}^{N} ε^{2} (t, θ) + \frac{1}{N} λ θ^{T} R θ$

的方阵R提供额外的自由:

塑造惩罚项来满足所需的约束,如保持模型稳定
添加已知模型参数的信息,如个人参数的可靠性θ向量

等结构化模型的灰色矩形模型,您可能希望保持估计参数接近他们的猜测值保持物理估计模型的有效性。这可以通过泛化的惩罚项 $λ {(θ - θ^{*})}^{T} R (θ - θ^{*})$ ,这样的成本函数是:

${\hat{V}}_{N} (θ) = \frac{1}{N} \sum_{t = 1}^{N} ε^{2} (t, θ) + \frac{1}{N} λ {(θ - θ^{*})}^{T} R (θ - θ^{*})$

这个成本函数估计的影响最小化θ这样他们的价值观仍接近最初的猜测θ*。

在正则化:

θ*是关于未知参数的先验知识。
λ*R代表了对未知参数的先验知识的信心。这意味着价值越大,越高的信心。

一个正式的解释在一个贝叶斯设置θ的先验分布是高斯的意思是θ*和协方差矩阵 $σ^{2} / λ R^{- 1}$ ,σ²ε的方差(t)。使用正规化因此可以联系一些之前的信息系统。这可能是相当软,如系统是稳定的。

您可以使用正则化变量λ和R作为工具来找到一个好的平衡模型复杂性和提供最佳的偏差和方差之间的权衡。你可以获得正规化参数传递函数的估计,状态方程、多项式、灰色矩形,过程,和非线性黑箱模型。这三个术语定义惩罚项,λ,R和θ*,为正则化的选择λ,R,名义上的分别在工具箱。您可以指定它们的值估计选项集的线性和非线性模型。在系统识别应用程序,单击正则化在线性模型估计或对话框估计选项在非线性模型对话框。

何时使用正则化

使用正则化:

识别overparameterized模型。
实施先天的知识结构化模型的模型参数。
将知识在ARX系统行为和冷杉模型。

识别Overparameterized模型

Over-parameterized富含参数模型。他们估计通常与高水平的收益率参数值的不确定性。常见的非线性ARX Over-parameterization (idnlarx)模型为线性状态空间模型,也可以使用免费的参数化。

在这种情况下,正则化提高了数值估计的条件。你可以探索bias-vs。方差权衡使用各种正规化常数的值λ。通常,名义上的选项的默认值0,R是一个单位矩阵,这样下面的成本函数最小化:

${\hat{V}}_{N} (θ) = \frac{1}{N} \sum_{t = 1}^{N} ε^{2} (t, θ) + \frac{1}{N} λ {为 θ 为}^{2}$

在下面的示例中,使用大量的非线性ARX模型估计神经元导致一个坏脾气的估计问题。

%负荷估算数据。负载regularizationExampleData.matnldata%没有正规化估计模型。订单= (1 2 1);问= idSigmoidNetwork (“NumberOfUnits”,30);sys = nlarx (nldata、订单、问);比较(nldata sys)

应用即使是很小的起居点球产生适合模型的数据。

%使用正规化常数λ= 1 e-8估计模型。选择= nlarxOptions;opt.Regularization。λ= 1 e-8;sysr = nlarx (nldata、订单、问、选择);比较(nldata sysr)

实施先天的知识结构化模型的模型参数

在来自微分方程模型,参数物理意义。你可能会有一个很好的猜测这些参数的典型值,即使猜的可靠性为每个参数可能不同。因为模型结构是固定在这种情况下,你不能简化结构来减少方差错误。

使用正规化常数名义上的,您可以使估计的值接近他们最初的猜测。你也可以设计R反映了信心的初始猜测参数。例如,如果θ是2-element向量的值,你可以猜第一个元素比第二个,更有信心R是一个对角矩阵的大小2×2,(1,1)> > R (2, 2)。

在下面的例子中,直流电机的模型参数化的静态增益G和时间常数τ。从先验知识,假设你知道G大约是4和τ1。同时,假设您在τ的价值比更有信心G和想指导评估保持接近最初的猜测。

%负荷估算数据。负载regularizationExampleData.matmotorData%为直流电机动态创建idgrey模型。mi = idgrey (@DCMotorODE, {‘G’4;“τ”1},“cd”{},0);mi = setpar (mi,“标签”,“默认”);%配置正规化的选项。选择= greyestOptions;opt.Regularization。λ= 100;%指定第二个参数比第一次更出名。opt.Regularization。R = [1000];%指定初始猜测名义。opt.Regularization。名义=“模型”;%的估计模型。sys =老龄化最严重的(motorData、mi、选择)getpar(系统)

将知识在ARX系统行为和冷杉模型

在很多情况下,你可能知道系统脉冲响应的形状影响测试。例如,对于稳定系统是很常见的一个平滑的脉冲响应和指数衰减。您可以使用先验知识的系统行为获得良好的价值观的正规化常数等参数线性模型利用ARX和冷杉结构模型arxRegul命令。

黑盒模型的任意结构,通常很难确定的最优值λ和R,产生最佳的bias-vs。方差权衡。因此,建议您首先获得正规化估计ARX或冷杉的结构模型。然后将模型转换为一个整数,用传递函数和多项式模型idtf,中的难点,或idpoly如果需要命令,紧随其后的是订单减少。

在接下来的例子中,直接估计15阶连续时间传递函数模型的失败由于数值病态。

%负荷估算数据。负载dryer2干燥机= iddata (y2, u2, 0.08);Dryerd =去趋势(干燥器,0);Dryerde = Dryerd (1:50 0);xe = Dryerd (1:50 0);泽= Dryerd (1:50 0);zv = Dryerd(501:结束);%没有正规化估计模型。sys1 =特遣部队(泽,15);

因此,使用正规化ARX估计,然后将模型转换为传递函数结构。

%指定正规化常数。[L R] = arxRegul(泽,[15 15 1]);optARX = arxOptions;optARX.Regularization。λ= L;optARX.Regularization。R = R;%估计ARX模型。sysARX = arx([15 15 1]周泽optARX);%将模型转换为连续时间。sysc = d2c (sysARX);%转换模型传递函数。sys2 = idtf (sysc);% sys1和sys2验证模型。比较(zv sys1 sys2)

选择正规化常数

选择正规化常数λ和指南R在贝叶斯解释。增加惩罚项是一个假定的参数向量θ是高斯随机向量θ*和协方差矩阵 $σ^{2} / λ R^{- 1}$ 。

你可以与自然为灰色矩形模型,这种假设的参数是已知的物理解释。在其他情况下,这可能是更加困难。然后,您必须使用岭回归(R= 1;θ* = 0)和调优λ的试验和错误。

为确定λ和使用以下技术R价值观:

使用可调内核结合先验信息。
执行交叉验证测试。

使用可调内核结合先验信息

调优的ARX模型正规化常数arxRegul是基于简单假设的属性真正的脉冲响应。

在冷杉模型的情况下,参数向量包含脉冲响应系数b_k的系统。从系统的先验知识,它通常是知道脉冲响应是光滑和指数衰减:

$E {(b_{k}]}^{2} = C μ^{k}, c o r r {b_{k} b_{k - 1}} = ρ$

在哪里相关系数意味着相关性。方程的参数化正规化常数系数C,μ,ρ和所选形状(腐烂的多项式)被称为内核。因此内核包含参数化信息先验协方差的脉冲响应系数。

你可以通过调整内核的参数估计使用的测量数据RegularizationKernel输入的arxRegul命令。例如,直流而内核估计这三个参数TC内核链接 $ρ = \sqrt{μ}$ 。这种技术的优化内核适用于所有参数线性ARX和冷杉模型等模型。

执行交叉验证测试

一个通用的测试和评估任何正则化参数的方法是基于某些参数估计模型估计的数据集,并评估模型适合另一个验证数据集,这就是所谓的交叉验证。

交叉验证是完全类似于选择模型的方法:

生成一个候选人λ和列表R值进行测试。
估计每个候选人正规化常数的模型集。
比较模型适合验证数据。
使用常数,给最适合的验证数据。

例如:

%建立评估和验证数据集。泽z = (1: N / 2);zv = z (N / 2:结束);%指定正则化选项和估计模型。选择= ssestOptions;测试= 1:M opt.Regularization。λ=左值(测试);opt.Regularization。R =右值(测试);m{测试}= ss(泽,顺序,选择);结束%比较模型与验证数据模型。[~,适合]=比较(zv, m {:))

引用

[1]l . Ljung。“一些古典和新思想的线性系统的识别。”杂志的控制,自动化和电气系统。2013年4月,24卷,问题1 - 2,页3 - 10。

[2]l . Ljung, t·陈。“估计动态系统正规化可以提供什么?”在院刊IFAC国际研讨会上适应和学习控制和信号处理ALCOSP13卡昂,法国,2013年7月。

[3]l . Ljung, t·陈。“在系统识别凸性问题。”在第十届IEEE国际会议程序及控制自动化ICCA 2013年,杭州,中国,2013年6月。