最小二乘(模型拟合)算法
最小二乘法的定义
最小二乘,一般来说,找到一个向量的问题x这是一个局部最小值函数是一个平方和,可能受到一些限制:
这样<年代pan class="inlineequation">·x≤b,Aeq·x=说真的,磅≤x≤乌兰巴托。
有几种优化工具箱™解决方案可用于各种类型的F(x)和各种类型的约束:
解算器
F(x)
约束
mldivide
C·x- - - - - -d
没有一个
lsqnonneg
C·x- - - - - -d
x≥0
lsqlin
C·x- - - - - -d
绑定,线性
lsqnonlin
一般F(x)
绑定
lsqcurvefit
F(x,xdata)- - -ydata
绑定
有五个最小二乘算法解决优化工具箱,除了算法中使用mldivide:
lsqlin
内点
lsqlin有效集
Trust-region-reflective(非线性和线性最小二乘)
Levenberg-Marquardt(非线性最小二乘)
使用的算法lsqnonneg
所有的算法,除了lsqlin激活集大规模;看到大型和中型的算法。对于一般的非线性最小二乘方法的调查,看到丹尼斯[8]。具体细节Levenberg-Marquardt方法中可以找到更多[28]。
线性最小二乘:内点或激活集
的lsqlin“内点”算法使用interior-point-convex quadprog算法,lsqlin“激活集”算法使用了有效集quadprog算法。的quadprog问题的定义是一个二次函数最小化
线性约束和约束的限制。的lsqlin函数最小化的平方2-norm向量Cx - d线性约束和约束的限制。换句话说,lsqlin最小化
这符合quadprog框架通过设置H矩阵为2C<年代up>TC和c向量<年代pan class="inlineequation">(2C<年代up>Td)。(加词d<年代up>Td对最低的位置没有影响)。在这之后再形成的lsqlin问题,quadprog计算的解决方案。
请注意
的quadprog“interior-point-convex”算法有两个代码路径。海赛矩阵时需要一个H是一个普通的(全部)矩阵的双打,和其他需要的什么时候H是一个稀疏矩阵。稀疏数据类型的详细信息,请参阅稀疏矩阵。一般来说,该算法更快的大问题,有相对较少的非零项当你指定H作为稀疏的。同样,该算法更快的为小型或相对密集的问题当你指定H作为完整的。
Trust-Region-Reflective最小二乘
Trust-Region-Reflective最小二乘算法
许多的方法用于解决优化工具箱是基于<年代pan class="emphasis">信任区域,在优化一个简单而强大的概念。
理解信赖域方法优化,考虑无约束极小化问题,最小化f(x),并返回标量函数向量参数。假设你在一个点x在n讨论你想提高,即。,米ove to a point with a lower function value. The basic idea is to approximatef用一个简单的函数问,合理地反映了函数的行为f在一个社区N周围的点x。这个社区是信赖域。试验步骤年代通过最小化计算(或大约最小化)结束了吗N。这是信赖域子问题,
(1)
当前点更新x+年代如果<年代pan class="inlineequation">f(x+年代)<f(x);否则,当前点保持不变N该地区的信任,减少重复计算和试验步骤。
定义一个特定的信赖域方法的关键问题最小化f(x)是如何选择和计算近似问(定义在当前点x),如何选择和修改信赖域N,以及如何准确地求解信赖域子问题。本节的重点是无约束问题。后面的章节将讨论额外的并发症由于约束变量的存在。
在标准的信赖域方法([48]),二阶近似问由前两个定义的泰勒近似F在x;附近N通常是球形或椭圆形的形状。数学上的信赖域子问题通常表示
(2)
在哪里g的梯度f在当前点x,H海赛矩阵(二阶导数的对称矩阵),D是一个对角扩展矩阵,Δ是一个积极的标量,而为。为是2-norm。良好的算法求解存在方程2(见[48]);这种算法通常涉及的所有特征值的计算H和牛顿法应用到特征方程
这样的算法提供一个精确的解决方案方程2。然而,他们可以分解成几个需要时间成正比H。因此,对于信赖域问题需要不同的方法。几个近似和启发式策略,基于方程2,提出了在文献([42]和[50])。随后在解决优化工具箱的近似方法是将信赖域子问题限制在一个二维子空间年代([39]和[42])。一旦子空间年代被计算,解决工作吗方程2是微不足道的,即使需要完整的特征值和特征向量的信息(因为在子空间,问题是只有二维)。主要工作已经转移到子空间的决心。
二维子空间年代确定的援助吗预处理共轭梯度过程描述如下。解算器定义年代所张成的线性空间年代1和年代2,在那里年代1在梯度的方向g,年代2要么是一个近似牛顿方向,即。一个解决方案,
(3)
或一个方向负曲率,
(4)
这种选择背后的哲学年代是强迫全局收敛性(通过最速下降方向或负曲率方向),实现快速的局部收敛性(通过牛顿一步,当它的存在)。
素描的无约束极小化利用信赖域的想法现在容易给:
制定二维信赖域子问题。
解决方程2确定试验步骤年代。
如果<年代pan class="inlineequation">f(x+年代)<f(x),然后<年代pan class="inlineequation">x=x+年代。
Δ调整。
这四个步骤是重复,直到收敛。信赖域维度Δ调整根据标准规则。特别是,它却降低了如果试验步骤是不接受,也就是说,<年代pan class="inlineequation">f(x+年代)≥f(x)。看到[46]和[49]这方面的讨论。
优化工具箱解决治疗几个重要的特殊情况f特殊功能:非线性最小二乘、二次函数和线性最小二乘。然而,底层算法思想为一般情况是一样的。这些特殊情况将在后面的小节中讨论。
大规模非线性最小二乘法
一个重要的特殊情况f(x)是非线性最小二乘问题
(5)
在哪里F(x)是一种向量值函数与组件我的F(x)=f<年代乌兰巴托>我(x)。用于解决这一问题的基本方法中描述在一般情况下是一样的信赖域方法非线性最小化。然而,利用非线性最小二乘问题的结构来提高效率。特别是,一个近似高斯牛顿方向,即。,解决方案年代来
(6)
(J的雅可比矩阵F(x)是用来帮助定义二维子空间年代。组件函数的二阶导数f<年代乌兰巴托>我(x)不习惯。
在每个迭代中预处理共轭梯度法用于近似解决正规方程,即
虽然正规方程形成的不明确。
大型线性最小二乘法
在这种情况下,函数f(x)要解决的
可能受线性约束。该算法生成严格可行的迭代收敛,在极限情况下,当地的一个解决方案。每个迭代都包括近似解大型线性系统(秩序n,在那里n的长度是x)。迭代矩阵的矩阵结构C。特别是,预处理共轭梯度法用于约解决正规方程,即
虽然正规方程形成的不明确。
子空间信赖域方法是用来确定搜索方向。然而,而不是限制(可能)反射一步一步,在非线性最小化的情况下,分段反射行搜索是在每次迭代中进行,如二次。看到[45]线搜索的细节。最终,线性系统代表了牛顿方法捕获的一阶最优性条件的解决方案,导致强烈的局部收敛率。
雅可比矩阵乘法函数。lsqlin
可以使用矩阵解决linearly-constrained最小二乘问题没有C明确。相反,它使用雅可比矩阵乘法函数jmfun,
W = jmfun(动力系统,Y,标志)
你提供的。函数必须为一个矩阵计算以下产品下载188bet金宝搏Y:
如果标志= = 0然后W = C ' * (C * Y)。
如果国旗> 0然后W = C * Y。
如果国旗< 0然后W = C ' * Y。
这可能是有用的C大,但包含足够的结构,你可以写吗jmfun没有形成C明确。例如,看到的雅可比矩阵乘法函数与线性最小二乘法。
Levenberg-Marquardt方法
最小二乘问题最小化一个函数f(x),是一个平方和。
(7)
这种类型的问题发生在大量的实际应用,特别是那些涉及数据拟合模型的功能,如非线性参数估计。这个问题也出现在控制系统类型,目的是为输出y(x t遵循一个连续模型的轨迹φ(t)向量x和标量t。这个问题可以表示为
(8)
在哪里y(x t),φ(t标量函数。
离散化积分获得近似值
(9)
在哪里t<年代乌兰巴托>我是等间距的。在这个问题上,向量F(x)是
这种类型的问题,剩余<年代pan class="inlineequation">为F(x为每可能是小优,因为惯例制定现实可行的目标轨迹。虽然您可以最小化函数方程7使用通用,无约束极小化方法,如中描述无约束最优化的基本知识问题的某些特征,通常可以被利用来提高迭代效率解决方案的过程。的梯度和海赛矩阵方程7有一个特殊的结构。
表示的米——- - - - - -n雅可比矩阵的F(x),J(x),梯度向量f(x),G(x),海赛矩阵f(x),H(x),海赛矩阵F<年代乌兰巴托>我(x),D<年代乌兰巴托>我(x),
(10)
在哪里
矩阵的性质问(x)是,当剩余<年代pan class="inlineequation">为F(x为每趋于零x<年代乌兰巴托>k方法的解决方案问(x)也趋向于零。所以,当<年代pan class="inlineequation">为F(x为每是小的解决方案,一个有效的方法是使用高斯牛顿方向作为一个优化过程的基础。
在每个主要的迭代k,高斯牛顿法得到一个搜索方向d<年代乌兰巴托>k这是一个线性最小二乘问题的解决方案
(11)
方向来自这个方法相当于牛顿方向的条款<年代pan class="inlineequation">问(x)= 0。该算法可以使用搜索方向d<年代乌兰巴托>k 线搜索策略的一部分,确保功能f(x在每一次迭代)降低。
高斯牛顿法二阶项时经常遇到的问题问(x)是不可忽视的。Levenberg-Marquardt方法克服了这一问题。
Levenberg-Marquardt方法(见[25]和[27])使用一个搜索方向是一个解的线性方程组
(12)
或者可选的方程
(13)
在标量λ<年代乌兰巴托>k控件的大小和方向d<年代乌兰巴托>k,诊断接头(A)矩阵对角线上的手段一个。设置选项ScaleProblem来“没有”选择方程12,或一组ScaleProblem来的雅可比矩阵选择方程13。
设置参数的初始值λ0使用InitDamping选择。偶尔,0.01这个选项的默认值可以不合适。如果你发现Levenberg-Marquardt算法使小初步进展,尝试设置InitDamping从默认的一个不同的值,如1 e2。
当λ<年代乌兰巴托>k是0,这个方向呢d<年代乌兰巴托>k相同的高斯牛顿法。作为λ<年代乌兰巴托>k趋于无穷,d<年代乌兰巴托>k往往在最速下降方向,大小趋于零。因此,对于一些足够大λ<年代乌兰巴托>k,这个术语<年代pan class="inlineequation">F(x<年代乌兰巴托>k +d<年代乌兰巴托>k)<F(x<年代乌兰巴托>k)适用。因此,您可以控制这个词λ<年代乌兰巴托>k以确保血统即使算法遇到二阶条件,制约高斯牛顿法的效率。当一步是成功的(给较低的函数值),该算法集λk+ 1=λ<年代乌兰巴托>k / 10。一步不成功时,算法集λk+ 1=λ<年代乌兰巴托>k * 10。
在内部,Levenberg-Marquardt算法使用一个最优公差(停止准则)1的军医次函数宽容。
Levenberg-Marquardt方法,因此,使用一个搜索方向是高斯牛顿方向和最速下降方向。
Levenberg-Marquardt方法另一个优点是当雅可比矩阵Jrank-deficient。在这种情况下,高斯牛顿法中的数值问题,因为最小化问题方程11是不适定的。相比之下,Levenberg-Marquardt满秩在每个迭代方法,和,因此,避免这些问题。
下图显示了Levenberg-Marquardt的迭代方法最小化。海涅的函数时,一个臭名昭著的困难的最小化问题的最小二乘形式。
Levenberg-Marquardt方法。海涅的函数
这个数字的更完整的描述,包括脚本生成迭代点,看到的香蕉函数最小化。
绑定约束Levenberg-Marquardt方法
当这个问题包含绑定约束,lsqcurvefit和lsqnonlin修改Levenberg-Marquardt迭代。如果一个提出迭代点x项目边界之外的谎言,算法步骤到最近的可行点。换句话说,P定义为投影运营商项目不可行点到可行域,提出的算法修改点x来
最小二乘法的定义
最小二乘,一般来说,找到一个向量的问题x这是一个局部最小值函数是一个平方和,可能受到一些限制:
这样<年代pan class="inlineequation">·x≤b,Aeq·x=说真的,磅≤x≤乌兰巴托。
有几种优化工具箱™解决方案可用于各种类型的F(x)和各种类型的约束:
解算器
F(x)
约束
mldivide
C·x- - - - - -d
没有一个
lsqnonneg
C·x- - - - - -d
x≥0
lsqlin
C·x- - - - - -d
绑定,线性
lsqnonlin
一般F(x)
绑定
lsqcurvefit
F(x,xdata)- - -ydata
绑定
有五个最小二乘算法解决优化工具箱,除了算法中使用mldivide:
lsqlin
内点
lsqlin有效集
Trust-region-reflective(非线性和线性最小二乘)
Levenberg-Marquardt(非线性最小二乘)
使用的算法lsqnonneg
所有的算法,除了lsqlin激活集大规模;看到大型和中型的算法。对于一般的非线性最小二乘方法的调查,看到丹尼斯[8]。具体细节Levenberg-Marquardt方法中可以找到更多[28]。
最小二乘,一般来说,找到一个向量的问题
这样<年代pan class="inlineequation">·x 有几种优化工具箱™解决方案可用于各种类型的 有五个最小二乘算法解决优化工具箱,除了算法中使用 Trust-region-reflective(非线性和线性最小二乘) Levenberg-Marquardt(非线性最小二乘) 使用的算法 所有的算法,除了
解算器 F 约束
mldivide
C
没有一个
lsqnonneg
C
x
lsqlin
C
绑定,线性
lsqnonlin
一般 绑定
lsqcurvefit
F
绑定 mldivide
lsqlin
内点lsqlin
lsqnonneg
线性最小二乘:内点或激活集
的lsqlin“内点”算法使用interior-point-convex quadprog算法,lsqlin“激活集”算法使用了有效集quadprog算法。的quadprog问题的定义是一个二次函数最小化
线性约束和约束的限制。的lsqlin函数最小化的平方2-norm向量Cx - d线性约束和约束的限制。换句话说,lsqlin最小化
这符合quadprog框架通过设置H矩阵为2C<年代up>TC和c向量<年代pan class="inlineequation">(2C<年代up>Td)。(加词d<年代up>Td对最低的位置没有影响)。在这之后再形成的lsqlin问题,quadprog计算的解决方案。
请注意
的quadprog“interior-point-convex”算法有两个代码路径。海赛矩阵时需要一个H是一个普通的(全部)矩阵的双打,和其他需要的什么时候H是一个稀疏矩阵。稀疏数据类型的详细信息,请参阅稀疏矩阵。一般来说,该算法更快的大问题,有相对较少的非零项当你指定H作为稀疏的。同样,该算法更快的为小型或相对密集的问题当你指定H作为完整的。
的
线性约束和约束的限制。的
这符合 请注意 的“内点”
“激活集”
“interior-point-convex”
稀疏的
完整的
Trust-Region-Reflective最小二乘
Trust-Region-Reflective最小二乘算法
许多的方法用于解决优化工具箱是基于<年代pan class="emphasis">信任区域,在优化一个简单而强大的概念。
理解信赖域方法优化,考虑无约束极小化问题,最小化f(x),并返回标量函数向量参数。假设你在一个点x在n讨论你想提高,即。,米ove to a point with a lower function value. The basic idea is to approximatef用一个简单的函数问,合理地反映了函数的行为f在一个社区N周围的点x。这个社区是信赖域。试验步骤年代通过最小化计算(或大约最小化)结束了吗N。这是信赖域子问题,
(1)
当前点更新x+年代如果<年代pan class="inlineequation">f(x+年代)<f(x);否则,当前点保持不变N该地区的信任,减少重复计算和试验步骤。
定义一个特定的信赖域方法的关键问题最小化f(x)是如何选择和计算近似问(定义在当前点x),如何选择和修改信赖域N,以及如何准确地求解信赖域子问题。本节的重点是无约束问题。后面的章节将讨论额外的并发症由于约束变量的存在。
在标准的信赖域方法([48]),二阶近似问由前两个定义的泰勒近似F在x;附近N通常是球形或椭圆形的形状。数学上的信赖域子问题通常表示
(2)
在哪里g的梯度f在当前点x,H海赛矩阵(二阶导数的对称矩阵),D是一个对角扩展矩阵,Δ是一个积极的标量,而为。为是2-norm。良好的算法求解存在方程2(见[48]);这种算法通常涉及的所有特征值的计算H和牛顿法应用到特征方程
这样的算法提供一个精确的解决方案方程2。然而,他们可以分解成几个需要时间成正比H。因此,对于信赖域问题需要不同的方法。几个近似和启发式策略,基于方程2,提出了在文献([42]和[50])。随后在解决优化工具箱的近似方法是将信赖域子问题限制在一个二维子空间年代([39]和[42])。一旦子空间年代被计算,解决工作吗方程2是微不足道的,即使需要完整的特征值和特征向量的信息(因为在子空间,问题是只有二维)。主要工作已经转移到子空间的决心。
二维子空间年代确定的援助吗预处理共轭梯度过程描述如下。解算器定义年代所张成的线性空间年代1和年代2,在那里年代1在梯度的方向g,年代2要么是一个近似牛顿方向,即。一个解决方案,
(3)
或一个方向负曲率,
(4)
这种选择背后的哲学年代是强迫全局收敛性(通过最速下降方向或负曲率方向),实现快速的局部收敛性(通过牛顿一步,当它的存在)。
素描的无约束极小化利用信赖域的想法现在容易给:
制定二维信赖域子问题。
解决方程2确定试验步骤年代。
如果<年代pan class="inlineequation">f(x+年代)<f(x),然后<年代pan class="inlineequation">x=x+年代。
Δ调整。
这四个步骤是重复,直到收敛。信赖域维度Δ调整根据标准规则。特别是,它却降低了如果试验步骤是不接受,也就是说,<年代pan class="inlineequation">f(x+年代)≥f(x)。看到[46]和[49]这方面的讨论。
优化工具箱解决治疗几个重要的特殊情况f特殊功能:非线性最小二乘、二次函数和线性最小二乘。然而,底层算法思想为一般情况是一样的。这些特殊情况将在后面的小节中讨论。
大规模非线性最小二乘法
一个重要的特殊情况f(x)是非线性最小二乘问题
(5)
在哪里F(x)是一种向量值函数与组件我的F(x)=f<年代乌兰巴托>我(x)。用于解决这一问题的基本方法中描述在一般情况下是一样的信赖域方法非线性最小化。然而,利用非线性最小二乘问题的结构来提高效率。特别是,一个近似高斯牛顿方向,即。,解决方案年代来
(6)
(J的雅可比矩阵F(x)是用来帮助定义二维子空间年代。组件函数的二阶导数f<年代乌兰巴托>我(x)不习惯。
在每个迭代中预处理共轭梯度法用于近似解决正规方程,即
虽然正规方程形成的不明确。
大型线性最小二乘法
在这种情况下,函数f(x)要解决的
可能受线性约束。该算法生成严格可行的迭代收敛,在极限情况下,当地的一个解决方案。每个迭代都包括近似解大型线性系统(秩序n,在那里n的长度是x)。迭代矩阵的矩阵结构C。特别是,预处理共轭梯度法用于约解决正规方程,即
虽然正规方程形成的不明确。
子空间信赖域方法是用来确定搜索方向。然而,而不是限制(可能)反射一步一步,在非线性最小化的情况下,分段反射行搜索是在每次迭代中进行,如二次。看到[45]线搜索的细节。最终,线性系统代表了牛顿方法捕获的一阶最优性条件的解决方案,导致强烈的局部收敛率。
雅可比矩阵乘法函数。lsqlin
可以使用矩阵解决linearly-constrained最小二乘问题没有C明确。相反,它使用雅可比矩阵乘法函数jmfun,
W = jmfun(动力系统,Y,标志)
你提供的。函数必须为一个矩阵计算以下产品下载188bet金宝搏Y:
如果标志= = 0然后W = C ' * (C * Y)。
如果国旗> 0然后W = C * Y。
如果国旗< 0然后W = C ' * Y。
这可能是有用的C大,但包含足够的结构,你可以写吗jmfun没有形成C明确。例如,看到的雅可比矩阵乘法函数与线性最小二乘法。
Trust-Region-Reflective最小二乘算法
许多的方法用于解决优化工具箱是基于<年代pan class="emphasis">信任区域,在优化一个简单而强大的概念。
理解信赖域方法优化,考虑无约束极小化问题,最小化f(x),并返回标量函数向量参数。假设你在一个点x在n讨论你想提高,即。,米ove to a point with a lower function value. The basic idea is to approximatef用一个简单的函数问,合理地反映了函数的行为f在一个社区N周围的点x。这个社区是信赖域。试验步骤年代通过最小化计算(或大约最小化)结束了吗N。这是信赖域子问题,
(1)
当前点更新x+年代如果<年代pan class="inlineequation">f(x+年代)<f(x);否则,当前点保持不变N该地区的信任,减少重复计算和试验步骤。
定义一个特定的信赖域方法的关键问题最小化f(x)是如何选择和计算近似问(定义在当前点x),如何选择和修改信赖域N,以及如何准确地求解信赖域子问题。本节的重点是无约束问题。后面的章节将讨论额外的并发症由于约束变量的存在。
在标准的信赖域方法([48]),二阶近似问由前两个定义的泰勒近似F在x;附近N通常是球形或椭圆形的形状。数学上的信赖域子问题通常表示
(2)
在哪里g的梯度f在当前点x,H海赛矩阵(二阶导数的对称矩阵),D是一个对角扩展矩阵,Δ是一个积极的标量,而为。为是2-norm。良好的算法求解存在方程2(见[48]);这种算法通常涉及的所有特征值的计算H和牛顿法应用到特征方程
这样的算法提供一个精确的解决方案方程2。然而,他们可以分解成几个需要时间成正比H。因此,对于信赖域问题需要不同的方法。几个近似和启发式策略,基于方程2,提出了在文献([42]和[50])。随后在解决优化工具箱的近似方法是将信赖域子问题限制在一个二维子空间年代([39]和[42])。一旦子空间年代被计算,解决工作吗方程2是微不足道的,即使需要完整的特征值和特征向量的信息(因为在子空间,问题是只有二维)。主要工作已经转移到子空间的决心。
二维子空间年代确定的援助吗预处理共轭梯度过程描述如下。解算器定义年代所张成的线性空间年代1和年代2,在那里年代1在梯度的方向g,年代2要么是一个近似牛顿方向,即。一个解决方案,
(3)
或一个方向负曲率,
(4)
这种选择背后的哲学年代是强迫全局收敛性(通过最速下降方向或负曲率方向),实现快速的局部收敛性(通过牛顿一步,当它的存在)。
素描的无约束极小化利用信赖域的想法现在容易给:
制定二维信赖域子问题。
解决方程2确定试验步骤年代。
如果<年代pan class="inlineequation">f(x+年代)<f(x),然后<年代pan class="inlineequation">x=x+年代。
Δ调整。
这四个步骤是重复,直到收敛。信赖域维度Δ调整根据标准规则。特别是,它却降低了如果试验步骤是不接受,也就是说,<年代pan class="inlineequation">f(x+年代)≥f(x)。看到[46]和[49]这方面的讨论。
优化工具箱解决治疗几个重要的特殊情况f特殊功能:非线性最小二乘、二次函数和线性最小二乘。然而,底层算法思想为一般情况是一样的。这些特殊情况将在后面的小节中讨论。
许多的方法用于解决优化工具箱是基于<年代pan class="emphasis">信任区域, 理解信赖域方法优化,考虑无约束极小化问题,最小化 当前点更新 定义一个特定的信赖域方法的关键问题最小化 在标准的信赖域方法( 在哪里
这样的算法提供一个精确的解决方案 二维子空间 或一个方向 这种选择背后的哲学 素描的无约束极小化利用信赖域的想法现在容易给: 制定二维信赖域子问题。 解决 如果<年代pan class="inlineequation">f Δ调整。 这四个步骤是重复,直到收敛。信赖域维度Δ调整根据标准规则。特别是,它却降低了如果试验步骤是不接受,也就是说,<年代pan class="inlineequation">f 优化工具箱解决治疗几个重要的特殊情况
(1)
(2)
(3)
(4)
大规模非线性最小二乘法
一个重要的特殊情况f(x)是非线性最小二乘问题
(5)
在哪里F(x)是一种向量值函数与组件我的F(x)=f<年代乌兰巴托>我(x)。用于解决这一问题的基本方法中描述在一般情况下是一样的信赖域方法非线性最小化。然而,利用非线性最小二乘问题的结构来提高效率。特别是,一个近似高斯牛顿方向,即。,解决方案年代来
(6)
(J的雅可比矩阵F(x)是用来帮助定义二维子空间年代。组件函数的二阶导数f<年代乌兰巴托>我(x)不习惯。
在每个迭代中预处理共轭梯度法用于近似解决正规方程,即
虽然正规方程形成的不明确。
一个重要的特殊情况 在哪里 ( 在每个迭代中预处理共轭梯度法用于近似解决正规方程,即
虽然正规方程形成的不明确。
(5)
(6)
大型线性最小二乘法
在这种情况下,函数f(x)要解决的
可能受线性约束。该算法生成严格可行的迭代收敛,在极限情况下,当地的一个解决方案。每个迭代都包括近似解大型线性系统(秩序n,在那里n的长度是x)。迭代矩阵的矩阵结构C。特别是,预处理共轭梯度法用于约解决正规方程,即
虽然正规方程形成的不明确。
子空间信赖域方法是用来确定搜索方向。然而,而不是限制(可能)反射一步一步,在非线性最小化的情况下,分段反射行搜索是在每次迭代中进行,如二次。看到[45]线搜索的细节。最终,线性系统代表了牛顿方法捕获的一阶最优性条件的解决方案,导致强烈的局部收敛率。
雅可比矩阵乘法函数。lsqlin
可以使用矩阵解决linearly-constrained最小二乘问题没有C明确。相反,它使用雅可比矩阵乘法函数jmfun,
W = jmfun(动力系统,Y,标志)
你提供的。函数必须为一个矩阵计算以下产品下载188bet金宝搏Y:
如果标志= = 0然后W = C ' * (C * Y)。
如果国旗> 0然后W = C * Y。
如果国旗< 0然后W = C ' * Y。
这可能是有用的C大,但包含足够的结构,你可以写吗jmfun没有形成C明确。例如,看到的雅可比矩阵乘法函数与线性最小二乘法。
在这种情况下,函数
可能受线性约束。该算法生成严格可行的迭代收敛,在极限情况下,当地的一个解决方案。每个迭代都包括近似解大型线性系统(秩序
虽然正规方程形成的不明确。 子空间信赖域方法是用来确定搜索方向。然而,而不是限制(可能)反射一步一步,在非线性最小化的情况下,分段反射行搜索是在每次迭代中进行,如二次。看到 雅可比矩阵乘法函数。 你提供的。函数必须为一个矩阵计算以下产品下载188bet金宝搏 如果 如果 如果 这可能是有用的lsqlin
可以使用矩阵解决linearly-constrained最小二乘问题没有W = jmfun(动力系统,Y,标志)
Levenberg-Marquardt方法
最小二乘问题最小化一个函数f(x),是一个平方和。
(7)
这种类型的问题发生在大量的实际应用,特别是那些涉及数据拟合模型的功能,如非线性参数估计。这个问题也出现在控制系统类型,目的是为输出y(x t遵循一个连续模型的轨迹φ(t)向量x和标量t。这个问题可以表示为
(8)
在哪里y(x t),φ(t标量函数。
离散化积分获得近似值
(9)
在哪里t<年代乌兰巴托>我是等间距的。在这个问题上,向量F(x)是
这种类型的问题,剩余<年代pan class="inlineequation">为F(x为每可能是小优,因为惯例制定现实可行的目标轨迹。虽然您可以最小化函数方程7使用通用,无约束极小化方法,如中描述无约束最优化的基本知识问题的某些特征,通常可以被利用来提高迭代效率解决方案的过程。的梯度和海赛矩阵方程7有一个特殊的结构。
表示的米——- - - - - -n雅可比矩阵的F(x),J(x),梯度向量f(x),G(x),海赛矩阵f(x),H(x),海赛矩阵F<年代乌兰巴托>我(x),D<年代乌兰巴托>我(x),
(10)
在哪里
矩阵的性质问(x)是,当剩余<年代pan class="inlineequation">为F(x为每趋于零x<年代乌兰巴托>k方法的解决方案问(x)也趋向于零。所以,当<年代pan class="inlineequation">为F(x为每是小的解决方案,一个有效的方法是使用高斯牛顿方向作为一个优化过程的基础。
在每个主要的迭代k,高斯牛顿法得到一个搜索方向d<年代乌兰巴托>k这是一个线性最小二乘问题的解决方案
(11)
方向来自这个方法相当于牛顿方向的条款<年代pan class="inlineequation">问(x)= 0。该算法可以使用搜索方向d<年代乌兰巴托>k 线搜索策略的一部分,确保功能f(x在每一次迭代)降低。
高斯牛顿法二阶项时经常遇到的问题问(x)是不可忽视的。Levenberg-Marquardt方法克服了这一问题。
Levenberg-Marquardt方法(见[25]和[27])使用一个搜索方向是一个解的线性方程组
(12)
或者可选的方程
(13)
在标量λ<年代乌兰巴托>k控件的大小和方向d<年代乌兰巴托>k,诊断接头(A)矩阵对角线上的手段一个。设置选项ScaleProblem来“没有”选择方程12,或一组ScaleProblem来的雅可比矩阵选择方程13。
设置参数的初始值λ0使用InitDamping选择。偶尔,0.01这个选项的默认值可以不合适。如果你发现Levenberg-Marquardt算法使小初步进展,尝试设置InitDamping从默认的一个不同的值,如1 e2。
当λ<年代乌兰巴托>k是0,这个方向呢d<年代乌兰巴托>k相同的高斯牛顿法。作为λ<年代乌兰巴托>k趋于无穷,d<年代乌兰巴托>k往往在最速下降方向,大小趋于零。因此,对于一些足够大λ<年代乌兰巴托>k,这个术语<年代pan class="inlineequation">F(x<年代乌兰巴托>k +d<年代乌兰巴托>k)<F(x<年代乌兰巴托>k)适用。因此,您可以控制这个词λ<年代乌兰巴托>k以确保血统即使算法遇到二阶条件,制约高斯牛顿法的效率。当一步是成功的(给较低的函数值),该算法集λk+ 1=λ<年代乌兰巴托>k / 10。一步不成功时,算法集λk+ 1=λ<年代乌兰巴托>k * 10。
在内部,Levenberg-Marquardt算法使用一个最优公差(停止准则)1的军医次函数宽容。
Levenberg-Marquardt方法,因此,使用一个搜索方向是高斯牛顿方向和最速下降方向。
Levenberg-Marquardt方法另一个优点是当雅可比矩阵Jrank-deficient。在这种情况下,高斯牛顿法中的数值问题,因为最小化问题方程11是不适定的。相比之下,Levenberg-Marquardt满秩在每个迭代方法,和,因此,避免这些问题。
下图显示了Levenberg-Marquardt的迭代方法最小化。海涅的函数时,一个臭名昭著的困难的最小化问题的最小二乘形式。
Levenberg-Marquardt方法。海涅的函数
这个数字的更完整的描述,包括脚本生成迭代点,看到的香蕉函数最小化。
绑定约束Levenberg-Marquardt方法
当这个问题包含绑定约束,lsqcurvefit和lsqnonlin修改Levenberg-Marquardt迭代。如果一个提出迭代点x项目边界之外的谎言,算法步骤到最近的可行点。换句话说,P定义为投影运营商项目不可行点到可行域,提出的算法修改点x来
最小二乘问题最小化一个函数 这种类型的问题发生在大量的实际应用,特别是那些涉及数据拟合模型的功能,如非线性参数估计。这个问题也出现在控制系统类型,目的是为输出 在哪里 离散化积分获得近似值 在哪里
这种类型的问题,剩余<年代pan class="inlineequation">为 表示的 在哪里
矩阵的性质 在每个主要的迭代 方向来自这个方法相当于牛顿方向的条款<年代pan class="inlineequation">问 高斯牛顿法二阶项时经常遇到的问题 Levenberg-Marquardt方法(见 或者可选的方程 在标量 设置参数的初始值 当 在内部,Levenberg-Marquardt算法使用一个最优公差(停止准则) Levenberg-Marquardt方法,因此,使用一个搜索方向是高斯牛顿方向和最速下降方向。 Levenberg-Marquardt方法另一个优点是当雅可比矩阵 下图显示了Levenberg-Marquardt的迭代方法最小化。海涅的函数时,一个臭名昭著的困难的最小化问题的最小二乘形式。 Levenberg-Marquardt方法。海涅的函数 这个数字的更完整的描述,包括脚本生成迭代点,看到的 当这个问题包含绑定约束,
(7)
(8)
(9)
(10)
(11)
(12)
(13)
绑定约束Levenberg-Marquardt方法