主要内容年代pan>
约束非线性优化算法
<年代pan id="csh_constrained" class="anchor_target">
约束优化定义
gydF4y2Ba约束最小化是求向量的问题x这是标量函数的局部最小值f(x),但须受容许范围的限制x:
使下列一个或多个条件成立:<年代pan class="inlineequation">c(x)≤0,量表信(x) = 0,·x≤b,Aeq·x=说真的,l≤x≤u年代pan>.在半无限规划中甚至有更多的约束;看到fseminf问题的公式和算法.
年代ect我on>
fmincon信任域反射算法<年代ect我on itemprop="content">
非线性极小化的信赖域方法
优化工具箱™求解器中使用的许多方法都是基于<年代pan class="emphasis">信任区域,年代pan>优化中的一个简单而强大的概念。
gydF4y2Ba为了理解信任域优化方法,考虑无约束最小化问题,最小化f(x),其中函数接受向量参数并返回标量。假设你在某一点上x在n-空间,你想要改进,即移动到函数值较低的点。基本思想是近似f用一个更简单的函数问,合理地反映了函数的行为f在一个社区N围绕这一点x.这个区域是信任区域。试验步骤年代是通过最小化(或近似最小化)来计算的N.这是信任域子问题,
|
(1)年代trong> |
当前点被更新为x+年代如果<年代pan class="inlineequation">f(x+年代) <f(x)年代pan>;否则,当前点保持不变N,缩小信任区域,重复试步计算。
gydF4y2Ba定义特定信任区域最小化方法的关键问题f(x)是如何选择和计算近似值问(定义在当前点x),如何选择和修改信任区域N,以及如何准确地求解信赖域子问题。本节主要讨论无约束问题。后面的部分讨论由于变量约束的存在而产生的其他复杂性。
gydF4y2Ba在标准信赖域方法中([48]),即二次逼近问是由泰勒近似的前两项定义的F在x;附近N通常在形状上呈球形或椭球形。在数学上,信任域子问题是典型的表述
|
(2)年代trong> |
在哪里g的梯度f在目前的情况下x,H为海森矩阵(二阶导数的对称矩阵),D为对角线缩放矩阵,Δ为正标量,‖。‖是2范数。好的算法是存在的方程2(见[48]);的所有特征值的计算H牛顿过程应用于特征方程
这种算法提供了一个精确的解方程2.然而,它们需要的时间与因数分解成正比H.因此,对于大规模的问题,需要不同的方法。几种近似和启发式策略,基于方程2,已在文献中提出([42]而且[50]).优化工具箱求解器中遵循的近似方法是将信任域子问题限制为二维子空间年代([39]而且[42]).一旦子空间年代算过了,功要解吗方程2是微不足道的,即使需要完整的特征值/特征向量信息(因为在子空间中,问题只是二维的)。现在主要的工作已经转移到子空间的确定上。
二维子空间年代是借助一个预条件共轭梯度过程描述如下。求解器定义了年代由张成的线性空间年代<年代ub>1而且年代<年代ub>2,在那里年代<年代ub>1在梯度方向上g,年代<年代ub>2要么是近似值牛顿方向,即解到
|
(3)年代trong> |
或者一个方向负曲率,
|
(4)年代trong> |
这种选择背后的哲学年代是强迫全局收敛(通过最陡峭的下降方向或负曲率方向),并实现快速的局部收敛(通过牛顿阶跃,当它存在时)。
gydF4y2Ba使用信任域思想的无约束最小化的草图现在很容易给出:
给出二维信赖域子问题。
解决方程2确定试验步骤年代.
如果<年代pan class="inlineequation">f(x+年代) <f(x)年代pan>,然后<年代pan class="inlineequation">x=x+年代年代pan>.
Δ调整。
重复这四个步骤直到收敛为止。信任域维度Δ根据标准规则进行调整。特别是,如果不接受试验步骤,则减少,即,<年代pan class="inlineequation">f(x+年代)≥f(x)年代pan>.看到[46]而且[49]对于这方面的讨论。
gydF4y2Ba优化工具箱求解器处理一些重要的特殊情况f有专门的函数:非线性最小二乘,二次函数,线性最小二乘。然而,基本的算法思想与一般情况是相同的。这些特殊情况将在后面的章节中讨论。
年代ect我on>
预条件共轭梯度法
一种常用的解大型对称正定线性方程组的方法<年代pan class="inlineequation">惠普=-g年代pan>为预条件共轭梯度法(PCG)。这种迭代方法要求能够计算这种形式的矩阵-向量乘积下载188bet金宝搏H·v在哪里v是任意向量。对称正定矩阵米是一个<年代pan class="emphasis">预调节器年代pan>为H.也就是说,<年代pan class="inlineequation">米=C<年代up>2年代pan>,在那里<年代pan class="inlineequation">C<年代up>1HC<年代up>1年代pan>是一个良好条件矩阵或具有聚类特征值的矩阵。
gydF4y2Ba在最小化的情况下,你可以假设黑森矩阵H是对称的。然而,H只有在强最小值附近才保证是正定的。PCG算法在遇到负(或零)曲率方向时退出,即:<年代pan class="inlineequation">d<年代up>T高清≤0.PCG输出方向p要么是负曲率方向,要么是牛顿系的近似解<年代pan class="inlineequation">惠普=-g年代pan>.无论哪种情况,p有助于定义中讨论的信赖域方法中使用的二维子空间非线性极小化的信赖域方法.
年代ect我on>
线性等式约束
线性约束使描述无约束最小化的情况复杂化。然而,前面描述的基本思想可以以一种干净有效的方式进行。优化工具箱求解器中的信赖域方法生成严格可行迭代。
gydF4y2Ba一般线性等式约束的最小化问题可以写成
|
(5)年代trong> |
在哪里一个是一个米- - - - - -- - - - - -------n矩阵(<年代pan class="inlineequation">米≤n年代pan>).一些优化工具箱求解器会进行预处理一个使用基于LU因式分解的技术去除严格的线性依赖一个<年代up>T[46].在这里一个被认为是有地位的米.
gydF4y2Ba用这种方法求解方程5与无约束方法有两个重要区别。首先,初始可行点x<年代ub>0计算,采用稀疏最小二乘步骤,使<年代pan class="inlineequation">斧头<年代ub>0=b年代pan>.第二,算法PCG被减少预处理共轭梯度(RPCG)取代,见[46],以计算近似的约化牛顿步长(或零空间中的负曲率方向)一个).线性代数的关键步骤包括求解这种形式的系统
|
(6)年代trong> |
在哪里<年代pan class="inlineequation">
接近一个的小非零一个如果rank不丢失,则设置为0)和C稀疏对称正定近似是H,也就是说,<年代pan class="inlineequation">C=H年代pan>.看到[46]欲知详情。
年代ect我on>
箱约束
盒约束问题的形式为
|
(7)年代trong> |
在哪里l是下界的向量u是一个有上界的向量。的部分(或全部)成分l可以等于-∞和?的部分(或全部)分量u可以等于∞。该方法生成严格可行点序列。使用两种技术来保持可行性,同时实现鲁棒收敛行为。首先,一个缩放的修正牛顿阶跃取代了无约束牛顿阶跃(以定义二维子空间年代).第二,反射用于增加步长。
gydF4y2Ba尺度修正牛顿阶跃是在考察库恩-塔克必要条件的基础上提出的方程7,
|
(8)年代trong> |
在哪里
这个向量v(x)的定义如下<年代pan class="inlineequation">1≤我≤n年代pan>:
如果<年代pan class="inlineequation">g<年代ub>我年代ub>< 0而且<年代pan class="inlineequation">u<年代ub>我年代ub><∞年代pan>然后<年代pan class="inlineequation">v<年代ub>我年代ub>=x<年代ub>我年代ub>--- - - -u<年代ub>我年代ub>年代pan>
如果<年代pan class="inlineequation">g<年代ub>我年代ub>≥0而且<年代pan class="inlineequation">l<年代ub>我年代ub>>-∞年代pan>然后<年代pan class="inlineequation">v<年代ub>我年代ub>=x<年代ub>我年代ub>--- - - -l<年代ub>我年代ub>年代pan>
如果<年代pan class="inlineequation">g<年代ub>我年代ub>< 0而且<年代pan class="inlineequation">u<年代ub>我年代ub>=∞年代pan>然后<年代pan class="inlineequation">v<年代ub>我年代ub>= 1
如果<年代pan class="inlineequation">g<年代ub>我年代ub>≥0而且<年代pan class="inlineequation">l<年代ub>我年代ub>=-∞年代pan>然后<年代pan class="inlineequation">v<年代ub>我年代ub>= 1