一流的最优性是一种近距离的衡量标准GydF4y2BaXGydF4y2Ba是最佳的。大多数优化工具箱™求解器使用此措施,尽管它对不同的算法具有不同的定义。一阶的最优性是必要的条件,但它不是一个充分的条件。换句话说:GydF4y2Ba
一阶最优性测量必须至少为零。GydF4y2Ba
具有等于零的一级最优性的点不一定是最小的。GydF4y2Ba
有关一阶最优性的一般信息,请参阅Nocedal和WrightGydF4y2Ba[31]GydF4y2Ba。有关优化工具箱求解器的一阶最优度措施的具体细节,请参阅GydF4y2Ba不受约束的最优性GydF4y2Ba那GydF4y2Ba受限的最优理论GydF4y2Ba, 和GydF4y2Ba求解器形式的受限最优性GydF4y2Ba。GydF4y2Ba
这GydF4y2Ba最优法GydF4y2Ba
耐受性涉及一阶的最优性措施。通常,如果一阶的最优性度量小于GydF4y2Ba最优法GydF4y2Ba
,求解器迭代结束。GydF4y2Ba
一些求解器或算法使用GydF4y2Ba相对的GydF4y2Ba一流的最优性作为停止标准。如果一阶的最优性测量小于,则求解器迭代结束GydF4y2Baμ.GydF4y2Ba时代GydF4y2Ba最优法GydF4y2Ba
, 在哪里GydF4y2Baμ.GydF4y2Ba或者是:GydF4y2Ba
目标函数梯度的无限常态(最大值)GydF4y2BaX0.GydF4y2Ba
对求解器的输入的无限常量(最大值),例如GydF4y2BaFGydF4y2Ba
或者GydF4y2BaB.GydF4y2Ba
在GydF4y2Balinprog.GydF4y2Ba
或者GydF4y2BaHGydF4y2Ba
在GydF4y2BaQuadprog.GydF4y2Ba
相对措施试图考虑问题的规模。将客观函数乘以非常大或少数不会改变相对停止标准的停止条件,但确实将其改为未划分的条件。GydF4y2Ba
求助于GydF4y2Ba增强的退出消息GydF4y2Ba状态,在停止标准细节中,当他们使用相对一阶的最优性时。GydF4y2Ba
对于一个顺利的无约束问题,GydF4y2Ba
一阶的最优测量是无限常态(意味着最大绝对值)GydF4y2Ba∇GydF4y2BaFGydF4y2Ba(GydF4y2BaXGydF4y2Ba)GydF4y2Ba,这是:GydF4y2Ba
这种最优性的措施基于熟悉的功能,以实现最小值:其梯度必须为零。对于不受约束的问题,当一阶的最优性度量接近零时,目标函数具有渐变近零,因此客观函数可能近于最小。如果一阶的最优性测量不小,则目标函数不是最小的。GydF4y2Ba
本节概述了一阶题为限制问题定义背后的理论。优化工具箱功能中使用的定义GydF4y2Ba求解器形式的受限最优性GydF4y2Ba。GydF4y2Ba
对于平滑约束的问题,让GydF4y2BaGGydF4y2Ba和GydF4y2BaHGydF4y2Ba是表示所有不等式和平等约束的矢量函数(意义绑定,线性和非线性约束):GydF4y2Ba
在这种情况下,在这种情况下,一流的最优性的含义比无拘无束的问题更复杂。定义是基于GydF4y2BaKarush-Kuhn-Tucker(KKT)条件。KKT条件类似于梯度必须至少为零的条件,修改以考虑约束。不同之处在于KKT条件适用于受限制的问题。GydF4y2Ba
KKT条件使用辅助物GydF4y2Ba拉格朗日功能:GydF4y2Ba
(1)GydF4y2Ba |
KKT条件是:GydF4y2Ba
(2)GydF4y2Ba |
(3)GydF4y2Ba |
(4)GydF4y2Ba |
与之相关的最优性措施GydF4y2Ba等式2GydF4y2Ba是GydF4y2Ba
(5)GydF4y2Ba |
(6)GydF4y2Ba |
组合的最优性测量是计算的最大值GydF4y2Ba等式5.GydF4y2Ba和GydF4y2Ba等式6.GydF4y2Ba。接受非线性约束函数报告约束违规的求解器GydF4y2BaGGydF4y2Ba(GydF4y2BaXGydF4y2Ba)> 0.GydF4y2Ba或者GydF4y2Ba|GydF4y2BaHGydF4y2Ba(GydF4y2BaXGydF4y2Ba)|> 0GydF4y2Ba作为GydF4y2Ba约束特许GydF4y2Ba
违规行为。看GydF4y2Ba公差和停止标准GydF4y2Ba。GydF4y2Ba
大多数约束的工具箱求解器将它们的一级最优性测量分开到边界,线性函数和非线性函数。该措施是以下两个规范的最大值,其对应于GydF4y2Ba等式5.GydF4y2Ba和GydF4y2Ba等式6.GydF4y2Ba:GydF4y2Ba
(7)GydF4y2Ba |
(8)GydF4y2Ba |
其中vector的规范GydF4y2Ba等式7.GydF4y2Ba和GydF4y2Ba等式8.GydF4y2BaInfinity Norm(最大值)。拉格朗日乘法器上的下标对应于求解器拉格朗日乘法器结构。看GydF4y2Ba拉格朗日乘法器结构GydF4y2Ba。求和GydF4y2Ba等式7.GydF4y2Ba范围超过所有约束。如果绑定为±GydF4y2BaINF.GydF4y2Ba
,该术语不受限制,因此它不是求和的一部分。GydF4y2Ba
对于只有线性等分的一些大规模问题,一阶的最优性测量是无限常态GydF4y2Ba预计GydF4y2Ba坡度。换句话说,一阶的最优性测量值是投影到空白空间上的梯度的大小GydF4y2BaAEQ.GydF4y2Ba
。GydF4y2Ba
对于最小二乘求解器和信任区域反射算法,在单独界限的问题中,一阶最优测量是最大的GydF4y2Ba一世GydF4y2Ba的GydF4y2Ba|GydF4y2BaV.GydF4y2Ba一世GydF4y2Ba*GydF4y2BaGGydF4y2Ba一世GydF4y2Ba|GydF4y2Ba。这里GydF4y2BaGGydF4y2Ba一世GydF4y2Ba是个GydF4y2Ba一世GydF4y2Ba梯度的组分,GydF4y2BaXGydF4y2Ba是目前的点,和GydF4y2Ba
如果GydF4y2BaXGydF4y2Ba一世GydF4y2Ba是束缚,GydF4y2BaV.GydF4y2Ba一世GydF4y2Ba是零。如果GydF4y2BaXGydF4y2Ba一世GydF4y2Ba不在绑定,然后在最小化点梯度GydF4y2BaGGydF4y2Ba一世GydF4y2Ba应该为零。因此,一流的最优性测量值应在最小化点处为零。GydF4y2Ba