主要内容GydF4y2Ba

一阶最优测量GydF4y2Ba

什么是一阶优化措施?GydF4y2Ba

一流的最优性是一种近距离的衡量标准GydF4y2BaXGydF4y2Ba是最佳的。大多数优化工具箱™求解器使用此措施,尽管它对不同的算法具有不同的定义。一阶的最优性是必要的条件,但它不是一个充分的条件。换句话说:GydF4y2Ba

  • 一阶最优性测量必须至少为零。GydF4y2Ba

  • 具有等于​​零的一级最优性的点不一定是最小的。GydF4y2Ba

有关一阶最优性的一般信息,请参阅Nocedal和WrightGydF4y2Ba[31]GydF4y2Ba。有关优化工具箱求解器的一阶最优度措施的具体细节,请参阅GydF4y2Ba不受约束的最优性GydF4y2Ba那GydF4y2Ba受限的最优理论GydF4y2Ba, 和GydF4y2Ba求解器形式的受限最优性GydF4y2Ba。GydF4y2Ba

停止与一阶最优性相关的规则GydF4y2Ba

这GydF4y2Ba最优法GydF4y2Ba耐受性涉及一阶的最优性措施。通常,如果一阶的最优性度量小于GydF4y2Ba最优法GydF4y2Ba,求解器迭代结束。GydF4y2Ba

一些求解器或算法使用GydF4y2Ba相对的GydF4y2Ba一流的最优性作为停止标准。如果一阶的最优性测量小于,则求解器迭代结束GydF4y2Baμ.GydF4y2Ba时代GydF4y2Ba最优法GydF4y2Ba, 在哪里GydF4y2Baμ.GydF4y2Ba或者是:GydF4y2Ba

  • 目标函数梯度的无限常态(最大值)GydF4y2BaX0.GydF4y2Ba

  • 对求解器的输入的无限常量(最大值),例如GydF4y2BaFGydF4y2Ba或者GydF4y2BaB.GydF4y2Ba在GydF4y2Balinprog.GydF4y2Ba或者GydF4y2BaHGydF4y2Ba在GydF4y2BaQuadprog.GydF4y2Ba

相对措施试图考虑问题的规模。将客观函数乘以非常大或少数不会改变相对停止标准的停止条件,但确实将其改为未划分的条件。GydF4y2Ba

求助于GydF4y2Ba增强的退出消息GydF4y2Ba状态,在停止标准细节中,当他们使用相对一阶的最优性时。GydF4y2Ba

不受约束的最优性GydF4y2Ba

对于一个顺利的无约束问题,GydF4y2Ba

闵GydF4y2Ba XGydF4y2Ba FGydF4y2Ba (GydF4y2Ba XGydF4y2Ba )GydF4y2Ba 那GydF4y2Ba

一阶的最优测量是无限常态(意味着最大绝对值)GydF4y2Ba∇GydF4y2BaFGydF4y2Ba(GydF4y2BaXGydF4y2Ba)GydF4y2Ba,这是:GydF4y2Ba

一阶最优度措施=GydF4y2Ba 最大限度GydF4y2Ba 一世GydF4y2Ba |GydF4y2Ba (GydF4y2Ba ∇GydF4y2Ba FGydF4y2Ba (GydF4y2Ba XGydF4y2Ba )GydF4y2Ba )GydF4y2Ba 一世GydF4y2Ba |GydF4y2Ba =GydF4y2Ba ‖GydF4y2Ba ∇GydF4y2Ba FGydF4y2Ba (GydF4y2Ba XGydF4y2Ba )GydF4y2Ba ‖GydF4y2Ba ∞GydF4y2Ba 。GydF4y2Ba

这种最优性的措施基于熟悉的功能,以实现最小值:其梯度必须为零。对于不受约束的问题,当一阶的最优性度量接近零时,目标函数具有渐变近零,因此客观函数可能近于最小。如果一阶的最优性测量不小,则目标函数不是最小的。GydF4y2Ba

受限的最优理论GydF4y2Ba

本节概述了一阶题为限制问题定义背后的理论。优化工具箱功能中使用的定义GydF4y2Ba求解器形式的受限最优性GydF4y2Ba。GydF4y2Ba

对于平滑约束的问题,让GydF4y2BaGGydF4y2Ba和GydF4y2BaHGydF4y2Ba是表示所有不等式和平等约束的矢量函数(意义绑定,线性和非线性约束):GydF4y2Ba

闵GydF4y2Ba XGydF4y2Ba FGydF4y2Ba (GydF4y2Ba XGydF4y2Ba )GydF4y2Ba 受到约束GydF4y2Ba GGydF4y2Ba (GydF4y2Ba XGydF4y2Ba )GydF4y2Ba ≤.GydF4y2Ba 0.GydF4y2Ba 那GydF4y2Ba HGydF4y2Ba (GydF4y2Ba XGydF4y2Ba )GydF4y2Ba =GydF4y2Ba 0。GydF4y2Ba

在这种情况下,在这种情况下,一流的最优性的含义比无拘无束的问题更复杂。定义是基于GydF4y2BaKarush-Kuhn-Tucker(KKT)条件。KKT条件类似于梯度必须至少为零的条件,修改以考虑约束。不同之处在于KKT条件适用于受限制的问题。GydF4y2Ba

KKT条件使用辅助物GydF4y2Ba拉格朗日功能:GydF4y2Ba

L.GydF4y2Ba (GydF4y2Ba XGydF4y2Ba 那GydF4y2Ba λ.GydF4y2Ba )GydF4y2Ba =GydF4y2Ba FGydF4y2Ba (GydF4y2Ba XGydF4y2Ba )GydF4y2Ba +GydF4y2Ba σ.GydF4y2Ba λ.GydF4y2Ba GGydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba GGydF4y2Ba 一世GydF4y2Ba (GydF4y2Ba XGydF4y2Ba )GydF4y2Ba +GydF4y2Ba σ.GydF4y2Ba λ.GydF4y2Ba HGydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba HGydF4y2Ba 一世GydF4y2Ba (GydF4y2Ba XGydF4y2Ba )GydF4y2Ba 。GydF4y2Ba (1)GydF4y2Ba
矢量GydF4y2Baλ.GydF4y2Ba,这是串联GydF4y2Baλ.GydF4y2BaGGydF4y2Ba和GydF4y2Baλ.GydF4y2BaHGydF4y2Ba,拉格朗日乘法器矢量。它的长度是约束的总数。GydF4y2Ba

KKT条件是:GydF4y2Ba

∇GydF4y2Ba XGydF4y2Ba L.GydF4y2Ba (GydF4y2Ba XGydF4y2Ba 那GydF4y2Ba λ.GydF4y2Ba )GydF4y2Ba =GydF4y2Ba 0.GydF4y2Ba 那GydF4y2Ba (2)GydF4y2Ba
λ.GydF4y2Ba GGydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba GGydF4y2Ba 一世GydF4y2Ba (GydF4y2Ba XGydF4y2Ba )GydF4y2Ba =GydF4y2Ba 0.GydF4y2Ba ∀GydF4y2Ba 一世GydF4y2Ba 那GydF4y2Ba (3)GydF4y2Ba
{GydF4y2Ba GGydF4y2Ba (GydF4y2Ba XGydF4y2Ba )GydF4y2Ba ≤.GydF4y2Ba 0.GydF4y2Ba 那GydF4y2Ba HGydF4y2Ba (GydF4y2Ba XGydF4y2Ba )GydF4y2Ba =GydF4y2Ba 0.GydF4y2Ba 那GydF4y2Ba λ.GydF4y2Ba GGydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba ≥GydF4y2Ba 0。GydF4y2Ba (4)GydF4y2Ba
求解器不使用三个表达式GydF4y2Ba等式4.GydF4y2Ba在计算最优性度量。GydF4y2Ba

与之相关的最优性措施GydF4y2Ba等式2GydF4y2Ba是GydF4y2Ba

‖GydF4y2Ba ∇GydF4y2Ba XGydF4y2Ba L.GydF4y2Ba (GydF4y2Ba XGydF4y2Ba 那GydF4y2Ba λ.GydF4y2Ba )GydF4y2Ba ‖GydF4y2Ba =GydF4y2Ba ‖GydF4y2Ba ∇GydF4y2Ba FGydF4y2Ba (GydF4y2Ba XGydF4y2Ba )GydF4y2Ba +GydF4y2Ba σ.GydF4y2Ba λ.GydF4y2Ba GGydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba ∇GydF4y2Ba GGydF4y2Ba 一世GydF4y2Ba (GydF4y2Ba XGydF4y2Ba )GydF4y2Ba +GydF4y2Ba σ.GydF4y2Ba λ.GydF4y2Ba HGydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba ∇GydF4y2Ba HGydF4y2Ba HGydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba (GydF4y2Ba XGydF4y2Ba )GydF4y2Ba ‖GydF4y2Ba 。GydF4y2Ba (5)GydF4y2Ba
与之相关的最优性措施GydF4y2Ba等式3.GydF4y2Ba是GydF4y2Ba
‖GydF4y2Ba λ.GydF4y2Ba GGydF4y2Ba GGydF4y2Ba →GydF4y2Ba (GydF4y2Ba XGydF4y2Ba )GydF4y2Ba ‖GydF4y2Ba 那GydF4y2Ba (6)GydF4y2Ba
常态的地方GydF4y2Ba等式6.GydF4y2Ba表示载体的无限常态(最大值)GydF4y2Ba λ.GydF4y2Ba GGydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba GGydF4y2Ba 一世GydF4y2Ba →GydF4y2Ba (GydF4y2Ba XGydF4y2Ba )GydF4y2Ba 。GydF4y2Ba

组合的最优性测量是计算的最大值GydF4y2Ba等式5.GydF4y2Ba和GydF4y2Ba等式6.GydF4y2Ba。接受非线性约束函数报告约束违规的求解器GydF4y2BaGGydF4y2Ba(GydF4y2BaXGydF4y2Ba)> 0.GydF4y2Ba或者GydF4y2Ba|GydF4y2BaHGydF4y2Ba(GydF4y2BaXGydF4y2Ba)|> 0GydF4y2Ba作为GydF4y2Ba约束特许GydF4y2Ba违规行为。看GydF4y2Ba公差和停止标准GydF4y2Ba。GydF4y2Ba

求解器形式的受限最优性GydF4y2Ba

大多数约束的工具箱求解器将它们的一级最优性测量分开到边界,线性函数和非线性函数。该措施是以下两个规范的最大值,其对应于GydF4y2Ba等式5.GydF4y2Ba和GydF4y2Ba等式6.GydF4y2Ba:GydF4y2Ba

‖GydF4y2Ba ∇GydF4y2Ba XGydF4y2Ba L.GydF4y2Ba (GydF4y2Ba XGydF4y2Ba 那GydF4y2Ba λ.GydF4y2Ba )GydF4y2Ba ‖GydF4y2Ba =GydF4y2Ba ‖GydF4y2Ba ∇GydF4y2Ba FGydF4y2Ba (GydF4y2Ba XGydF4y2Ba )GydF4y2Ba +GydF4y2Ba 一种GydF4y2Ba T.GydF4y2Ba λ.GydF4y2Ba 一世GydF4y2Ba NGydF4y2Ba E.GydF4y2Ba 问:GydF4y2Ba L.GydF4y2Ba 一世GydF4y2Ba NGydF4y2Ba +GydF4y2Ba 一种GydF4y2Ba E.GydF4y2Ba 问:GydF4y2Ba T.GydF4y2Ba λ.GydF4y2Ba E.GydF4y2Ba 问:GydF4y2Ba L.GydF4y2Ba 一世GydF4y2Ba NGydF4y2Ba +GydF4y2Ba σ.GydF4y2Ba λ.GydF4y2Ba 一世GydF4y2Ba NGydF4y2Ba E.GydF4y2Ba 问:GydF4y2Ba NGydF4y2Ba O.GydF4y2Ba NGydF4y2Ba L.GydF4y2Ba 一世GydF4y2Ba NGydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba ∇GydF4y2Ba CGydF4y2Ba 一世GydF4y2Ba (GydF4y2Ba XGydF4y2Ba )GydF4y2Ba +GydF4y2Ba σ.GydF4y2Ba λ.GydF4y2Ba E.GydF4y2Ba 问:GydF4y2Ba NGydF4y2Ba O.GydF4y2Ba NGydF4y2Ba L.GydF4y2Ba 一世GydF4y2Ba NGydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba ∇GydF4y2Ba CGydF4y2Ba E.GydF4y2Ba 问:GydF4y2Ba 一世GydF4y2Ba (GydF4y2Ba XGydF4y2Ba )GydF4y2Ba ‖GydF4y2Ba 那GydF4y2Ba (7)GydF4y2Ba
‖GydF4y2Ba |GydF4y2Ba L.GydF4y2Ba 一世GydF4y2Ba -GydF4y2Ba XGydF4y2Ba 一世GydF4y2Ba |GydF4y2Ba λ.GydF4y2Ba L.GydF4y2Ba O.GydF4y2Ba W.GydF4y2Ba E.GydF4y2Ba R.GydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba →GydF4y2Ba 那GydF4y2Ba |GydF4y2Ba XGydF4y2Ba 一世GydF4y2Ba -GydF4y2Ba 你GydF4y2Ba 一世GydF4y2Ba |GydF4y2Ba λ.GydF4y2Ba 你GydF4y2Ba P.GydF4y2Ba P.GydF4y2Ba E.GydF4y2Ba R.GydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba →GydF4y2Ba 那GydF4y2Ba |GydF4y2Ba (GydF4y2Ba 一种GydF4y2Ba XGydF4y2Ba -GydF4y2Ba B.GydF4y2Ba )GydF4y2Ba 一世GydF4y2Ba |GydF4y2Ba λ.GydF4y2Ba 一世GydF4y2Ba NGydF4y2Ba E.GydF4y2Ba 问:GydF4y2Ba L.GydF4y2Ba 一世GydF4y2Ba NGydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba →GydF4y2Ba 那GydF4y2Ba |GydF4y2Ba CGydF4y2Ba 一世GydF4y2Ba (GydF4y2Ba XGydF4y2Ba )GydF4y2Ba |GydF4y2Ba λ.GydF4y2Ba 一世GydF4y2Ba NGydF4y2Ba E.GydF4y2Ba 问:GydF4y2Ba NGydF4y2Ba O.GydF4y2Ba NGydF4y2Ba L.GydF4y2Ba 一世GydF4y2Ba NGydF4y2Ba 那GydF4y2Ba 一世GydF4y2Ba →GydF4y2Ba ‖GydF4y2Ba 那GydF4y2Ba (8)GydF4y2Ba

其中vector的规范GydF4y2Ba等式7.GydF4y2Ba和GydF4y2Ba等式8.GydF4y2BaInfinity Norm(最大值)。拉格朗日乘法器上的下标对应于求解器拉格朗日乘法器结构。看GydF4y2Ba拉格朗日乘法器结构GydF4y2Ba。求和GydF4y2Ba等式7.GydF4y2Ba范围超过所有约束。如果绑定为±GydF4y2BaINF.GydF4y2Ba,该术语不受限制,因此它不是求和的一部分。GydF4y2Ba

仅线性平等GydF4y2Ba

对于只有线性等分的一些大规模问题,一阶的最优性测量是无限常态GydF4y2Ba预计GydF4y2Ba坡度。换句话说,一阶的最优性测量值是投影到空白空间上的梯度的大小GydF4y2BaAEQ.GydF4y2Ba。GydF4y2Ba

有界最小二乘和信任区域反射求解器GydF4y2Ba

对于最小二乘求解器和信任区域反射算法,在单独界限的问题中,一阶最优测量是最大的GydF4y2Ba一世GydF4y2Ba的GydF4y2Ba|GydF4y2BaV.GydF4y2Ba一世GydF4y2Ba*GydF4y2BaGGydF4y2Ba一世GydF4y2Ba|GydF4y2Ba。这里GydF4y2BaGGydF4y2Ba一世GydF4y2Ba是个GydF4y2Ba一世GydF4y2Ba梯度的组分,GydF4y2BaXGydF4y2Ba是目前的点,和GydF4y2Ba

V.GydF4y2Ba 一世GydF4y2Ba =GydF4y2Ba {GydF4y2Ba |GydF4y2Ba XGydF4y2Ba 一世GydF4y2Ba -GydF4y2Ba B.GydF4y2Ba 一世GydF4y2Ba |GydF4y2Ba 如果负面梯度指向绑定GydF4y2Ba B.GydF4y2Ba 一世GydF4y2Ba 1GydF4y2Ba 除此以外GydF4y2Ba 。GydF4y2Ba

如果GydF4y2BaXGydF4y2Ba一世GydF4y2Ba是束缚,GydF4y2BaV.GydF4y2Ba一世GydF4y2Ba是零。如果GydF4y2BaXGydF4y2Ba一世GydF4y2Ba不在绑定,然后在最小化点梯度GydF4y2BaGGydF4y2Ba一世GydF4y2Ba应该为零。因此,一流的最优性测量值应在最小化点处为零。GydF4y2Ba

相关话题GydF4y2Ba