一阶最优性测量- MATLAB和Simulink MathWorks比利时、荷兰、卢金宝app森堡gydF4y2Ba

一阶最优性测量gydF4y2Ba

一阶最优性措施是什么?gydF4y2Ba

一阶最优性是衡量一个点间的距离gydF4y2BaxgydF4y2Ba是最优的。大多数解决优化工具箱™使用这一标准,尽管它为不同的算法有不同的定义。一阶最优性是一个必要条件,但不是充分条件。换句话说:gydF4y2Ba

一阶最优性测量至少必须为零。gydF4y2Ba
一个点和一阶最优性等于零不一定是最低。gydF4y2Ba

对于一般的一阶最优性的信息,看到Nocedal和赖特gydF4y2Ba[31]gydF4y2Ba。关于一阶最优性的具体解决措施,优化工具箱,明白了gydF4y2Ba无约束最优gydF4y2Ba,gydF4y2Ba约束最优性理论gydF4y2Ba,gydF4y2Ba约束最优解算器形式gydF4y2Ba。gydF4y2Ba

与一阶最优停止规则gydF4y2Ba

的gydF4y2BaOptimalityTolerancegydF4y2Ba宽容与一阶最优性措施。通常,如果一阶最优性测量不到gydF4y2BaOptimalityTolerancegydF4y2Ba,解决迭代结束。gydF4y2Ba

使用一些解决或算法gydF4y2Ba相对gydF4y2Ba一阶最优性作为停止准则。解算器迭代结束,如果小于一阶最优性措施gydF4y2BaμgydF4y2Ba次gydF4y2BaOptimalityTolerancegydF4y2Ba,在那里gydF4y2BaμgydF4y2Ba要么是:gydF4y2Ba

无穷范数(最大)的目标函数的梯度gydF4y2Bax0gydF4y2Ba
无穷范数(最大)解算器的输入,如gydF4y2BafgydF4y2Ba或gydF4y2BabgydF4y2Ba在gydF4y2BalinproggydF4y2Ba或gydF4y2BaHgydF4y2Ba在gydF4y2BaquadproggydF4y2Ba

相对测量试图占的规模问题。一个目标函数乘以数量非常大或非常小的不会改变的停止条件相对停止准则,但改变它的任何范围。gydF4y2Ba

解决与gydF4y2Ba增强退出消息gydF4y2Ba在停止状态下,标准的细节,当他们使用相对的一阶最优性。gydF4y2Ba

无约束最优gydF4y2Ba

光滑无约束问题,gydF4y2Ba

$\underset{xgydF4y2Ba}{最小值gydF4y2Ba} fgydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba,gydF4y2Ba$

一阶最优性测量是无穷范数(即最大绝对值)gydF4y2Ba∇gydF4y2BafgydF4y2Ba(gydF4y2BaxgydF4y2Ba)gydF4y2Ba,这是:gydF4y2Ba

$一阶最优性测量=gydF4y2Ba \underset{我gydF4y2Ba}{马克斯gydF4y2Ba} |gydF4y2Ba {(gydF4y2Ba \nablagydF4y2Ba fgydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba)gydF4y2Ba}_{我gydF4y2Ba} |gydF4y2Ba =gydF4y2Ba {为gydF4y2Ba \nablagydF4y2Ba fgydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba 为gydF4y2Ba}_{∞gydF4y2Ba} 。gydF4y2Ba$

这个衡量最优基于熟悉的条件一个光滑函数达到最小:梯度必须为零。对于无约束问题,当一阶最优性测量几乎为零,目标函数梯度几乎为零,所以目标函数可能是附近最低。如果一阶最优测量不是小,目标函数并不是最小的。gydF4y2Ba

约束最优性理论gydF4y2Ba

本节总结了背后的理论限制问题的一阶最优性测量的定义。用于优化工具箱函数的定义gydF4y2Ba约束最优解算器形式gydF4y2Ba。gydF4y2Ba

对于一个光滑约束的问题,让gydF4y2BaggydF4y2Ba和gydF4y2BahgydF4y2Ba是矢量函数分别代表所有不等式和等式约束(意义束缚、线性和非线性约束):gydF4y2Ba

$\underset{xgydF4y2Ba}{最小值gydF4y2Ba} fgydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba 受gydF4y2Ba ggydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba \leqgydF4y2Ba 0gydF4y2Ba,gydF4y2Ba hgydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba =gydF4y2Ba 0。gydF4y2Ba$

在这种情况下,一阶最优性的意义是更复杂的比无约束问题。定义是基于gydF4y2Ba Karush-Kuhn-Tucker(马)条件。马条件类似于梯度的条件必须是零至少修改为考虑约束。所不同的是,马条件受限的问题。gydF4y2Ba

马条件使用辅助gydF4y2Ba拉格朗日函数:gydF4y2Ba

lgydF4y2Ba (gydF4y2Ba xgydF4y2Ba,gydF4y2Ba λgydF4y2Ba)gydF4y2Ba =gydF4y2Ba fgydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba +gydF4y2Ba \sumgydF4y2Ba {λgydF4y2Ba}_{ggydF4y2Ba,gydF4y2Ba 我gydF4y2Ba} {ggydF4y2Ba}_{我gydF4y2Ba} (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba +gydF4y2Ba \sumgydF4y2Ba {λgydF4y2Ba}_{hgydF4y2Ba,gydF4y2Ba 我gydF4y2Ba} {hgydF4y2Ba}_{我gydF4y2Ba} (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba 。gydF4y2Ba

(1)gydF4y2Ba

向量gydF4y2BaλgydF4y2Ba的连接gydF4y2BaλgydF4y2Ba_ggydF4y2Ba和gydF4y2BaλgydF4y2Ba_hgydF4y2Ba是拉格朗日乘子向量。它的长度约束的总数。gydF4y2Ba

马的条件是:gydF4y2Ba

{\nablagydF4y2Ba}_{xgydF4y2Ba} lgydF4y2Ba (gydF4y2Ba xgydF4y2Ba,gydF4y2Ba λgydF4y2Ba)gydF4y2Ba =gydF4y2Ba 0gydF4y2Ba,gydF4y2Ba

(2)gydF4y2Ba

{λgydF4y2Ba}_{ggydF4y2Ba,gydF4y2Ba 我gydF4y2Ba} {ggydF4y2Ba}_{我gydF4y2Ba} (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba =gydF4y2Ba 0gydF4y2Ba \forallgydF4y2Ba 我gydF4y2Ba,gydF4y2Ba

(3)gydF4y2Ba

{gydF4y2Ba \begin{matrix} ggydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba \leqgydF4y2Ba 0gydF4y2Ba,gydF4y2Ba \\ hgydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba =gydF4y2Ba 0gydF4y2Ba,gydF4y2Ba \\ {λgydF4y2Ba}_{ggydF4y2Ba,gydF4y2Ba 我gydF4y2Ba} \geqgydF4y2Ba 0。gydF4y2Ba \end{matrix}

(4)gydF4y2Ba

解决不使用三个表达式gydF4y2Ba方程4gydF4y2Ba计算最优的措施。gydF4y2Ba

相关的最优测量gydF4y2Ba方程2gydF4y2Ba是gydF4y2Ba

为gydF4y2Ba {\nablagydF4y2Ba}_{xgydF4y2Ba} lgydF4y2Ba (gydF4y2Ba xgydF4y2Ba,gydF4y2Ba λgydF4y2Ba)gydF4y2Ba 为gydF4y2Ba =gydF4y2Ba 为gydF4y2Ba \nablagydF4y2Ba fgydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba +gydF4y2Ba \sumgydF4y2Ba {λgydF4y2Ba}_{ggydF4y2Ba,gydF4y2Ba 我gydF4y2Ba} \nablagydF4y2Ba {ggydF4y2Ba}_{我gydF4y2Ba} (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba +gydF4y2Ba \sumgydF4y2Ba {λgydF4y2Ba}_{hgydF4y2Ba,gydF4y2Ba 我gydF4y2Ba} \nablagydF4y2Ba {hgydF4y2Ba}_{hgydF4y2Ba,gydF4y2Ba 我gydF4y2Ba} (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba 为gydF4y2Ba 。gydF4y2Ba

(5)gydF4y2Ba

相关的最优测量gydF4y2Ba方程3gydF4y2Ba是gydF4y2Ba

为gydF4y2Ba \overset{\togydF4y2Ba}{{λgydF4y2Ba}_{ggydF4y2Ba} ggydF4y2Ba} (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba 为gydF4y2Ba,gydF4y2Ba

(6)gydF4y2Ba

规范的地方gydF4y2Ba方程6gydF4y2Ba意味着无穷范数(最大)的向量gydF4y2Ba

\overset{\togydF4y2Ba}{{λgydF4y2Ba}_{ggydF4y2Ba,gydF4y2Ba 我gydF4y2Ba} {ggydF4y2Ba}_{我gydF4y2Ba}} (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba

。gydF4y2Ba

合并后的最优测量的最大价值计算gydF4y2Ba方程5gydF4y2Ba和gydF4y2Ba方程6gydF4y2Ba。解决非线性约束函数接受报告约束违反gydF4y2BaggydF4y2Ba(gydF4y2BaxgydF4y2Ba)> 0gydF4y2Ba或gydF4y2Ba|gydF4y2BahgydF4y2Ba(gydF4y2BaxgydF4y2Ba)| > 0gydF4y2Ba作为gydF4y2BaConstraintTolerancegydF4y2Ba违规。看到gydF4y2Ba公差和停止条件gydF4y2Ba。gydF4y2Ba

约束最优解算器形式gydF4y2Ba

大多数限制工具箱解决单独的一阶最优性的计算测量范围,线性函数和非线性函数。以下两个措施是最大的规范,这对应gydF4y2Ba方程5gydF4y2Ba和gydF4y2Ba方程6gydF4y2Ba:gydF4y2Ba

\begin{array}{l} 为gydF4y2Ba {\nablagydF4y2Ba}_{xgydF4y2Ba} lgydF4y2Ba (gydF4y2Ba xgydF4y2Ba,gydF4y2Ba λgydF4y2Ba)gydF4y2Ba 为gydF4y2Ba =gydF4y2Ba 为gydF4y2Ba \nablagydF4y2Ba fgydF4y2Ba (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba +gydF4y2Ba {一个gydF4y2Ba}^{TgydF4y2Ba} {λgydF4y2Ba}_{我gydF4y2Ba ngydF4y2Ba egydF4y2Ba 问gydF4y2Ba lgydF4y2Ba 我gydF4y2Ba ngydF4y2Ba} +gydF4y2Ba 一个gydF4y2Ba egydF4y2Ba {问gydF4y2Ba}^{TgydF4y2Ba} {λgydF4y2Ba}_{egydF4y2Ba 问gydF4y2Ba lgydF4y2Ba 我gydF4y2Ba ngydF4y2Ba} \\ +gydF4y2Ba \sumgydF4y2Ba {λgydF4y2Ba}_{我gydF4y2Ba ngydF4y2Ba egydF4y2Ba 问gydF4y2Ba ngydF4y2Ba ogydF4y2Ba ngydF4y2Ba lgydF4y2Ba 我gydF4y2Ba ngydF4y2Ba,gydF4y2Ba 我gydF4y2Ba} \nablagydF4y2Ba {cgydF4y2Ba}_{我gydF4y2Ba} (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba +gydF4y2Ba \sumgydF4y2Ba {λgydF4y2Ba}_{egydF4y2Ba 问gydF4y2Ba ngydF4y2Ba ogydF4y2Ba ngydF4y2Ba lgydF4y2Ba 我gydF4y2Ba ngydF4y2Ba,gydF4y2Ba 我gydF4y2Ba} \nablagydF4y2Ba cgydF4y2Ba egydF4y2Ba {问gydF4y2Ba}_{我gydF4y2Ba} (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba 为gydF4y2Ba,gydF4y2Ba \end{array}

(7)gydF4y2Ba

为gydF4y2Ba \overset{\togydF4y2Ba}{|gydF4y2Ba {lgydF4y2Ba}_{我gydF4y2Ba} -gydF4y2Ba {xgydF4y2Ba}_{我gydF4y2Ba} |gydF4y2Ba {λgydF4y2Ba}_{lgydF4y2Ba ogydF4y2Ba wgydF4y2Ba egydF4y2Ba rgydF4y2Ba,gydF4y2Ba 我gydF4y2Ba}},gydF4y2Ba \overset{\togydF4y2Ba}{|gydF4y2Ba {xgydF4y2Ba}_{我gydF4y2Ba} -gydF4y2Ba {ugydF4y2Ba}_{我gydF4y2Ba} |gydF4y2Ba {λgydF4y2Ba}_{ugydF4y2Ba pgydF4y2Ba pgydF4y2Ba egydF4y2Ba rgydF4y2Ba,gydF4y2Ba 我gydF4y2Ba}},gydF4y2Ba \overset{\togydF4y2Ba}{|gydF4y2Ba {(gydF4y2Ba 一个gydF4y2Ba xgydF4y2Ba -gydF4y2Ba bgydF4y2Ba)gydF4y2Ba}_{我gydF4y2Ba} |gydF4y2Ba {λgydF4y2Ba}_{我gydF4y2Ba ngydF4y2Ba egydF4y2Ba 问gydF4y2Ba lgydF4y2Ba 我gydF4y2Ba ngydF4y2Ba,gydF4y2Ba 我gydF4y2Ba}},gydF4y2Ba \overset{\togydF4y2Ba}{|gydF4y2Ba {cgydF4y2Ba}_{我gydF4y2Ba} (gydF4y2Ba xgydF4y2Ba)gydF4y2Ba |gydF4y2Ba {λgydF4y2Ba}_{我gydF4y2Ba ngydF4y2Ba egydF4y2Ba 问gydF4y2Ba ngydF4y2Ba ogydF4y2Ba ngydF4y2Ba lgydF4y2Ba 我gydF4y2Ba ngydF4y2Ba,gydF4y2Ba 我gydF4y2Ba}} 为gydF4y2Ba,gydF4y2Ba

(8)gydF4y2Ba

向量的标准在哪里gydF4y2Ba方程7gydF4y2Ba和gydF4y2Ba方程8gydF4y2Ba无穷范数(最大值)。拉格朗日乘数法的下标对应求解拉格朗日乘子的结构。看到gydF4y2Ba拉格朗日乘子的结构gydF4y2Ba。的合计gydF4y2Ba方程7gydF4y2Ba所有约束的范围。如果绑定±gydF4y2Ba正gydF4y2Ba这个词不是约束,所以它不是求和的一部分。gydF4y2Ba

线性等式只gydF4y2Ba

对于一些大型的问题只有线性等式,一阶最优性测量的无穷范数gydF4y2Ba预计gydF4y2Ba梯度。换句话说,一阶最优性措施是梯度投射到零空间的大小gydF4y2BaAeqgydF4y2Ba。gydF4y2Ba

有界最小二乘和Trust-Region-Reflective解决者gydF4y2Ba

为解决最小二乘和trust-region-reflective算法,仅在边界问题,是最大的一阶最优性措施gydF4y2Ba我gydF4y2Ba的gydF4y2Ba|gydF4y2BavgydF4y2Ba_我gydF4y2Ba*gydF4y2BaggydF4y2Ba_我gydF4y2Ba|gydF4y2Ba。在这里gydF4y2BaggydF4y2Ba_我gydF4y2Ba是gydF4y2Ba我gydF4y2Bath组件的梯度,gydF4y2BaxgydF4y2Ba是当前点,gydF4y2Ba

${vgydF4y2Ba}_{我gydF4y2Ba} =gydF4y2Ba {gydF4y2Ba \begin{array}{l} |gydF4y2Ba {xgydF4y2Ba}_{我gydF4y2Ba} -gydF4y2Ba {bgydF4y2Ba}_{我gydF4y2Ba} |gydF4y2Ba & 如果负梯度指向gydF4y2Ba {bgydF4y2Ba}_{我gydF4y2Ba} \\ 1gydF4y2Ba & 否则gydF4y2Ba 。gydF4y2Ba \end{array}$

如果gydF4y2BaxgydF4y2Ba_我gydF4y2Ba是一个束缚,gydF4y2BavgydF4y2Ba_我gydF4y2Ba是零。如果gydF4y2BaxgydF4y2Ba_我gydF4y2Ba不绑定,然后最小化点梯度gydF4y2BaggydF4y2Ba_我gydF4y2Ba应该是零。因此一阶最优性措施应该是零减少点。gydF4y2Ba