이번역페이지는최신내용을담고있지않습니다。최신내용을문으로보려면여기를클릭하십시오。
제약조건이없는비선형최적화알고리즘
제약조건이없는최적화정의
제약조건이없는최소화는스칼라함수f (x)에대한국소최솟값인벡터x를구하는문제입니다。
제약조건이없는 이라는용어는x의범위에어떠한제한도적용되지않았다는것을의미합니다。
fminunc의信赖域알고리즘
비선형최소화를위한信任区域방법
优化工具箱™솔버에사용되는대부분의방법이최적화의단순하지만강력한개념인<年代pan class="emphasis">신뢰역을기반으로합니다。
최적화에대한信赖域접근법을이해하기위해제약조건이없는최소화문제를살펴보고,f (x)를최소화해보겠습니다。여기서함수는벡터수를받고스칼라를반환합니다。n공간에서점x에있고향상,즉더낮은함수값을가지는점으로이동하기를원한다고가정해보겠습니다。기본적인발상은점x주위에있는이웃N에서함f의수동작을잘반영하는더간단한함q수를사용하여f를근사하는것입니다。이이웃을신뢰역이라고합니다。시행스텝s는N에대한최소화(또는근사최소화)를수행하여계산됩니다。이를trust-region하위문제라고하며,다음과같습니다。
(1)
현재 점은<年代pan class="inlineequation">F (x + s) < F (x)경우x + s가되도록업데이트됩니다。그렇지않은경우현재점은변경되지않고그대로유지되며신뢰영역N은축소되고시행스텝계산이반복됩니다。
f (x)를최소화하기위한특정信赖域접근법을정의할때고려해야할핵심질문은근삿값q(현재점x에서정의됨)를선택하고계산하는방법은무엇인가,신뢰영역N을선택하고수정하는방법은무엇인가,그리고信赖域하위문제를얼마나정확하게풀수있는가입니다。이섹션에서는제약조건이없는문제를집중적으로설명합니다。뒷부분에나오는섹션에서는변수에대한제약조건이존재함으로인해복잡성이얼마나가중되는지에대해설명합니다。
` ` ` `준trust-region방법([48]2)에서는차근삿값q x가에서F에대한테일러근사의처음두항으로정의되며,이웃N은일반적으로구면또는타원형태입니다。수학적으로trust-region하위문제는대개다음과같이通讯录기됩니다。
(2)
g는여기서현재점x에서f의기울기이고,H는헤세행렬(2계도함수의대칭행렬)이고,D는대각스케일링행렬이고,Δ는양의스칼라이며,∥。∥는2-노름입니다。수식2을푸는데사용할수있는좋은알고리즘이있습니다([48]참조)。이러한알고리즘은일반적으로다음과같은고유방정식에적용되는뉴턴과정및h의모든고유값에대한계산을포함합니다。
이러한알고리즘은수식2에대한정확한해를제공합니다。하지만,이알고리즘을사용하려면H에대한여러행렬분해에비례하는시간이필요합니다。따라서,대규모문제에는다른접근법이필합니다。수식2기반한여러근사법과발견법전략이참고문헌([42]및[50])에서제되었습니다。优化工具箱솔버에서따르는근사접근법은信赖域하위문제를2차원부분공간([39]및[42])로제한하는것입니다。부분공간s가계산되고나면수식2를푸는방법은간단합니다。비희소고유값/고유벡터정보가필한경우에도마찬가지입니다。그이유는부분공간에서는문제가2차원뿐이기때문입니다。이제수행해야하는주된작업은부분공간을결정하는것입니다。
2차원부분공간s는아래에설명되어있는선조건적용켤레기울기법과정을통해결정됩니다。솔버는S를S<年代ub>1및年代<年代ub>2에의해생성되는선형공간으로정의합니다。여기서s<年代ub>1은기울기g의방향이고s<年代ub>2는 근사뉴턴방향,즉다음수식에대한해를말합니다。
(3)
또는다음과같은음의곡률의방향입니다。
(4)
이러한年代선택의바탕이되는철학은(최속강하법방향또는음의곡률방향을통해)전역수렴을강제적용하고(존재하는경우뉴턴스텝을통해)신속하게국소수렴을달성한다는것입니다。
信赖域알고리즘을사용한제약조건이없는최소화과정은이제다음과같이간단하게요약할수있습니다。
2차원trust-region하위문제를정식화합니다。
F (x + s) < F (x)이면<年代pan class="inlineequation">X = X + s입니다。
Δ를조정합니다。
이네단계는수렴할때까지반복됩니다。Trust-region차원Δ는通讯录준규칙에따라조정됩니다。특히,시행스텝이받아들여지지않은경우,즉<年代pan class="inlineequation">F (x + s)≥F (x)ric경우에는trust-region차원이축소됩니다。이사항에대한자세한내용은[46]항목과[49]항목을참조하십시오。
优化工具箱솔버는비선형최소제곱,2차함수,선형최소제곱등의특화된함수를사용하여f에대한몇가지중요한특수사례를처리합니다。하지만,기반이되는알고리즘적발상은일반적marketing사례와동일합니다。이러한특수사례에대해서는뒷부분에나오는섹션에서설명합니다。
선조건적용켤레기울기법(预条件共轭梯度法)
선조건적용켤레기울기법(pcg)은대규모양의정부호대칭선형연립방정식<年代pan class="inlineequation">Hp = -g를푸는데자주사용되는방법입니다。이반복적인접근법을사용하려면H·v형식의행렬——벡터곱을계산할수있어야합니다。여기서v는임의벡터입니다。양의정부호대칭행렬m은h에대한<年代pan class="emphasis">선조건자입니다。즉,<年代pan class="inlineequation">M = c<年代up>2입니다。여기서<年代pan class="inlineequation">C<年代up>1HC<年代up>1은조건이좋은행렬이거나서로다른고유값이모여있는행렬입니다。
최소화의맥락에서는헤세행렬h가대칭행렬이라고간주할수있습니다。하지만,h는강력한최소점의이웃경우에만양의정부호행렬여부가보장됩니다。알고리즘pcg는음의곡률(또는곡률)방향이발생한경우,즉<年代pan class="inlineequation">d<年代up>THd≤0경우에종료됩니다。PCG출력값방향p는음의곡률의방향이거나뉴턴시스템<年代pan class="inlineequation">Hp = -g에대한근사해입니다。어느경우이든p는비선형최소화를위한信任区域방법에설명된信赖域접근법에사용되는2차원부분공간을정의하는데도움이됩니다。
fminunc의拟牛顿알고리즘
제약조건이없는최적화관련기본사항
제약조건이없는최적화를위한다양한방법이존재하지만,크게는사용되거나사용되지않는도함수정보를기준으로분류될수있습니다。함수실행만사용하는탐색방법(예:넬더-미드심플렉스(Nelder-Mead单纯形)탐색[30])은매끄럽지않거나여러개의불연속지점을갖는문제에가장적합합니다。기울기방법은일반적으로최소화하려는함수가계1도함수에서연속인경우에더욱효율적입니다。뉴턴의방법과같이차수가높은방법일수록2차정보가순조롭고쉽게계산되는경우에만적합합니다。그이유는수치미분을사용하는2차정보계산은많은계산량을하기때문입니다。
기울기방법은최솟값이있다고여겨지는곳의탐색방향을정하기위해함수의기울기에대한정보를사용합니다。그중가장단순한방법은탐색이<年代pan class="inlineequation">——∇f (x)방향으로수행되는최속강하법입니다。여기서<年代pan class="inlineequation">∇f (x)는목적함수의기울기입니다。이방법은최소화하려는함수가길고좁은밸리를가지는경우매우비효율적입니다。예를들어,다음과같은로젠브록함수가이에해당됩니다。
(5)
이함수의최솟값은<年代pan class="inlineequation">X = [1,1]에있습니다。여기서<年代pan class="inlineequation">F (x) = 0입니다。이함수의등고선지도는점[-1.9,2)에서시작하여최속강하법구현에대한최솟값에이르는해의경로와함께아래그림에표시되어있습니다。1000회의반복실행후최적화가종료되었으며,여전히최솟값과는거리가상당히떨어져있습니다。검은색영역은이방법이밸리의한쪽에서다른쪽으로연속적으로지그재그방향으로움직이는부분을나타냅니다。플롯의가운데를보면점이정확히밸리의가운데에떨어질때여러개의더큰스텝이사용되는것을알수있습니다。
그림5-1。로젠브록함수에대해실행된최속강하법
바나나함수라고도하는이함수는곡률이원점을중심으로구부러지는형태때문에제약조건이없는예제중잘알려진함수입니다。로젠브록함수는다양한최적화기법사용을보여주기위해이섹션전체에걸쳐차용됩니다。U자등고선은모양의밸리주변기울기의경사도로인해지수적증분단위로플로팅되었습니다。
반복점을생성하는스크립트를포함하여위그림에대한더자세한설명을보려면바나나함수최소화항목을참조하십시오。
준뉴턴(准牛顿)방법
기울기정보를사용하는방법중에서가장선호되는방법이바로준뉴턴방법입니다。이방법은각반복에서곡률정보를생성하여다음형식의2차모델문제를정식화합니다。
(6)
여기서헤세행렬H는양의정부호대칭행렬이고,c는상수벡터이고,b는상수입니다。이문제의최적해는x의편도함수가0이될때발생합니다。즉,다음과같습니다。
(7)
최적해에해당하는점x*는다음과같이작성할수있습니다。
(8)
뉴턴유형방법은(준뉴턴방법과는다르게)여러반복후H를직접계산하고하강방향으로진행하여최솟값을찾습니다。H를수치적으로계산하는과정에는많은양의계산이수반됩니다。준뉴턴방법은f(x)와<年代pan class="inlineequation">∇f (x)의관측된동작을사용하여곡률정보를생성함으로써적합한업데이트기법으로H에대한근삿값을구하는방식으로이를방지합니다。
많은수의헤세행렬업데이트방법이개발되었습니다。그러나,브로이든(布罗伊登)[3],플레처(弗莱彻)[12],골드파브(Goldfarb)[20],샤노(山诺)[37](bfgs)의식이일반적용도의방법에사용하는데가장효과적것으로평가됩니다。
BFGS식은다음과같습니다。
(9)
여기서
시작점으로h<年代ub>0은임의의양의정부호대칭행렬(예:단위행렬)로설정될수있습니다。헤세행렬h의역이발생하지않도록,사용자는각업데이트마다헤세행렬의역행렬nh<年代up>1의근삿값을구하는식을사용하여H에대한직접적인역이발생하지않도록하는업데이트방법을도출해낼수있습니다。잘알려진절차는데이비든(Davidon)[7],플레처(弗莱彻),파월(鲍威尔)[14]의DFP식입니다。이절차는BFGS방법(수식9)과동일한식을사용합니다。단,q<年代ub>k가年代<年代ub>k대신사용된다는점만다릅니다。
기울기정보는해석적으로계산된기울기를통해제공되거나유한차분을통한수치미분방법을사용하여편도함수에의해도출됩니다。이과정에는각설계변x수에차례로섭동을추가하고목적함수의변화율을계산하는작업이수반됩니다。
주반복k번마다다음방향으로직선탐색이수행됩니다。
(10)
준뉴턴방법은그림5-2。로젠브록함수에대해실행된BFGS방법에서로젠브록함수에대한해의경로로보여집니다。이방법은밸리의형태를따라갈수있으며유한차분기울기만사용하여140회의함수실행후최솟값으로수렴합니다。
그림5-2。로젠브록함수에대해실행된BFGS방법
반복점을생성하는스크립트를포함하여위그림에대한더자세한설명을보려면바나나함수최소화항목을참조하십시오。
직선 탐색
직선 탐색 은규모가큰최적화알고리즘의일부로사용되는탐색방법입니다。주알고리즘의각단계마다직선탐색방법은주알고리즘이결정하는벡터<年代pan class="emphasis">탐색 방향과평행하게현재점x<年代ub>k를포함하는선을따라탐색을수행합니다。즉,이방법은아래형식의다음반복x<年代ub>k + 1을찾습니다。
(11)
여기서x<年代ub>k는현재반복을나타내고,d<年代ub>k는탐색방향이며,α*는스칼라스텝길이파라미터입니다。
직선탐색방법은목적함수의다항식보간모델을반복적으로최소화하여직선<年代pan class="inlineequation">x<年代ub>k+α* d<年代ub>k를따라목적함수를줄이려고시도합니다。직선탐색절차는다음과같은두가지주단계로구성됩니다。
탐색구간설정(括号) 단계에서는탐색하려는직선<年代pan class="inlineequation">
위에있는점의범위를결정합니다。<年代pan class="emphasis">탐색구간(括号)은α의값범위를지정하는구간에해당합니다。
분할(分段) 단계에서는탐색구간을하위구간으로분할합니다。이하위구간에서다항식보간에의해목적함수최솟값에대한근삿값이구해집니다。
결과로생성되는스텝길이는다음과같은울프(沃尔夫)조건을충족합니다。
(12)
(13)
여기서c<年代ub>1및c<年代ub>2는0 < c<年代ub>1< c<年代ub>2< 1을충족하는상수입니다。
첫번째조건(수식12)을만족하려면α<年代ub>k가목적함수를충분히감소시켜야합니다。두번째조건(수식13)은스텝길이가너무작지않도록만들어줍니다。두조건(수식12및수식13)을모두충족하는점을<年代pan class="emphasis">수용가능한점이라고합니다。
직선탐색방법은[13]의섹션2-6에설명되어있는알고리즘을구현한것입니다。직선탐색에대한자세한내용을보려면[31]도참조하십시오。
헤세행렬업데이트
다수의최적화함수는BFGS방법(수식9)을통해각반복마다헤세행렬을업데이트하여탐색방향을결정합니다。함수fminunc는준뉴턴(准牛顿)방법에주어진DFP방법을사용하는옵션도제공합니다(DFP방법을선택하려면选项에서HessUpdate를“dfp”로설정함)。탐색방향d가항상하강방향이되도록헤세행렬H는항상양의정부호행렬로유지됩니다。이는방향d에서일부임의의작은스텝α에대해목적함수의크기가감소한다는것을의미합니다。H가양의정부호가되도록초기화된후<年代pan class="inlineequation">
(수식14참조)가항상양수가되도록하여h의양의정부호특성을충족시킬수있습니다。항<年代pan class="inlineequation">
는직선탐색스텝길이파라미터α<年代ub>k와,탐색방향d와과거및현재기울기계산결과의조합의곱입니다。
(14)
충분히정확한직선탐색을수행하면<年代pan class="inlineequation">
가양수여야한다는조건이항상충족됩니다。이는탐색방향d가하강방향이어서α<年代ub>k및음수기울기<年代pan class="inlineequation">——∇f (x<年代ub>k)<年代up>Td가항상양수가되도록하기때문입니다。따라서,가능한음수항<年代pan class="inlineequation">——∇f (x<年代ub>k + 1)<年代up>Td는직선탐색의정확도를높임으로써필한만큼크기를작게만들수있습니다。
참고 항목
관련 항목
제약조건이없는최적화정의
제약조건이없는최소화는스칼라함수f (x)에대한국소최솟값인벡터x를구하는문제입니다。
제약조건이없는 이라는용어는x의범위에어떠한제한도적용되지않았다는것을의미합니다。
제약조건이없는최소화는스칼라함수f (x)에대한국소최솟값인벡터x를구하는문제입니다。
제약조건이없는
fminunc의信赖域알고리즘
비선형최소화를위한信任区域방법
优化工具箱™솔버에사용되는대부분의방법이최적화의단순하지만강력한개념인<年代pan class="emphasis">신뢰역을기반으로합니다。
최적화에대한信赖域접근법을이해하기위해제약조건이없는최소화문제를살펴보고,f (x)를최소화해보겠습니다。여기서함수는벡터수를받고스칼라를반환합니다。n공간에서점x에있고향상,즉더낮은함수값을가지는점으로이동하기를원한다고가정해보겠습니다。기본적인발상은점x주위에있는이웃N에서함f의수동작을잘반영하는더간단한함q수를사용하여f를근사하는것입니다。이이웃을신뢰역이라고합니다。시행스텝s는N에대한최소화(또는근사최소화)를수행하여계산됩니다。이를trust-region하위문제라고하며,다음과같습니다。
(1)
현재 점은<年代pan class="inlineequation">F (x + s) < F (x)경우x + s가되도록업데이트됩니다。그렇지않은경우현재점은변경되지않고그대로유지되며신뢰영역N은축소되고시행스텝계산이반복됩니다。
f (x)를최소화하기위한특정信赖域접근법을정의할때고려해야할핵심질문은근삿값q(현재점x에서정의됨)를선택하고계산하는방법은무엇인가,신뢰영역N을선택하고수정하는방법은무엇인가,그리고信赖域하위문제를얼마나정확하게풀수있는가입니다。이섹션에서는제약조건이없는문제를집중적으로설명합니다。뒷부분에나오는섹션에서는변수에대한제약조건이존재함으로인해복잡성이얼마나가중되는지에대해설명합니다。
` ` ` `준trust-region방법([48]2)에서는차근삿값q x가에서F에대한테일러근사의처음두항으로정의되며,이웃N은일반적으로구면또는타원형태입니다。수학적으로trust-region하위문제는대개다음과같이通讯录기됩니다。
(2)
g는여기서현재점x에서f의기울기이고,H는헤세행렬(2계도함수의대칭행렬)이고,D는대각스케일링행렬이고,Δ는양의스칼라이며,∥。∥는2-노름입니다。수식2을푸는데사용할수있는좋은알고리즘이있습니다([48]참조)。이러한알고리즘은일반적으로다음과같은고유방정식에적용되는뉴턴과정및h의모든고유값에대한계산을포함합니다。
이러한알고리즘은수식2에대한정확한해를제공합니다。하지만,이알고리즘을사용하려면H에대한여러행렬분해에비례하는시간이필요합니다。따라서,대규모문제에는다른접근법이필합니다。수식2기반한여러근사법과발견법전략이참고문헌([42]및[50])에서제되었습니다。优化工具箱솔버에서따르는근사접근법은信赖域하위문제를2차원부분공간([39]및[42])로제한하는것입니다。부분공간s가계산되고나면수식2를푸는방법은간단합니다。비희소고유값/고유벡터정보가필한경우에도마찬가지입니다。그이유는부분공간에서는문제가2차원뿐이기때문입니다。이제수행해야하는주된작업은부분공간을결정하는것입니다。
2차원부분공간s는아래에설명되어있는선조건적용켤레기울기법과정을통해결정됩니다。솔버는S를S<年代ub>1및年代<年代ub>2에의해생성되는선형공간으로정의합니다。여기서s<年代ub>1은기울기g의방향이고s<年代ub>2는 근사뉴턴방향,즉다음수식에대한해를말합니다。
(3)
또는다음과같은음의곡률의방향입니다。
(4)
이러한年代선택의바탕이되는철학은(최속강하법방향또는음의곡률방향을통해)전역수렴을강제적용하고(존재하는경우뉴턴스텝을통해)신속하게국소수렴을달성한다는것입니다。
信赖域알고리즘을사용한제약조건이없는최소화과정은이제다음과같이간단하게요약할수있습니다。
2차원trust-region하위문제를정식화합니다。
F (x + s) < F (x)이면<年代pan class="inlineequation">X = X + s입니다。
Δ를조정합니다。
이네단계는수렴할때까지반복됩니다。Trust-region차원Δ는通讯录준규칙에따라조정됩니다。특히,시행스텝이받아들여지지않은경우,즉<年代pan class="inlineequation">F (x + s)≥F (x)ric경우에는trust-region차원이축소됩니다。이사항에대한자세한내용은[46]항목과[49]항목을참조하십시오。
优化工具箱솔버는비선형최소제곱,2차함수,선형최소제곱등의특화된함수를사용하여f에대한몇가지중요한특수사례를처리합니다。하지만,기반이되는알고리즘적발상은일반적marketing사례와동일합니다。이러한특수사례에대해서는뒷부분에나오는섹션에서설명합니다。
선조건적용켤레기울기법(预条件共轭梯度法)
선조건적용켤레기울기법(pcg)은대규모양의정부호대칭선형연립방정식<年代pan class="inlineequation">Hp = -g를푸는데자주사용되는방법입니다。이반복적인접근법을사용하려면H·v형식의행렬——벡터곱을계산할수있어야합니다。여기서v는임의벡터입니다。양의정부호대칭행렬m은h에대한<年代pan class="emphasis">선조건자입니다。즉,<年代pan class="inlineequation">M = c<年代up>2입니다。여기서<年代pan class="inlineequation">C<年代up>1HC<年代up>1은조건이좋은행렬이거나서로다른고유값이모여있는행렬입니다。
최소화의맥락에서는헤세행렬h가대칭행렬이라고간주할수있습니다。하지만,h는강력한최소점의이웃경우에만양의정부호행렬여부가보장됩니다。알고리즘pcg는음의곡률(또는곡률)방향이발생한경우,즉<年代pan class="inlineequation">d<年代up>THd≤0경우에종료됩니다。PCG출력값방향p는음의곡률의방향이거나뉴턴시스템<年代pan class="inlineequation">Hp = -g에대한근사해입니다。어느경우이든p는비선형최소화를위한信任区域방법에설명된信赖域접근법에사용되는2차원부분공간을정의하는데도움이됩니다。
비선형최소화를위한信任区域방법
优化工具箱™솔버에사용되는대부분의방법이최적화의단순하지만강력한개념인<年代pan class="emphasis">신뢰역을기반으로합니다。
최적화에대한信赖域접근법을이해하기위해제약조건이없는최소화문제를살펴보고,f (x)를최소화해보겠습니다。여기서함수는벡터수를받고스칼라를반환합니다。n공간에서점x에있고향상,즉더낮은함수값을가지는점으로이동하기를원한다고가정해보겠습니다。기본적인발상은점x주위에있는이웃N에서함f의수동작을잘반영하는더간단한함q수를사용하여f를근사하는것입니다。이이웃을신뢰역이라고합니다。시행스텝s는N에대한최소화(또는근사최소화)를수행하여계산됩니다。이를trust-region하위문제라고하며,다음과같습니다。
(1)
현재 점은<年代pan class="inlineequation">F (x + s) < F (x)경우x + s가되도록업데이트됩니다。그렇지않은경우현재점은변경되지않고그대로유지되며신뢰영역N은축소되고시행스텝계산이반복됩니다。
f (x)를최소화하기위한특정信赖域접근법을정의할때고려해야할핵심질문은근삿값q(현재점x에서정의됨)를선택하고계산하는방법은무엇인가,신뢰영역N을선택하고수정하는방법은무엇인가,그리고信赖域하위문제를얼마나정확하게풀수있는가입니다。이섹션에서는제약조건이없는문제를집중적으로설명합니다。뒷부분에나오는섹션에서는변수에대한제약조건이존재함으로인해복잡성이얼마나가중되는지에대해설명합니다。
` ` ` `준trust-region방법([48]2)에서는차근삿값q x가에서F에대한테일러근사의처음두항으로정의되며,이웃N은일반적으로구면또는타원형태입니다。수학적으로trust-region하위문제는대개다음과같이通讯录기됩니다。
(2)
g는여기서현재점x에서f의기울기이고,H는헤세행렬(2계도함수의대칭행렬)이고,D는대각스케일링행렬이고,Δ는양의스칼라이며,∥。∥는2-노름입니다。수식2을푸는데사용할수있는좋은알고리즘이있습니다([48]참조)。이러한알고리즘은일반적으로다음과같은고유방정식에적용되는뉴턴과정및h의모든고유값에대한계산을포함합니다。
이러한알고리즘은수식2에대한정확한해를제공합니다。하지만,이알고리즘을사용하려면H에대한여러행렬분해에비례하는시간이필요합니다。따라서,대규모문제에는다른접근법이필합니다。수식2기반한여러근사법과발견법전략이참고문헌([42]및[50])에서제되었습니다。优化工具箱솔버에서따르는근사접근법은信赖域하위문제를2차원부분공간([39]및[42])로제한하는것입니다。부분공간s가계산되고나면수식2를푸는방법은간단합니다。비희소고유값/고유벡터정보가필한경우에도마찬가지입니다。그이유는부분공간에서는문제가2차원뿐이기때문입니다。이제수행해야하는주된작업은부분공간을결정하는것입니다。
2차원부분공간s는아래에설명되어있는선조건적용켤레기울기법과정을통해결정됩니다。솔버는S를S<年代ub>1및年代<年代ub>2에의해생성되는선형공간으로정의합니다。여기서s<年代ub>1은기울기g의방향이고s<年代ub>2는 근사뉴턴방향,즉다음수식에대한해를말합니다。
(3)
또는다음과같은음의곡률의방향입니다。
(4)
이러한年代선택의바탕이되는철학은(최속강하법방향또는음의곡률방향을통해)전역수렴을강제적용하고(존재하는경우뉴턴스텝을통해)신속하게국소수렴을달성한다는것입니다。
信赖域알고리즘을사용한제약조건이없는최소화과정은이제다음과같이간단하게요약할수있습니다。
2차원trust-region하위문제를정식화합니다。
F (x + s) < F (x)이면<年代pan class="inlineequation">X = X + s입니다。
Δ를조정합니다。
이네단계는수렴할때까지반복됩니다。Trust-region차원Δ는通讯录준규칙에따라조정됩니다。특히,시행스텝이받아들여지지않은경우,즉<年代pan class="inlineequation">F (x + s)≥F (x)ric경우에는trust-region차원이축소됩니다。이사항에대한자세한내용은[46]항목과[49]항목을참조하십시오。
优化工具箱솔버는비선형최소제곱,2차함수,선형최소제곱등의특화된함수를사용하여f에대한몇가지중요한특수사례를처리합니다。하지만,기반이되는알고리즘적발상은일반적marketing사례와동일합니다。이러한특수사례에대해서는뒷부분에나오는섹션에서설명합니다。
优化工具箱™솔버에사용되는대부분의방법이최적화의단순하지만강력한개념인<年代pan class="emphasis">신뢰역 최적화에대한信赖域접근법을이해하기위해제약조건이없는최소화문제를살펴보고,f (x)를최소화해보겠습니다。여기서함수는벡터수를받고스칼라를반환합니다。n공간에서점x에있고향상,즉더낮은함수값을가지는점으로이동하기를원한다고가정해보겠습니다。기본적인발상은점x주위에있는이웃N에서함f의수동작을잘반영하는더간단한함q수를사용하여f를근사하는것입니다。이이웃을신뢰역이라고합니다。시행스텝s는N에대한최소화(또는근사최소화)를수행하여계산됩니다。이를trust-region하위문제라고하며,다음과같습니다。 현재 점은<年代pan class="inlineequation">F (x + s) < F (x) f (x)를최소화하기위한특정信赖域접근법을정의할때고려해야할핵심질문은근삿값q(현재점x에서정의됨)를선택하고계산하는방법은무엇인가,신뢰영역N을선택하고수정하는방법은무엇인가,그리고信赖域하위문제를얼마나정확하게풀수있는가입니다。이섹션에서는제약조건이없는문제를집중적으로설명합니다。뒷부분에나오는섹션에서는변수에대한제약조건이존재함으로인해복잡성이얼마나가중되는지에대해설명합니다。 ` ` ` `준trust-region방법( g는여기서현재점x에서f의기울기이고,H는헤세행렬(2계도함수의대칭행렬)이고,D는대각스케일링행렬이고,Δ는양의스칼라이며,∥。∥는2-노름입니다。
이러한알고리즘은 2차원부분공간s는아래에설명되어있는 또는다음과같은 이러한年代선택의바탕이되는철학은(최속강하법방향또는음의곡률방향을통해)전역수렴을강제적용하고(존재하는경우뉴턴스텝을통해)신속하게국소수렴을달성한다는것입니다。 信赖域알고리즘을사용한제약조건이없는최소화과정은이제다음과같이간단하게요약할수있습니다。 2차원trust-region하위문제를정식화합니다。 F (x + s) < F (x) Δ를조정합니다。 이네단계는수렴할때까지반복됩니다。Trust-region차원Δ는通讯录준규칙에따라조정됩니다。특히,시행스텝이받아들여지지않은경우,즉<年代pan class="inlineequation">F (x + s)≥F (x) 优化工具箱솔버는비선형최소제곱,2차함수,선형최소제곱등의특화된함수를사용하여f에대한몇가지중요한특수사례를처리합니다。하지만,기반이되는알고리즘적발상은일반적marketing사례와동일합니다。이러한특수사례에대해서는뒷부분에나오는섹션에서설명합니다。
(1)
(2)
(3)
(4)
선조건적용켤레기울기법(预条件共轭梯度法)
선조건적용켤레기울기법(pcg)은대규모양의정부호대칭선형연립방정식<年代pan class="inlineequation">Hp = -g를푸는데자주사용되는방법입니다。이반복적인접근법을사용하려면H·v형식의행렬——벡터곱을계산할수있어야합니다。여기서v는임의벡터입니다。양의정부호대칭행렬m은h에대한<年代pan class="emphasis">선조건자입니다。즉,<年代pan class="inlineequation">M = c<年代up>2입니다。여기서<年代pan class="inlineequation">C<年代up>1HC<年代up>1은조건이좋은행렬이거나서로다른고유값이모여있는행렬입니다。
최소화의맥락에서는헤세행렬h가대칭행렬이라고간주할수있습니다。하지만,h는강력한최소점의이웃경우에만양의정부호행렬여부가보장됩니다。알고리즘pcg는음의곡률(또는곡률)방향이발생한경우,즉<年代pan class="inlineequation">d<年代up>THd≤0경우에종료됩니다。PCG출력값방향p는음의곡률의방향이거나뉴턴시스템<年代pan class="inlineequation">Hp = -g에대한근사해입니다。어느경우이든p는비선형최소화를위한信任区域방법에설명된信赖域접근법에사용되는2차원부분공간을정의하는데도움이됩니다。
선조건적용켤레기울기법(pcg)은대규모양의정부호대칭선형연립방정식<年代pan class="inlineequation">Hp = -g 최소화의맥락에서는헤세행렬h가대칭행렬이라고간주할수있습니다。하지만,h는강력한최소점의이웃경우에만양의정부호행렬여부가보장됩니다。알고리즘pcg는음의곡률(또는곡률)방향이발생한경우,즉<年代pan class="inlineequation">d<年代up>T
fminunc의拟牛顿알고리즘
제약조건이없는최적화관련기본사항
제약조건이없는최적화를위한다양한방법이존재하지만,크게는사용되거나사용되지않는도함수정보를기준으로분류될수있습니다。함수실행만사용하는탐색방법(예:넬더-미드심플렉스(Nelder-Mead单纯形)탐색[30])은매끄럽지않거나여러개의불연속지점을갖는문제에가장적합합니다。기울기방법은일반적으로최소화하려는함수가계1도함수에서연속인경우에더욱효율적입니다。뉴턴의방법과같이차수가높은방법일수록2차정보가순조롭고쉽게계산되는경우에만적합합니다。그이유는수치미분을사용하는2차정보계산은많은계산량을하기때문입니다。
기울기방법은최솟값이있다고여겨지는곳의탐색방향을정하기위해함수의기울기에대한정보를사용합니다。그중가장단순한방법은탐색이<年代pan class="inlineequation">——∇f (x)방향으로수행되는최속강하법입니다。여기서<年代pan class="inlineequation">∇f (x)는목적함수의기울기입니다。이방법은최소화하려는함수가길고좁은밸리를가지는경우매우비효율적입니다。예를들어,다음과같은로젠브록함수가이에해당됩니다。
(5)
이함수의최솟값은<年代pan class="inlineequation">X = [1,1]에있습니다。여기서<年代pan class="inlineequation">F (x) = 0입니다。이함수의등고선지도는점[-1.9,2)에서시작하여최속강하법구현에대한최솟값에이르는해의경로와함께아래그림에표시되어있습니다。1000회의반복실행후최적화가종료되었으며,여전히최솟값과는거리가상당히떨어져있습니다。검은색영역은이방법이밸리의한쪽에서다른쪽으로연속적으로지그재그방향으로움직이는부분을나타냅니다。플롯의가운데를보면점이정확히밸리의가운데에떨어질때여러개의더큰스텝이사용되는것을알수있습니다。
그림5-1。로젠브록함수에대해실행된최속강하법
바나나함수라고도하는이함수는곡률이원점을중심으로구부러지는형태때문에제약조건이없는예제중잘알려진함수입니다。로젠브록함수는다양한최적화기법사용을보여주기위해이섹션전체에걸쳐차용됩니다。U자등고선은모양의밸리주변기울기의경사도로인해지수적증분단위로플로팅되었습니다。
반복점을생성하는스크립트를포함하여위그림에대한더자세한설명을보려면바나나함수최소화항목을참조하십시오。
준뉴턴(准牛顿)방법
기울기정보를사용하는방법중에서가장선호되는방법이바로준뉴턴방법입니다。이방법은각반복에서곡률정보를생성하여다음형식의2차모델문제를정식화합니다。
(6)
여기서헤세행렬H는양의정부호대칭행렬이고,c는상수벡터이고,b는상수입니다。이문제의최적해는x의편도함수가0이될때발생합니다。즉,다음과같습니다。
(7)
최적해에해당하는점x*는다음과같이작성할수있습니다。
(8)
뉴턴유형방법은(준뉴턴방법과는다르게)여러반복후H를직접계산하고하강방향으로진행하여최솟값을찾습니다。H를수치적으로계산하는과정에는많은양의계산이수반됩니다。준뉴턴방법은f(x)와<年代pan class="inlineequation">∇f (x)의관측된동작을사용하여곡률정보를생성함으로써적합한업데이트기법으로H에대한근삿값을구하는방식으로이를방지합니다。
많은수의헤세행렬업데이트방법이개발되었습니다。그러나,브로이든(布罗伊登)[3],플레처(弗莱彻)[12],골드파브(Goldfarb)[20],샤노(山诺)[37](bfgs)의식이일반적용도의방법에사용하는데가장효과적것으로평가됩니다。
BFGS식은다음과같습니다。
(9)
여기서
시작점으로h<年代ub>0은임의의양의정부호대칭행렬(예:단위행렬)로설정될수있습니다。헤세행렬h의역이발생하지않도록,사용자는각업데이트마다헤세행렬의역행렬nh<年代up>1의근삿값을구하는식을사용하여H에대한직접적인역이발생하지않도록하는업데이트방법을도출해낼수있습니다。잘알려진절차는데이비든(Davidon)[7],플레처(弗莱彻),파월(鲍威尔)[14]의DFP식입니다。이절차는BFGS방법(수식9)과동일한식을사용합니다。단,q<年代ub>k가年代<年代ub>k대신사용된다는점만다릅니다。
기울기정보는해석적으로계산된기울기를통해제공되거나유한차분을통한수치미분방법을사용하여편도함수에의해도출됩니다。이과정에는각설계변x수에차례로섭동을추가하고목적함수의변화율을계산하는작업이수반됩니다。
주반복k번마다다음방향으로직선탐색이수행됩니다。
(10)
준뉴턴방법은그림5-2。로젠브록함수에대해실행된BFGS방법에서로젠브록함수에대한해의경로로보여집니다。이방법은밸리의형태를따라갈수있으며유한차분기울기만사용하여140회의함수실행후최솟값으로수렴합니다。
그림5-2。로젠브록함수에대해실행된BFGS방법
반복점을생성하는스크립트를포함하여위그림에대한더자세한설명을보려면바나나함수최소화항목을참조하십시오。
직선 탐색
직선 탐색 은규모가큰최적화알고리즘의일부로사용되는탐색방법입니다。주알고리즘의각단계마다직선탐색방법은주알고리즘이결정하는벡터<年代pan class="emphasis">탐색 방향과평행하게현재점x<年代ub>k를포함하는선을따라탐색을수행합니다。즉,이방법은아래형식의다음반복x<年代ub>k + 1을찾습니다。
(11)
여기서x<年代ub>k는현재반복을나타내고,d<年代ub>k는탐색방향이며,α*는스칼라스텝길이파라미터입니다。
직선탐색방법은목적함수의다항식보간모델을반복적으로최소화하여직선<年代pan class="inlineequation">x<年代ub>k+α* d<年代ub>k를따라목적함수를줄이려고시도합니다。직선탐색절차는다음과같은두가지주단계로구성됩니다。
탐색구간설정(括号) 단계에서는탐색하려는직선<年代pan class="inlineequation">
위에있는점의범위를결정합니다。<年代pan class="emphasis">탐색구간(括号)은α의값범위를지정하는구간에해당합니다。
분할(分段) 단계에서는탐색구간을하위구간으로분할합니다。이하위구간에서다항식보간에의해목적함수최솟값에대한근삿값이구해집니다。
결과로생성되는스텝길이는다음과같은울프(沃尔夫)조건을충족합니다。
(12)
(13)
여기서c<年代ub>1및c<年代ub>2는0 < c<年代ub>1< c<年代ub>2< 1을충족하는상수입니다。
첫번째조건(수식12)을만족하려면α<年代ub>k가목적함수를충분히감소시켜야합니다。두번째조건(수식13)은스텝길이가너무작지않도록만들어줍니다。두조건(수식12및수식13)을모두충족하는점을<年代pan class="emphasis">수용가능한점이라고합니다。
직선탐색방법은[13]의섹션2-6에설명되어있는알고리즘을구현한것입니다。직선탐색에대한자세한내용을보려면[31]도참조하십시오。
헤세행렬업데이트
다수의최적화함수는BFGS방법(수식9)을통해각반복마다헤세행렬을업데이트하여탐색방향을결정합니다。함수fminunc는준뉴턴(准牛顿)방법에주어진DFP방법을사용하는옵션도제공합니다(DFP방법을선택하려면选项에서HessUpdate를“dfp”로설정함)。탐색방향d가항상하강방향이되도록헤세행렬H는항상양의정부호행렬로유지됩니다。이는방향d에서일부임의의작은스텝α에대해목적함수의크기가감소한다는것을의미합니다。H가양의정부호가되도록초기화된후<年代pan class="inlineequation">
(수식14참조)가항상양수가되도록하여h의양의정부호특성을충족시킬수있습니다。항<年代pan class="inlineequation">
는직선탐색스텝길이파라미터α<年代ub>k와,탐색방향d와과거및현재기울기계산결과의조합의곱입니다。
(14)
충분히정확한직선탐색을수행하면<年代pan class="inlineequation">
가양수여야한다는조건이항상충족됩니다。이는탐색방향d가하강방향이어서α<年代ub>k및음수기울기<年代pan class="inlineequation">——∇f (x<年代ub>k)<年代up>Td가항상양수가되도록하기때문입니다。따라서,가능한음수항<年代pan class="inlineequation">——∇f (x<年代ub>k + 1)<年代up>Td는직선탐색의정확도를높임으로써필한만큼크기를작게만들수있습니다。
제약조건이없는최적화관련기본사항
제약조건이없는최적화를위한다양한방법이존재하지만,크게는사용되거나사용되지않는도함수정보를기준으로분류될수있습니다。함수실행만사용하는탐색방법(예:넬더-미드심플렉스(Nelder-Mead单纯形)탐색[30])은매끄럽지않거나여러개의불연속지점을갖는문제에가장적합합니다。기울기방법은일반적으로최소화하려는함수가계1도함수에서연속인경우에더욱효율적입니다。뉴턴의방법과같이차수가높은방법일수록2차정보가순조롭고쉽게계산되는경우에만적합합니다。그이유는수치미분을사용하는2차정보계산은많은계산량을하기때문입니다。
기울기방법은최솟값이있다고여겨지는곳의탐색방향을정하기위해함수의기울기에대한정보를사용합니다。그중가장단순한방법은탐색이<年代pan class="inlineequation">——∇f (x)방향으로수행되는최속강하법입니다。여기서<年代pan class="inlineequation">∇f (x)는목적함수의기울기입니다。이방법은최소화하려는함수가길고좁은밸리를가지는경우매우비효율적입니다。예를들어,다음과같은로젠브록함수가이에해당됩니다。
(5)
이함수의최솟값은<年代pan class="inlineequation">X = [1,1]에있습니다。여기서<年代pan class="inlineequation">F (x) = 0입니다。이함수의등고선지도는점[-1.9,2)에서시작하여최속강하법구현에대한최솟값에이르는해의경로와함께아래그림에표시되어있습니다。1000회의반복실행후최적화가종료되었으며,여전히최솟값과는거리가상당히떨어져있습니다。검은색영역은이방법이밸리의한쪽에서다른쪽으로연속적으로지그재그방향으로움직이는부분을나타냅니다。플롯의가운데를보면점이정확히밸리의가운데에떨어질때여러개의더큰스텝이사용되는것을알수있습니다。
그림5-1。로젠브록함수에대해실행된최속강하법
바나나함수라고도하는이함수는곡률이원점을중심으로구부러지는형태때문에제약조건이없는예제중잘알려진함수입니다。로젠브록함수는다양한최적화기법사용을보여주기위해이섹션전체에걸쳐차용됩니다。U자등고선은모양의밸리주변기울기의경사도로인해지수적증분단위로플로팅되었습니다。
반복점을생성하는스크립트를포함하여위그림에대한더자세한설명을보려면바나나함수최소화항목을참조하십시오。
제약조건이없는최적화를위한다양한방법이존재하지만,크게는사용되거나사용되지않는도함수정보를기준으로분류될수있습니다。함수실행만사용하는탐색방법(예:넬더-미드심플렉스(Nelder-Mead单纯形)탐색 기울기방법은최솟값이있다고여겨지는곳의탐색방향을정하기위해함수의기울기에대한정보를사용합니다。그중가장단순한방법은탐색이<年代pan class="inlineequation">——∇f (x) 이함수의최솟값은<年代pan class="inlineequation">X = [1,1] 그림5-1。로젠브록함수에대해실행된최속강하법 바나나함수라고도하는이함수는곡률이원점을중심으로구부러지는형태때문에제약조건이없는예제중잘알려진함수입니다。로젠브록함수는다양한최적화기법사용을보여주기위해이섹션전체에걸쳐차용됩니다。U자등고선은모양의밸리주변기울기의경사도로인해지수적증분단위로플로팅되었습니다。 반복점을생성하는스크립트를포함하여위그림에대한더자세한설명을보려면
(5)
준뉴턴(准牛顿)방법
기울기정보를사용하는방법중에서가장선호되는방법이바로준뉴턴방법입니다。이방법은각반복에서곡률정보를생성하여다음형식의2차모델문제를정식화합니다。
(6)
여기서헤세행렬H는양의정부호대칭행렬이고,c는상수벡터이고,b는상수입니다。이문제의최적해는x의편도함수가0이될때발생합니다。즉,다음과같습니다。
(7)
최적해에해당하는점x*는다음과같이작성할수있습니다。
(8)
뉴턴유형방법은(준뉴턴방법과는다르게)여러반복후H를직접계산하고하강방향으로진행하여최솟값을찾습니다。H를수치적으로계산하는과정에는많은양의계산이수반됩니다。준뉴턴방법은f(x)와<年代pan class="inlineequation">∇f (x)의관측된동작을사용하여곡률정보를생성함으로써적합한업데이트기법으로H에대한근삿값을구하는방식으로이를방지합니다。
많은수의헤세행렬업데이트방법이개발되었습니다。그러나,브로이든(布罗伊登)[3],플레처(弗莱彻)[12],골드파브(Goldfarb)[20],샤노(山诺)[37](bfgs)의식이일반적용도의방법에사용하는데가장효과적것으로평가됩니다。
BFGS식은다음과같습니다。
(9)
여기서
시작점으로h<年代ub>0은임의의양의정부호대칭행렬(예:단위행렬)로설정될수있습니다。헤세행렬h의역이발생하지않도록,사용자는각업데이트마다헤세행렬의역행렬nh<年代up>1의근삿값을구하는식을사용하여H에대한직접적인역이발생하지않도록하는업데이트방법을도출해낼수있습니다。잘알려진절차는데이비든(Davidon)[7],플레처(弗莱彻),파월(鲍威尔)[14]의DFP식입니다。이절차는BFGS방법(수식9)과동일한식을사용합니다。단,q<年代ub>k가年代<年代ub>k대신사용된다는점만다릅니다。
기울기정보는해석적으로계산된기울기를통해제공되거나유한차분을통한수치미분방법을사용하여편도함수에의해도출됩니다。이과정에는각설계변x수에차례로섭동을추가하고목적함수의변화율을계산하는작업이수반됩니다。
주반복k번마다다음방향으로직선탐색이수행됩니다。
(10)
준뉴턴방법은그림5-2。로젠브록함수에대해실행된BFGS방법에서로젠브록함수에대한해의경로로보여집니다。이방법은밸리의형태를따라갈수있으며유한차분기울기만사용하여140회의함수실행후최솟값으로수렴합니다。
그림5-2。로젠브록함수에대해실행된BFGS방법
반복점을생성하는스크립트를포함하여위그림에대한더자세한설명을보려면바나나함수최소화항목을참조하십시오。
기울기정보를사용하는방법중에서가장선호되는방법이바로준뉴턴방법입니다。이방법은각반복에서곡률정보를생성하여다음형식의2차모델문제를정식화합니다。 여기서헤세행렬H는양의정부호대칭행렬이고,c는상수벡터이고,b는상수입니다。이문제의최적해는x의편도함수가0이될때발생합니다。즉,다음과같습니다。 최적해에해당하는점x*는다음과같이작성할수있습니다。 뉴턴유형방법은(준뉴턴방법과는다르게)여러반복후H를직접계산하고하강방향으로진행하여최솟값을찾습니다。H를수치적으로계산하는과정에는많은양의계산이수반됩니다。준뉴턴방법은f(x)와<年代pan class="inlineequation">∇f (x) 많은수의헤세행렬업데이트방법이개발되었습니다。그러나,브로이든(布罗伊登) BFGS식은다음과같습니다。 여기서
시작점으로h<年代ub>0 기울기정보는해석적으로계산된기울기를통해제공되거나유한차분을통한수치미분방법을사용하여편도함수에의해도출됩니다。이과정에는각설계변x수에차례로섭동을추가하고목적함수의변화율을계산하는작업이수반됩니다。 주반복k번마다다음방향으로직선탐색이수행됩니다。 준뉴턴방법은 그림5-2。로젠브록함수에대해실행된BFGS방법 반복점을생성하는스크립트를포함하여위그림에대한더자세한설명을보려면
(6)
(7)
(8)
(9)
(10)
직선 탐색
직선 탐색 은규모가큰최적화알고리즘의일부로사용되는탐색방법입니다。주알고리즘의각단계마다직선탐색방법은주알고리즘이결정하는벡터<年代pan class="emphasis">탐색 방향과평행하게현재점x<年代ub>k를포함하는선을따라탐색을수행합니다。즉,이방법은아래형식의다음반복x<年代ub>k + 1을찾습니다。
(11)
여기서x<年代ub>k는현재반복을나타내고,d<年代ub>k는탐색방향이며,α*는스칼라스텝길이파라미터입니다。
직선탐색방법은목적함수의다항식보간모델을반복적으로최소화하여직선<年代pan class="inlineequation">x<年代ub>k+α* d<年代ub>k를따라목적함수를줄이려고시도합니다。직선탐색절차는다음과같은두가지주단계로구성됩니다。
탐색구간설정(括号) 단계에서는탐색하려는직선<年代pan class="inlineequation">
위에있는점의범위를결정합니다。<年代pan class="emphasis">탐색구간(括号)은α의값범위를지정하는구간에해당합니다。
분할(分段) 단계에서는탐색구간을하위구간으로분할합니다。이하위구간에서다항식보간에의해목적함수최솟값에대한근삿값이구해집니다。
결과로생성되는스텝길이는다음과같은울프(沃尔夫)조건을충족합니다。
(12)
(13)
여기서c<年代ub>1및c<年代ub>2는0 < c<年代ub>1< c<年代ub>2< 1을충족하는상수입니다。
첫번째조건(수식12)을만족하려면α<年代ub>k가목적함수를충분히감소시켜야합니다。두번째조건(수식13)은스텝길이가너무작지않도록만들어줍니다。두조건(수식12및수식13)을모두충족하는점을<年代pan class="emphasis">수용가능한점이라고합니다。
직선탐색방법은[13]의섹션2-6에설명되어있는알고리즘을구현한것입니다。직선탐색에대한자세한내용을보려면[31]도참조하십시오。
직선 탐색 여기서x<年代ub>k 직선탐색방법은목적함수의다항식보간모델을반복적으로최소화하여직선<年代pan class="inlineequation">x<年代ub>k 탐색구간설정(括号) 분할(分段) 결과로생성되는스텝길이는다음과같은울프(沃尔夫)조건을충족합니다。 여기서c<年代ub>1 첫번째조건( 직선탐색방법은
(11)
(12)
(13)
헤세행렬업데이트
다수의최적화함수는BFGS방법(수식9)을통해각반복마다헤세행렬을업데이트하여탐색방향을결정합니다。함수fminunc는준뉴턴(准牛顿)방법에주어진DFP방법을사용하는옵션도제공합니다(DFP방법을선택하려면选项에서HessUpdate를“dfp”로설정함)。탐색방향d가항상하강방향이되도록헤세행렬H는항상양의정부호행렬로유지됩니다。이는방향d에서일부임의의작은스텝α에대해목적함수의크기가감소한다는것을의미합니다。H가양의정부호가되도록초기화된후<年代pan class="inlineequation">
(수식14참조)가항상양수가되도록하여h의양의정부호특성을충족시킬수있습니다。항<年代pan class="inlineequation">
는직선탐색스텝길이파라미터α<年代ub>k와,탐색방향d와과거및현재기울기계산결과의조합의곱입니다。
(14)
충분히정확한직선탐색을수행하면<年代pan class="inlineequation">
가양수여야한다는조건이항상충족됩니다。이는탐색방향d가하강방향이어서α<年代ub>k및음수기울기<年代pan class="inlineequation">——∇f (x<年代ub>k)<年代up>Td가항상양수가되도록하기때문입니다。따라서,가능한음수항<年代pan class="inlineequation">——∇f (x<年代ub>k + 1)<年代up>Td는직선탐색의정확도를높임으로써필한만큼크기를작게만들수있습니다。
다수의최적화함수는BFGS방법( 충분히정확한직선탐색을수행하면<年代pan class="inlineequation">
가양수여야한다는조건이항상충족됩니다。이는탐색방향d가하강방향이어서α<年代ub>kfminunc
(14)