非线性规划(NP)涉及到最小化或最大化受约束的非线性目标函数、线性约束或非线性约束，其中约束可以是不等式或等式。工程中的例子问题包括分析设计权衡、选择最优设计、计算最优轨迹和投资组合优化以及计算金融中的模型校准。
无约束非线性规划是寻找非线性标量函数f(x)的局部最小值向量的数学问题。Unconstrained表示对\(x\)的范围没有任何限制。
\ [\ min_x f (x) \]
无约束非线性规划一般采用以下算法:
- 拟牛顿:使用混合二次和三次线搜索程序和Broyden-Fletcher-Goldfarb-Shanno (BFGS)公式来更新Hessian矩阵的近似
- Nelder-Mead:使用直接搜索算法，只使用函数值(不需要导数)并处理非光滑的目标函数
- 信赖域:用于无约束非线性优化问题，尤其适用于可以利用稀疏性或结构的大规模问题
约束非线性规划是一个数学问题，它要求找到一个向量，使受一个或多个约束的非线性函数(f(x))最小化。
求解约束非线性规划问题的算法包括:
- 内点:对于具有稀疏性或结构的大规模非线性优化问题特别有用吗
- 序列二次规划(SQP)解决了一般的非线性问题和所有迭代的荣誉边界
- 信赖域反射:只解决有界约束的非线性优化问题或线性等式
