线性规划

1. 单纯形法

无约束最优化

1. 直线搜索（多元函数难以处理？）
2. 最速下降法(锯齿问题)
3. 牛顿法(二次倒数计算复杂，储存量大，hesse矩阵难计算)
4. 共轭方向法(无需计算二次导数)
5. 拟牛顿法(摆脱hessen矩阵)：
6. 步长加速法(用于变量数目较少的情况)：

约束最优化

1. 最优性条件(Kuhn-Tucker)
2. Zoutendijk容许方向法：
3. 外部罚函数法（外点法，hessen矩阵条件数会越来越坏）
4. 内部罚函数法（内点法）：上课没讲。[包括了初始点确定啥的]
5. 乘子法（改进外罚法，罚因子无需趋近无穷大）：

参考文献

[1]: 最优化方法.张薇.东北大学出版社