课程 · 资源记录
Nonlinear Optimization
覆盖一阶最优性、法锥、凸函数、分离、KKT、Lagrange 对偶以及一阶优化算法。
为什么重要
用于核对优化模型、凸性、次梯度、约束资格、KKT 条件和对偶结论的适用前提。
阅读前提
教材中的引用位置
- M11 · 第 1 章 优化模型、可行域与最优性
支持的主张：MIT 的公开讲义覆盖方向导数、一阶最优性、法锥和约束优化。阅读时应逐项核对定理的可微性、可行域与凸性假设。
- M11 · 第 2 章 凸集、凸函数与次梯度
支持的主张：MIT OpenCourseWare 的 Nonlinear Optimization 讲义包含凸集、凸函数、一阶最优性、分离与次梯度的系统论述。本章中的 Jensen 推导、二次型展开和绝对值次微分均可由定义独立复算；进一步学习时应保留定义域、内点、闭性和可微性等条件。
- M11 · 第 3 章 一阶优化与梯度下降
支持的主张：MIT Nonlinear Optimization 讲义在本章支撑下降引理与步长边界：当梯度为 L-Lipschitz 时，二次上界给出足够小步长下的目标下降；对正定二次函数，特征值进一步决定稳定区间和条件数控制的收敛速度。该来源也明确，非凸问题中的梯度趋零只表明接近一阶驻点，并不自动证明到达全局最小值。
- M11 · 第 4 章 约束优化、KKT 条件与对偶性
支持的主张：MIT OpenCourseWare 的 Nonlinear Optimization 课程讲义系统覆盖法锥、约束资格、KKT 条件、Lagrange 对偶与一阶算法。阅读具体定理时，应同时核对可微性、凸性和约束资格，不能只摘取条件列表。
- M11 · 第 5 章 熵、互信息与散度
支持的主张：MIT Nonlinear Optimization 课程在本章用于支撑熵与散度目标的求解条件：概率单纯形是凸约束集，负熵和若干 KL 投影问题可写成凸优化，KKT 条件由此给出归一化乘子与指数族形式。该框架也要求在边界处处理不可微或无限值，并区分最优性证明与某个数值算法是否已经收敛。
- M11 · 第 6 章 最优化与信息论综合复习
支持的主张：MIT OpenCourseWare 的 Nonlinear Optimization 课程讲义系统整理凸性、一阶最优性、法锥、KKT、约束资格与 Lagrange 对偶，可用于核对本章对约束优化结论的前提陈述。