One Forth

SUBJECT / optimization

最优化

目标、约束与数值求解。

14 个概念1 篇正文机器学习数学基础
01

课程章节

按难度与先修关系排列

  1. 01难度 2/5 · 详细大纲目标函数与可行域把决策变量、目标函数和约束写成明确优化问题，并区分局部与全局最优。先修：functions-and-graphs约 75 分钟
  2. 02难度 3/5 · 详细大纲凸集用线段闭包定义凸集，并识别半空间、范数球和仿射集合等基本例子。先修：vectors · sets-and-mappings约 90 分钟
  3. 03难度 3/5 · 详细大纲凸函数通过弦不等式和一阶条件刻画凸性，并说明局部最优为何成为全局最优。先修：convex-sets · derivatives-and-differentials约 90 分钟
  4. 04难度 3/5 · 详细大纲一阶最优性条件用梯度为零、方向导数和次梯度条件判断无约束候选最优点。先修：gradient · optimization-objectives约 90 分钟
  5. 05难度 3/5 · 正文可读梯度下降沿负梯度方向迭代更新参数，并分析步长、曲率和初值对收敛的影响。先修：gradient · first-order-optimality约 90 分钟
  6. 06难度 3/5 · 详细大纲随机梯度下降用随机样本或小批量近似完整梯度，权衡计算成本、方差与泛化行为。先修：gradient-descent · expectation-variance-covariance约 90 分钟
  7. 07难度 3/5 · 详细大纲动量优化累积历史更新方向以抑制高曲率振荡，并加速沿稳定方向的前进。先修：gradient-descent · sequences-and-series约 90 分钟
  8. 08难度 3/5 · 详细大纲学习率调度用分段、余弦、指数或预热策略控制训练不同时期的更新尺度。先修：gradient-descent · sequences-and-series约 90 分钟
  9. 09难度 4/5 · 详细大纲自适应优化器按参数历史梯度尺度调节有效学习率，比较 AdaGrad、RMSProp 和 Adam 的假设。先修：stochastic-gradient-descent · momentum-optimization约 105 分钟
  10. 10难度 4/5 · 详细大纲Lagrange 乘子用乘子把等式约束并入目标函数，并从梯度平行关系推导候选解。先修：constrained-optimization · gradient约 105 分钟
  11. 11难度 4/5 · 详细大纲Newton 方法利用 Hessian 曲率修正梯度方向，理解二次收敛、阻尼和矩阵求解成本。先修：gradient · hessian-matrix · linear-systems约 105 分钟
  12. 12难度 4/5 · 详细大纲约束优化在等式或不等式可行域内寻找最优解，并区分可行方向和活跃约束。先修：optimization-objectives · gradient · convex-sets约 105 分钟
  13. 13难度 5/5 · 详细大纲优化对偶由 Lagrangian 构造对偶函数，理解弱对偶、强对偶和对偶间隙。先修：lagrange-multipliers · convex-functions约 120 分钟
  14. 14难度 5/5 · 详细大纲近端方法用近端算子处理不可微正则项，并把梯度步骤与结构化收缩组合。先修：convex-functions · gradient-descent · orthogonal-projection约 120 分钟