A05 · 第 2 章 · 课程规划页
学习率调度与二阶近似
本章研究学习率调度与二阶近似。内容依次处理阶梯、余弦与预热学习率、Hessian 曲率、条件数与 Newton 方向、拟 Newton、阻尼和曲率近似失效。
- 所在 Part
- 第一编 深度优化
- 预计学习
- 40 分钟
- 建设状态
- 已规划，尚无正式正文
计划实验
本章未登记独立交互实验；定义、公式和例题仍按下列提纲规划。
LEARNING OBJECTIVES
完成本章后应能
- 01准确说明阶梯、余弦与预热学习率。
- 02完成Hessian 曲率、条件数与 Newton 方向所需的推导、证明或算法。
- 03使用计算、例题或反例检验拟 Newton、阻尼和曲率近似失效。
PLANNED SECTIONS
计划章节结构
- 01
阶梯、余弦与预热学习率
界定阶梯、余弦与预热学习率，明确使用的条件、主要结论与可复核步骤。
- 02
Hessian 曲率、条件数与 Newton 方向
推导Hessian 曲率、条件数与 Newton 方向，明确使用的条件、主要结论与可复核步骤。
- 03
拟 Newton、阻尼和曲率近似失效
检验拟 Newton、阻尼和曲率近似失效，明确使用的条件、主要结论与可复核步骤。
计划定义
阶梯、余弦与预热学习率：对象、记号与前提
围绕阶梯、余弦与预热学习率列出主要对象、符号、前提与定义边界。
计划公式
Hessian 曲率、条件数与 Newton 方向：关系、判据与可复核步骤
把Hessian 曲率、条件数与 Newton 方向整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
计划例题
拟 Newton、阻尼和曲率近似失效：案例、反例与核验
围绕拟 Newton、阻尼和曲率近似失效给出明确输入、前提或数据，逐步分析并用反例、误差、守恒量或边界条件复核。
计划练习
学习率调度与二阶近似：定义、关系与边界综合练习
联结阶梯、余弦与预热学习率、Hessian 曲率、条件数与 Newton 方向与拟 Newton、阻尼和曲率近似失效，分别检验定义辨析、主要步骤和适用边界。
本章概念落点
以下位置是术语、搜索和知识图谱引用本计划章节时使用的稳定链接。
- Hessian 矩阵用二阶偏导矩阵描述标量函数的局部曲率，并分析极值点附近的方向结构。
- Newton 方法利用 Hessian 曲率修正梯度方向，理解二次收敛、阻尼和矩阵求解成本。
关键词
学习率调度、二阶近似、第一编 深度优化、深度学习优化与工程方法