One Forth

CONCEPT OUTLINE / learning-rate-schedules

学习率调度

用分段、余弦、指数或预热策略控制训练不同时期的更新尺度。

约 90 分钟正文计划中难度 3/5

章节大纲

  1. 01

    学习率调度要解决的核心问题与适用边界

  2. 02

    学习率调度的基本对象、符号和严格定义

  3. 03

    从「梯度下降」推导「学习率调度」所需的关键步骤

  4. 04

    学习率调度的典型计算、反例与常见误区

知识关系

applied-togradient-descent