One Forth

A05 · 第 1 章 · 课程规划页

随机梯度、动量与自适应方法

本章研究随机梯度、动量与自适应方法。内容依次处理小批量梯度估计的方差与偏差、动量、Nesterov 加速与振荡抑制、AdaGrad、RMSProp 与 Adam 的尺度更新。

所在 Part
第一编 深度优化
预计学习
40 分钟
建设状态
已规划，尚无正式正文

预备知识

本章没有登记站内章节先修，可按本册顺序进入。

计划实验

本章未登记独立交互实验；定义、公式和例题仍按下列提纲规划。

LEARNING OBJECTIVES

完成本章后应能

  1. 01准确说明小批量梯度估计的方差与偏差。
  2. 02完成动量、Nesterov 加速与振荡抑制所需的推导、证明或算法。
  3. 03使用计算、例题或反例检验AdaGrad、RMSProp 与 Adam 的尺度更新。

PLANNED SECTIONS

计划章节结构

  1. 01

    小批量梯度估计的方差与偏差

    界定小批量梯度估计的方差与偏差，明确使用的条件、主要结论与可复核步骤。

  2. 02

    动量、Nesterov 加速与振荡抑制

    推导动量、Nesterov 加速与振荡抑制，明确使用的条件、主要结论与可复核步骤。

  3. 03

    AdaGrad、RMSProp 与 Adam 的尺度更新

    检验AdaGrad、RMSProp 与 Adam 的尺度更新，明确使用的条件、主要结论与可复核步骤。

计划定义

  1. 小批量梯度估计的方差与偏差：对象、记号与前提

    围绕小批量梯度估计的方差与偏差列出主要对象、符号、前提与定义边界。

计划公式

  1. 动量、Nesterov 加速与振荡抑制：关系、判据与可复核步骤

    把动量、Nesterov 加速与振荡抑制整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。

计划例题

  1. AdaGrad、RMSProp 与 Adam 的尺度更新：案例、反例与核验

    围绕AdaGrad、RMSProp 与 Adam 的尺度更新给出明确输入、前提或数据，逐步分析并用反例、误差、守恒量或边界条件复核。

计划练习

  1. 随机梯度、动量与自适应方法：定义、关系与边界综合练习

    联结小批量梯度估计的方差与偏差、动量、Nesterov 加速与振荡抑制与AdaGrad、RMSProp 与 Adam 的尺度更新，分别检验定义辨析、主要步骤和适用边界。

本章概念落点

以下位置是术语、搜索和知识图谱引用本计划章节时使用的稳定链接。

  1. 自适应优化器按参数历史梯度尺度调节有效学习率，比较 AdaGrad、RMSProp 和 Adam 的假设。
  2. 学习率调度用分段、余弦、指数或预热策略控制训练不同时期的更新尺度。
  3. 动量优化累积历史更新方向以抑制高曲率振荡，并加速沿稳定方向的前进。
  4. 随机梯度下降用随机样本或小批量近似完整梯度，权衡计算成本、方差与泛化行为。

关键词

随机梯度、动量、自适应方法、第一编 深度优化、深度学习优化与工程方法