One Forth

CONCEPT OUTLINE / adaptive-optimizers

自适应优化器

按参数历史梯度尺度调节有效学习率，比较 AdaGrad、RMSProp 和 Adam 的假设。

约 105 分钟正文计划中难度 4/5

章节大纲

  1. 01

    自适应优化器要解决的核心问题与适用边界

  2. 02

    自适应优化器的基本对象、符号和严格定义

  3. 03

    从「随机梯度下降」推导「自适应优化器」所需的关键步骤

  4. 04

    自适应优化器的典型计算、反例与常见误区

知识关系

motivatesneural-network-optimization