One Forth

CONCEPT OUTLINE / stochastic-gradient-descent

随机梯度下降

用随机样本或小批量近似完整梯度，权衡计算成本、方差与泛化行为。

约 90 分钟正文计划中难度 3/5

章节大纲

  1. 01

    随机梯度下降要解决的核心问题与适用边界

  2. 02

    随机梯度下降的基本对象、符号和严格定义

  3. 03

    从「梯度下降」推导「随机梯度下降」所需的关键步骤

  4. 04

    随机梯度下降的典型计算、反例与常见误区

知识关系

motivatesadaptive-optimizers