One Forth

CONCEPT OUTLINE / batch-normalization

批归一化

利用小批量统计量标准化中间激活，并区分训练与推理阶段的统计处理。

约 105 分钟正文计划中难度 4/5

章节大纲

  1. 01

    批归一化要解决的核心问题与适用边界

  2. 02

    批归一化的基本对象、符号和严格定义

  3. 03

    从「感知机与多层感知机」推导「批归一化」所需的关键步骤

  4. 04

    批归一化的典型计算、反例与常见误区

知识关系

motivatestransformer