A05 · 第 3 章 · 课程规划页
归一化方法与尺度控制
本章研究归一化方法与尺度控制。内容依次处理BatchNorm 的批统计量与推理模式、LayerNorm、GroupNorm 与归一化轴、尺度不变性、微批量噪声与状态漂移。
- 所在 Part
- 第二编 训练稳定性
- 预计学习
- 40 分钟
- 建设状态
- 已规划，尚无正式正文
计划实验
本章未登记独立交互实验；定义、公式和例题仍按下列提纲规划。
LEARNING OBJECTIVES
完成本章后应能
- 01准确说明BatchNorm 的批统计量与推理模式。
- 02完成LayerNorm、GroupNorm 与归一化轴所需的推导、证明或算法。
- 03使用计算、例题或反例检验尺度不变性、微批量噪声与状态漂移。
PLANNED SECTIONS
计划章节结构
- 01
BatchNorm 的批统计量与推理模式
界定BatchNorm 的批统计量与推理模式，明确使用的条件、主要结论与可复核步骤。
- 02
LayerNorm、GroupNorm 与归一化轴
推导LayerNorm、GroupNorm 与归一化轴，明确使用的条件、主要结论与可复核步骤。
- 03
尺度不变性、微批量噪声与状态漂移
检验尺度不变性、微批量噪声与状态漂移，明确使用的条件、主要结论与可复核步骤。
计划定义
BatchNorm 的批统计量与推理模式：对象、记号与前提
围绕BatchNorm 的批统计量与推理模式列出主要对象、符号、前提与定义边界。
计划公式
LayerNorm、GroupNorm 与归一化轴：关系、判据与可复核步骤
把LayerNorm、GroupNorm 与归一化轴整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
计划例题
尺度不变性、微批量噪声与状态漂移：案例、反例与核验
围绕尺度不变性、微批量噪声与状态漂移给出明确输入、前提或数据，逐步分析并用反例、误差、守恒量或边界条件复核。
计划练习
归一化方法与尺度控制：定义、关系与边界综合练习
联结BatchNorm 的批统计量与推理模式、LayerNorm、GroupNorm 与归一化轴与尺度不变性、微批量噪声与状态漂移，分别检验定义辨析、主要步骤和适用边界。
本章概念落点
以下位置是术语、搜索和知识图谱引用本计划章节时使用的稳定链接。
- 批归一化利用小批量统计量标准化中间激活，并区分训练与推理阶段的统计处理。
- 神经网络优化把反向传播梯度交给小批量、动量和自适应优化器，并监控训练稳定性。
关键词
归一化方法、尺度控制、第二编 训练稳定性、深度学习优化与工程方法