A04 · 第 5 章 · 课程规划页
参数初始化与梯度传播
本章研究参数初始化与梯度传播。内容依次处理方差传播与 Xavier 初始化、ReLU 激活下的 He 初始化、梯度消失、梯度爆炸与归一化监测。
- 所在 Part
- 第三编 训练基础与综合复习
- 预计学习
- 40 分钟
- 建设状态
- 已规划，尚无正式正文
计划实验
本章未登记独立交互实验；定义、公式和例题仍按下列提纲规划。
LEARNING OBJECTIVES
完成本章后应能
- 01准确说明方差传播与 Xavier 初始化。
- 02完成ReLU 激活下的 He 初始化所需的推导、证明或算法。
- 03使用计算、例题或反例检验梯度消失、梯度爆炸与归一化监测。
PLANNED SECTIONS
计划章节结构
- 01
方差传播与 Xavier 初始化
界定方差传播与 Xavier 初始化，明确使用的条件、主要结论与可复核步骤。
- 02
ReLU 激活下的 He 初始化
推导ReLU 激活下的 He 初始化，明确使用的条件、主要结论与可复核步骤。
- 03
梯度消失、梯度爆炸与归一化监测
检验梯度消失、梯度爆炸与归一化监测，明确使用的条件、主要结论与可复核步骤。
计划定义
方差传播与 Xavier 初始化：对象、记号与前提
围绕方差传播与 Xavier 初始化列出主要对象、符号、前提与定义边界。
计划公式
ReLU 激活下的 He 初始化：关系、判据与可复核步骤
把ReLU 激活下的 He 初始化整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
计划例题
梯度消失、梯度爆炸与归一化监测：案例、反例与核验
围绕梯度消失、梯度爆炸与归一化监测给出明确输入、前提或数据，逐步分析并用反例、误差、守恒量或边界条件复核。
计划练习
参数初始化与梯度传播：定义、关系与边界综合练习
联结方差传播与 Xavier 初始化、ReLU 激活下的 He 初始化与梯度消失、梯度爆炸与归一化监测，分别检验定义辨析、主要步骤和适用边界。
本章概念落点
以下位置是术语、搜索和知识图谱引用本计划章节时使用的稳定链接。
- 参数初始化与梯度流分析权重尺度如何影响前向方差和反向梯度，理解 Xavier 与 He 初始化。
关键词
参数初始化、梯度传播、第三编 训练基础与综合复习、神经网络与反向传播