参数初始化与梯度流

章节大纲

1. 01

   前向方差和反向梯度方差的逐层传播

2. 02

   Xavier 初始化的激活方差假设

3. 03

   He 初始化与 ReLU 门控比例

4. 04

   梯度消失、梯度爆炸和深度的关系

5. 05

   残差连接、归一化与稳定梯度通路

6. 06

   用层级统计诊断初始化和训练早期异常

知识关系