One Forth

CONCEPT OUTLINE / residual-connections

残差连接

让层学习相对恒等映射的残差，改善深层网络的信息与梯度传播。

约 105 分钟正文计划中难度 4/5

章节大纲

  1. 01

    残差连接要解决的核心问题与适用边界

  2. 02

    残差连接的基本对象、符号和严格定义

  3. 03

    从「感知机与多层感知机」推导「残差连接」所需的关键步骤

  4. 04

    残差连接的典型计算、反例与常见误区

知识关系

motivatestransformer