A04 / undergraduate

神经网络与反向传播

神经网络与反向传播围绕第一编 网络构件、第二编 计算图与梯度、第三编 训练基础与综合复习建立连续章节顺序。

结构
3 Parts · 6
适合读者
适合已具备基础代数与函数知识、希望完成本科层次系统学习的读者。
正文状态
3 章已有正文,3 章已规划
开始本册

BEFORE READING

先修与记号

本册对象

从感知机和激活函数建立多层网络、计算图与反向模式自动微分。

先修教材

符号约定

  • 本册在首次使用时定义神经网络与反向传播专用符号,并区分标量、向量、算子与单位。
  • 同一符号出现多种约定时明确命名空间、假设和适用章节。

COMPLETE CONTENTS

完整目录

PART 01

第一编 网络构件

第一编 网络构件组织感知机与多层感知器、激活函数与非线性表示,形成连续的学习单元。

  1. 01

    感知机与多层感知器

    本章研究感知机与多层感知器。内容依次处理感知机判别函数与线性可分性、隐藏层、仿射变换与非线性组合、网络宽度、决策边界与 XOR 反例。

    已有正文
  2. 02

    激活函数与非线性表示

    本章研究激活函数与非线性表示。内容依次处理Sigmoid、tanh 与饱和梯度、ReLU 族的分段线性结构、激活尺度、初始化与可训练性。

    已有正文
PART 02

第二编 计算图与梯度

第二编 计算图与梯度组织计算图、链式法则与局部导数、反向传播与反向模式自动微分,形成连续的学习单元。

  1. 03

    计算图、链式法则与局部导数

    本章研究计算图、链式法则与局部导数。内容依次处理节点运算、依赖边与前向拓扑序、Jacobian–向量积与向量–Jacobian 积、动态图、静态图和中间值缓存。

    计划章节
  2. 04

    反向传播与反向模式自动微分

    本章研究反向传播与反向模式自动微分。内容依次处理计算图、局部导数与链式法则、反向模式的伴随量与梯度累积、有限差分核验、不可导点与数值稳定性。

    已有正文
PART 03

第三编 训练基础与综合复习

第三编 训练基础与综合复习组织参数初始化与梯度传播、神经网络与反向传播综合复习,形成连续的学习单元。

  1. 05

    参数初始化与梯度传播

    本章研究参数初始化与梯度传播。内容依次处理方差传播与 Xavier 初始化、ReLU 激活下的 He 初始化、梯度消失、梯度爆炸与归一化监测。

    计划章节
  2. 06

    神经网络与反向传播综合复习

    本章研究神经网络与反向传播综合复习。内容依次处理感知机、MLP 与线性不可分任务、计算图展开、反向传播与梯度检查、初始化、激活函数和批量尺度的训练诊断。

    计划章节

综合练习计划

  • 每章安排定义辨析、推导计算和结果核验练习。
  • 本册末章安排跨 Part 综合题,并保留可复算的解题检查点。

参考资料计划

  • TODO:为《神经网络与反向传播》逐项核验权威教材、课程页面或原始论文后登记资源 ID。

修订状态

课程 Schema v1。目录与章节位置已登记;参考资料需逐项核验后进入正式正文。

相关教材