One Forth

课程主题

神经网络

计算图、表示学习与反向传播。

01

课程章节

按难度与先修关系排列

  1. 01难度 3/5计算图把复合函数表示为基本运算节点和依赖边，为局部导数与反向累积建立结构。起点章节约 90 分钟
  2. 02难度 3/5感知机与多层感知机从线性阈值单元出发堆叠仿射变换和非线性激活，形成可学习的前馈网络。先修：线性变换 · 监督学习 · 损失函数约 90 分钟
  3. 03难度 3/5激活函数比较 sigmoid、tanh、ReLU 等逐元素非线性对表达能力、梯度传播和稀疏性的影响。先修：感知机与多层感知机 · 函数、复合与图像 · 导数与微分约 90 分钟
  4. 04难度 4/5归一化方法与尺度控制比较批归一化、层归一化和组归一化采用的统计轴、可学习仿射变换及训练推理状态，并分析小批量限制。先修：参数初始化与梯度流 · 期望、方差与协方差约 105 分钟
  5. 05难度 4/5循环网络、门控单元与状态传播以递归隐藏状态表示可变长度序列，通过时间反向传播训练，并用 LSTM 与 GRU 门控缓解长依赖中的梯度衰减。先修：神经网络与反向传播综合复习 · 数列与级数约 105 分钟
  6. 06难度 4/5参数初始化与梯度流分析权重尺度如何影响前向方差和反向梯度，理解 Xavier 与 He 初始化。先修：激活函数 · 期望、方差与协方差约 105 分钟
  7. 07难度 4/5反向传播沿计算图反向应用链式法则，高效累计标量损失对共享参数的梯度。先修：计算图 · 感知机与多层感知机约 105 分钟
  8. 08难度 4/5随机梯度、动量与自适应方法比较小批量 SGD、动量、RMSProp 和 Adam 的状态更新、偏差修正与尺度响应，并通过训练曲线判断稳定性。先修：神经网络与反向传播综合复习 · 梯度下降 · 统计估计约 105 分钟
  9. 09难度 4/5正则化、数据增强与早停联合权重衰减、随机失活、标签保持增强和早停限制有效复杂度，以独立验证和消融判断实际贡献。先修：正则化 · 训练、验证、测试与数据泄漏 · 神经网络与反向传播综合复习约 105 分钟
  10. 10难度 4/5离散卷积、感受野与参数共享用核、步幅、填充和膨胀定义离散卷积层，计算输出形状与感受野，并说明局部连接和权重共享带来的平移等变性。先修：数组、向量化与数值精度 · 傅里叶变换与卷积 · 反向传播约 105 分钟
  11. 11难度 4/5卷积网络架构与残差连接把卷积、非线性、归一化、下采样和残差连接组织成深层视觉骨干，并比较分辨率、通道、深度与计算量。先修：离散卷积、感受野与参数共享 · 归一化方法与尺度控制约 105 分钟
  12. 12难度 4/5序列损失、教师强制与解码按条件概率分解序列目标，比较教师强制和自由运行，并使用贪心、束搜索或采样生成序列同时诊断暴露偏差。先修：循环网络、门控单元与状态传播 · 条件概率与独立性 · 损失函数约 105 分钟
  13. 13难度 4/5表示学习目标以保留任务信息、消除无关变化和控制表示容量为目标，比较重建、预测和不变性约束。先修：神经网络与反向传播综合复习 · 分类、回归指标与基线 · 熵、互信息与散度约 105 分钟
  14. 14难度 4/5度量学习从成对或三元组监督学习嵌入空间中的相似度，使匹配样本靠近、非匹配样本保持间隔。先修：表示学习目标 · 损失函数约 105 分钟
  15. 15难度 4/5对比学习用增强视图、负样本和温度化相似度目标学习可迁移表示，并监测表示坍塌。先修：度量学习 · 熵、互信息与散度 · 正则化、数据增强与早停约 105 分钟
  16. 16难度 4/5掩码预测遮蔽输入的一部分并从上下文恢复目标，用条件预测构造无需人工标签的预训练信号。先修：编码器、解码器与 Transformer 架构 · 条件概率与独立性 · 表示学习目标约 105 分钟
  17. 17难度 4/5图与图信号用节点、边、邻接关系和 Laplacian 表示非欧氏结构上的离散信号与局部关联。先修：图、路径、连通性与树 · 特征值与特征向量约 105 分钟
  18. 18难度 4/5注意力机制根据 query 与 key 的相关性计算归一化权重，再加权汇聚 value 表示。先修：向量 · 线性变换 · 条件概率与独立性约 105 分钟
  19. 19难度 4/5神经网络与反向传播综合复习联合感知机、多层表示、激活函数、计算图、反向传播和初始化，通过有限差分梯度检查与小数据测试验证实现。先修：感知机与多层感知机 · 激活函数 · 计算图 · 反向传播 · 参数初始化与梯度流约 105 分钟
  20. 20难度 5/5学习率调度与二阶近似使用预热、分段、余弦和周期调度控制优化时间尺度，并通过 Hessian、曲率向量积与预条件理解二阶近似。先修：随机梯度、动量与自适应方法 · 约束优化、KKT 条件与对偶性 · 特征值与特征向量约 120 分钟
  21. 21难度 5/5混合精度、分布式训练与检查点以主权重和动态损失缩放维持低精度数值范围，比较数据、张量与流水并行通信，并保存完整恢复状态。先修：随机梯度、动量与自适应方法 · 浮点数、条件数与误差传播 · 并行计算、可复现性与性能测量约 120 分钟
  22. 22难度 5/5目标检测与多尺度特征联合预测物体类别和边界框，比较一阶段与两阶段检测器、候选匹配、多尺度特征和非极大抑制。先修：卷积网络架构与残差连接 · 损失函数 · 分类、回归指标与基线约 120 分钟
  23. 23难度 5/5语义分割、实例分割与密集预测用编码器—解码器和跳跃连接恢复像素级预测，区分语义、实例与全景分割并评估区域和边界质量。先修：卷积网络架构与残差连接 · 目标检测与多尺度特征 · 分类、回归指标与基线约 120 分钟
  24. 24难度 5/5视觉 Transformer 与混合架构把图像切分为 patch token 并用多头自注意力建模全局关系，比较视觉 Transformer 与卷积网络的归纳偏置和复杂度。先修：卷积网络架构与残差连接 · 注意力机制 · 多头注意力与位置表示约 120 分钟
  25. 25难度 5/5多头注意力与位置表示把 query、key、value 投影到多个子空间并行汇聚信息，并用绝对、相对或旋转位置表示注入顺序结构。先修：注意力机制约 120 分钟
  26. 26难度 5/5编码器、解码器与 Transformer 架构由多头注意力、前馈层、残差和归一化组装 Transformer，比较编码器、因果解码器与编码器—解码器的掩码。先修：多头注意力与位置表示 · 归一化方法与尺度控制 · 序列损失、教师强制与解码约 120 分钟
  27. 27难度 5/5跨模态预训练利用成对图像、文本等数据对齐不同模态的表示，并评估零样本迁移和配对噪声。先修：对比学习 · 掩码预测 · 几何、数据偏差与计算机视觉综合复习约 120 分钟
  28. 28难度 5/5消息传递神经网络以消息、置换不变聚合和节点更新反复传播邻域信息，再通过读出函数完成图级任务。先修：图与图信号 · 感知机与多层感知机约 120 分钟
  29. 29难度 5/5不变性与等变性用群作用描述输入变换，并要求模型输出保持不变或按指定表示同步变换。先修：消息传递神经网络 · 群同态、商群与群作用 · 线性变换约 120 分钟
  30. 30难度 5/5谱图方法与几何学习利用图 Laplacian 的特征结构定义滤波和嵌入，并把离散图与流形上的局部几何联系起来。先修：图与图信号 · 谱、预解式与谱定理 · 流形、坐标图与切空间约 120 分钟
  31. 31难度 5/5图生成与图动力学建模图结构和节点状态随时间的联合变化，并在生成或预测中保留对称性与物理约束。先修：消息传递神经网络 · Markov 决策过程 · 常微分方程与动力系统综合复习约 120 分钟
  32. 32难度 5/5语言建模与规模规律以 token 条件概率和交叉熵训练语言模型，并把参数、数据和计算规模与经验损失规律分开解释。先修：编码器、解码器与 Transformer 架构 · 自回归模型、似然与采样 · 熵、互信息与散度约 120 分钟
  33. 33难度 5/5指令适配与偏好优化用指令示范和成对偏好改变预训练模型行为，并分析奖励模型、策略目标和数据分布错位。先修：语言建模与规模规律 · 策略梯度与 actor–critic · 训练、验证、测试与数据泄漏约 120 分钟
  34. 34难度 5/5视觉语言模型以对比对齐或跨注意力连接视觉和文本表示，支持检索、理解与条件生成。先修：跨模态预训练 · 编码器、解码器与 Transformer 架构 · 几何、数据偏差与计算机视觉综合复习约 120 分钟
  35. 35难度 5/5检索增强与事实落地在生成前检索外部证据并保留来源链，区分召回、重排、上下文使用与引用正确性。先修：视觉语言模型 · 哈希表、图与并查集 · 条件概率与独立性约 120 分钟
  36. 36难度 5/5工具、记忆与规划把模型决策、外部工具、状态记忆和计划执行组成受约束循环，并显式处理权限和失败恢复。先修：检索增强与事实落地 · 数据结构与算法综合复习 · Markov 决策过程约 120 分钟
  37. 37难度 5/5特征归因与反事实用梯度、扰动、合作博弈分配或反事实变化解释单个预测，并检验基线和忠实度。先修：反向传播 · 损失函数 · 条件概率与独立性约 120 分钟
  38. 38难度 5/5机制可解释性通过激活探针、干预和电路假设研究网络内部计算，同时区分相关证据与因果证据。先修：特征归因与反事实 · 编码器、解码器与 Transformer 架构约 120 分钟
  39. 39难度 5/5校准与分布外检测判断预测置信度是否对应真实正确率，并用分布外分数和拒绝机制控制不可靠输入。先修：分类、回归指标与基线 · 条件概率与独立性 · 分布偏移、置信区间与不确定性约 120 分钟
  40. 40难度 5/5鲁棒性与对抗攻击在明确威胁模型下构造最坏扰动，使用自适应攻击评价防御并识别梯度遮蔽。先修：校准与分布外检测 · 梯度 · 正则化、数据增强与早停约 120 分钟
  41. 41难度 5/5对齐目标与奖励建模从人类或规则反馈学习代理目标，并分析奖励黑客、偏好差异和策略分布偏移。先修：指令适配与偏好优化 · 策略梯度与 actor–critic · 损失函数约 120 分钟
  42. 42难度 5/5调试、复现实验与工程方法综合复习把优化、调度、归一化、正则化、精度、分布式、检查点与监控组织为可恢复、可比较和可复现的深度训练流程。先修：随机梯度、动量与自适应方法 · 学习率调度与二阶近似 · 归一化方法与尺度控制 · 正则化、数据增强与早停 · 混合精度、分布式训练与检查点约 120 分钟
  43. 43难度 5/5几何、数据偏差与计算机视觉综合复习联合卷积骨干、检测、分割和视觉 Transformer，检查几何变换、采样偏差、类别不平衡、鲁棒性和推理成本。先修：离散卷积、感受野与参数共享 · 卷积网络架构与残差连接 · 目标检测与多尺度特征 · 语义分割、实例分割与密集预测 · 视觉 Transformer 与混合架构约 120 分钟
  44. 44难度 5/5长序列、效率与 Transformer 综合复习联合循环状态、序列损失、注意力、位置和 Transformer 架构，分析长上下文复杂度、KV 缓存、近似注意力与评估。先修：循环网络、门控单元与状态传播 · 序列损失、教师强制与解码 · 注意力机制 · 多头注意力与位置表示 · 编码器、解码器与 Transformer 架构约 120 分钟
  45. 45难度 5/5表示学习综合复习统一检查目标、度量、对比、掩码和跨模态预训练的表示质量、迁移能力与坍塌风险。先修：表示学习目标 · 度量学习 · 对比学习 · 掩码预测 · 跨模态预训练约 120 分钟
  46. 46难度 5/5几何深度学习综合复习综合消息传递、对称性和谱几何，分析表达能力、过平滑、过压缩与评估边界。先修：图与图信号 · 消息传递神经网络 · 不变性与等变性 · 谱图方法与几何学习 · 图生成与图动力学约 120 分钟
  47. 47难度 5/5大模型智能体综合复习以任务成功率、成本、延迟、可复现轨迹和安全边界评价语言、多模态、检索与工具系统。先修：语言建模与规模规律 · 指令适配与偏好优化 · 视觉语言模型 · 检索增强与事实落地 · 工具、记忆与规划约 120 分钟
  48. 48难度 5/5安全与治理综合复习把技术评测、使用情境、风险登记、责任分配和持续监测组织为可追踪的安全证据链。先修：特征归因与反事实 · 机制可解释性 · 校准与分布外检测 · 鲁棒性与对抗攻击 · 对齐目标与奖励建模约 120 分钟