A07 / advanced
序列模型、注意力与 Transformer
序列模型、注意力与 Transformer围绕第一编 序列表示、第二编 注意力机制、第三编 Transformer 与综合复习建立连续章节顺序。
- 结构
- 3 Parts · 6 章
- 适合读者
- 适合完成相关本科基础课程、需要进入高级理论与计算方法的读者。
- 正文状态
- 1 章已有正文，5 章已规划
BEFORE READING
先修与记号
本册对象
从循环网络进入注意力机制、Transformer 和长序列建模。
符号约定
- 本册在首次使用时定义序列模型、注意力与 Transformer专用符号，并区分标量、向量、算子与单位。
- 同一符号出现多种约定时明确命名空间、假设和适用章节。
COMPLETE CONTENTS
完整目录
第一编 序列表示
第一编 序列表示组织循环网络、门控单元与状态传播、序列损失、教师强制与解码，形成连续的学习单元。
第二编 注意力机制
第二编 注意力机制组织缩放点积注意力与掩码、多头注意力与位置表示，形成连续的学习单元。
第三编 Transformer 与综合复习
第三编 Transformer 与综合复习组织编码器、解码器与 Transformer 架构、长序列、效率与 Transformer 综合复习，形成连续的学习单元。
综合练习计划
- 每章安排定义辨析、推导计算和结果核验练习。
- 本册末章安排跨 Part 综合题，并保留可复算的解题检查点。
参考资料计划
- TODO：为《序列模型、注意力与 Transformer》逐项核验权威教材、课程页面或原始论文后登记资源 ID。
修订状态
课程 Schema v1。目录与章节位置已登记；参考资料需逐项核验后进入正式正文。