A07 / advanced
序列模型、注意力与 Transformer
序列模型、注意力与 Transformer围绕第一编 序列表示、第二编 注意力机制、第三编 Transformer 与综合复习建立连续章节顺序。
- 结构
- 3 编 · 6 章
- 适合读者
- 适合完成相关本科基础课程、需要进入高级理论与计算方法的读者。
BEFORE READING
先修与记号
本册对象
从循环网络进入注意力机制、Transformer 和长序列建模。
符号约定
- 本册在首次使用时定义序列模型、注意力与 Transformer专用符号，并区分标量、向量、算子与单位。
- 同一符号出现多种约定时明确命名空间、假设和适用章节。
CONTENTS
完整目录
第一编 序列表示
第一编 序列表示组织循环网络、门控单元与状态传播、序列损失、教师强制与解码，形成连续的学习单元。
第二编 注意力机制
第二编 注意力机制组织缩放点积注意力与掩码、多头注意力与位置表示，形成连续的学习单元。
第三编 Transformer 与综合复习
第三编 Transformer 与综合复习组织编码器、解码器与 Transformer 架构、长序列、效率与 Transformer 综合复习，形成连续的学习单元。
综合练习
- 每章安排定义辨析、推导计算和结果核验练习。
- 本册末章安排跨 Part 综合题，并保留可复算的解题检查点。