A07 · 第 4 章 · 课程规划页
多头注意力与位置表示
本章研究多头注意力与位置表示。内容依次处理头部投影、子空间分工与拼接映射、正弦、学习式与旋转位置编码、因果掩码、相对位置偏置与长度外推。
- 所在 Part
- 第二编 注意力机制
- 预计学习
- 40 分钟
- 建设状态
- 已规划，尚无正式正文
计划实验
本章未登记独立交互实验；定义、公式和例题仍按下列提纲规划。
LEARNING OBJECTIVES
完成本章后应能
- 01准确说明头部投影、子空间分工与拼接映射。
- 02完成正弦、学习式与旋转位置编码所需的推导、证明或算法。
- 03使用计算、例题或反例检验因果掩码、相对位置偏置与长度外推。
PLANNED SECTIONS
计划章节结构
- 01
头部投影、子空间分工与拼接映射
界定头部投影、子空间分工与拼接映射，明确使用的条件、主要结论与可复核步骤。
- 02
正弦、学习式与旋转位置编码
推导正弦、学习式与旋转位置编码，明确使用的条件、主要结论与可复核步骤。
- 03
因果掩码、相对位置偏置与长度外推
检验因果掩码、相对位置偏置与长度外推，明确使用的条件、主要结论与可复核步骤。
计划定义
头部投影、子空间分工与拼接映射：对象、记号与前提
围绕头部投影、子空间分工与拼接映射列出主要对象、符号、前提与定义边界。
计划公式
正弦、学习式与旋转位置编码：关系、判据与可复核步骤
把正弦、学习式与旋转位置编码整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
计划例题
因果掩码、相对位置偏置与长度外推：案例、反例与核验
围绕因果掩码、相对位置偏置与长度外推给出明确输入、前提或数据，逐步分析并用反例、误差、守恒量或边界条件复核。
计划练习
多头注意力与位置表示：定义、关系与边界综合练习
联结头部投影、子空间分工与拼接映射、正弦、学习式与旋转位置编码与因果掩码、相对位置偏置与长度外推，分别检验定义辨析、主要步骤和适用边界。
本章概念落点
以下位置是术语、搜索和知识图谱引用本计划章节时使用的稳定链接。
- 位置编码向无序的注意力计算注入序列位置信息，比较正弦、学习式和相对位置方案。
关键词
多头注意力、位置表示、第二编 注意力机制、序列模型、注意力与 Transformer