A08 · 第 4 章 · 课程规划页
掩码预测与上下文建模
本章研究掩码预测与上下文建模。内容依次处理掩码策略、预测目标与上下文范围、离散 token 重建与连续特征回归、掩码比例、预训练捷径与下游迁移。
- 所在 Part
- 第二编 自监督目标
- 预计学习
- 40 分钟
- 建设状态
- 已规划，尚无正式正文
计划实验
本章未登记独立交互实验；定义、公式和例题仍按下列提纲规划。
LEARNING OBJECTIVES
完成本章后应能
- 01准确说明掩码策略、预测目标与上下文范围。
- 02完成离散 token 重建与连续特征回归所需的推导、证明或算法。
- 03使用计算、例题或反例检验掩码比例、预训练捷径与下游迁移。
PLANNED SECTIONS
计划章节结构
- 01
掩码策略、预测目标与上下文范围
界定掩码策略、预测目标与上下文范围，明确使用的条件、主要结论与可复核步骤。
- 02
离散 token 重建与连续特征回归
推导离散 token 重建与连续特征回归，明确使用的条件、主要结论与可复核步骤。
- 03
掩码比例、预训练捷径与下游迁移
检验掩码比例、预训练捷径与下游迁移，明确使用的条件、主要结论与可复核步骤。
计划定义
掩码策略、预测目标与上下文范围：对象、记号与前提
围绕掩码策略、预测目标与上下文范围列出主要对象、符号、前提与定义边界。
计划公式
离散 token 重建与连续特征回归：关系、判据与可复核步骤
把离散 token 重建与连续特征回归整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
计划例题
掩码比例、预训练捷径与下游迁移：案例、反例与核验
围绕掩码比例、预训练捷径与下游迁移给出明确输入、前提或数据，逐步分析并用反例、误差、守恒量或边界条件复核。
计划练习
掩码预测与上下文建模：定义、关系与边界综合练习
联结掩码策略、预测目标与上下文范围、离散 token 重建与连续特征回归与掩码比例、预训练捷径与下游迁移，分别检验定义辨析、主要步骤和适用边界。
关键词
掩码预测、上下文建模、第二编 自监督目标、表示学习与自监督学习