A12 · 第 1 章 · 课程规划页
语言建模、tokenization 与规模规律
本章研究语言建模、tokenization 与规模规律。内容依次处理子词 tokenization、词表与序列长度、自回归语言似然与困惑度、参数、数据和计算预算的缩放拟合。
- 所在 Part
- 第一编 大语言模型
- 预计学习
- 40 分钟
- 建设状态
- 已规划，尚无正式正文
预备知识
本章没有登记站内章节先修，可按本册顺序进入。
计划实验
本章未登记独立交互实验；定义、公式和例题仍按下列提纲规划。
LEARNING OBJECTIVES
完成本章后应能
- 01准确说明子词 tokenization、词表与序列长度。
- 02完成自回归语言似然与困惑度所需的推导、证明或算法。
- 03使用计算、例题或反例检验参数、数据和计算预算的缩放拟合。
PLANNED SECTIONS
计划章节结构
- 01
子词 tokenization、词表与序列长度
界定子词 tokenization、词表与序列长度，明确使用的条件、主要结论与可复核步骤。
- 02
自回归语言似然与困惑度
推导自回归语言似然与困惑度，明确使用的条件、主要结论与可复核步骤。
- 03
参数、数据和计算预算的缩放拟合
检验参数、数据和计算预算的缩放拟合，明确使用的条件、主要结论与可复核步骤。
计划定义
子词 tokenization、词表与序列长度：对象、记号与前提
围绕子词 tokenization、词表与序列长度列出主要对象、符号、前提与定义边界。
计划公式
自回归语言似然与困惑度：关系、判据与可复核步骤
把自回归语言似然与困惑度整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。
计划例题
参数、数据和计算预算的缩放拟合：案例、反例与核验
围绕参数、数据和计算预算的缩放拟合给出明确输入、前提或数据，逐步分析并用反例、误差、守恒量或边界条件复核。
计划练习
语言建模、tokenization 与规模规律：定义、关系与边界综合练习
联结子词 tokenization、词表与序列长度、自回归语言似然与困惑度与参数、数据和计算预算的缩放拟合，分别检验定义辨析、主要步骤和适用边界。
本章概念落点
以下位置是术语、搜索和知识图谱引用本计划章节时使用的稳定链接。
- 大语言模型以大规模自回归 Transformer 建模文本分布，并区分预训练、对齐和推理阶段。
- 混合专家模型用路由器为每个输入选择少量专家子网络，在计算受控时扩展参数容量。
关键词
语言建模、tokenization、规模规律、第一编 大语言模型、大语言模型、多模态模型与智能体