One Forth

A09 · 第 1 章 · 课程规划页

自回归生成与序列似然

本章研究自回归生成与序列似然。内容依次处理联合分布的链式分解与教师强制、因果掩码、条件似然与 token 顺序、温度、top-k、核采样与重复退化。

所在 Part
第一编 似然与潜变量
预计学习
40 分钟
建设状态
已规划，尚无正式正文

预备知识

本章没有登记站内章节先修，可按本册顺序进入。

计划实验

本章未登记独立交互实验；定义、公式和例题仍按下列提纲规划。

LEARNING OBJECTIVES

完成本章后应能

  1. 01准确说明联合分布的链式分解与教师强制。
  2. 02完成因果掩码、条件似然与 token 顺序所需的推导、证明或算法。
  3. 03使用计算、例题或反例检验温度、top-k、核采样与重复退化。

PLANNED SECTIONS

计划章节结构

  1. 01

    联合分布的链式分解与教师强制

    界定联合分布的链式分解与教师强制，明确使用的条件、主要结论与可复核步骤。

  2. 02

    因果掩码、条件似然与 token 顺序

    推导因果掩码、条件似然与 token 顺序，明确使用的条件、主要结论与可复核步骤。

  3. 03

    温度、top-k、核采样与重复退化

    检验温度、top-k、核采样与重复退化，明确使用的条件、主要结论与可复核步骤。

计划定义

  1. 联合分布的链式分解与教师强制：对象、记号与前提

    围绕联合分布的链式分解与教师强制列出主要对象、符号、前提与定义边界。

计划公式

  1. 因果掩码、条件似然与 token 顺序：关系、判据与可复核步骤

    把因果掩码、条件似然与 token 顺序整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。

计划例题

  1. 温度、top-k、核采样与重复退化：案例、反例与核验

    围绕温度、top-k、核采样与重复退化给出明确输入、前提或数据，逐步分析并用反例、误差、守恒量或边界条件复核。

计划练习

  1. 自回归生成与序列似然：定义、关系与边界综合练习

    联结联合分布的链式分解与教师强制、因果掩码、条件似然与 token 顺序与温度、top-k、核采样与重复退化，分别检验定义辨析、主要步骤和适用边界。

本章概念落点

以下位置是术语、搜索和知识图谱引用本计划章节时使用的稳定链接。

  1. 自回归生成模型按变量顺序分解联合分布，通过逐步条件预测实现精确似然与序列采样。
  2. 生成模型学习数据联合分布或生成过程，使模型能够采样、补全、重建并估计不确定性。

关键词

自回归生成、序列似然、第一编 似然与潜变量、生成模型