One Forth

A07 · 第 5 章 · 课程规划页

编码器、解码器与 Transformer 架构

本章研究编码器、解码器与 Transformer 架构。内容依次处理编码器自注意力与前馈子层、解码器因果注意力与交叉注意力、残差预归一化、缓存与序列生成。

所在 Part
第三编 Transformer 与综合复习
预计学习
40 分钟
建设状态
已规划，尚无正式正文

预备知识

  1. A07 · 第 4 章 多头注意力与位置表示

计划实验

本章未登记独立交互实验；定义、公式和例题仍按下列提纲规划。

LEARNING OBJECTIVES

完成本章后应能

  1. 01准确说明编码器自注意力与前馈子层。
  2. 02完成解码器因果注意力与交叉注意力所需的推导、证明或算法。
  3. 03使用计算、例题或反例检验残差预归一化、缓存与序列生成。

PLANNED SECTIONS

计划章节结构

  1. 01

    编码器自注意力与前馈子层

    界定编码器自注意力与前馈子层，明确使用的条件、主要结论与可复核步骤。

  2. 02

    解码器因果注意力与交叉注意力

    推导解码器因果注意力与交叉注意力，明确使用的条件、主要结论与可复核步骤。

  3. 03

    残差预归一化、缓存与序列生成

    检验残差预归一化、缓存与序列生成，明确使用的条件、主要结论与可复核步骤。

计划定义

  1. 编码器自注意力与前馈子层：对象、记号与前提

    围绕编码器自注意力与前馈子层列出主要对象、符号、前提与定义边界。

计划公式

  1. 解码器因果注意力与交叉注意力：关系、判据与可复核步骤

    把解码器因果注意力与交叉注意力整理为可检查的关系、判据或算法步骤；涉及定量模型时写出公式，并说明符号、适用条件，以及需要时的单位或复杂度。

计划例题

  1. 残差预归一化、缓存与序列生成：案例、反例与核验

    围绕残差预归一化、缓存与序列生成给出明确输入、前提或数据，逐步分析并用反例、误差、守恒量或边界条件复核。

计划练习

  1. 编码器、解码器与 Transformer 架构：定义、关系与边界综合练习

    联结编码器自注意力与前馈子层、解码器因果注意力与交叉注意力与残差预归一化、缓存与序列生成，分别检验定义辨析、主要步骤和适用边界。

本章概念落点

以下位置是术语、搜索和知识图谱引用本计划章节时使用的稳定链接。

  1. Transformer组合多头自注意力、前馈网络、残差与归一化，构成并行序列建模架构。

关键词

编码器、解码器、Transformer 架构、第三编 Transformer 与综合复习、序列模型、注意力与 Transformer