CONCEPT OUTLINE / transformer

Transformer

组合多头自注意力、前馈网络、残差与归一化,构成并行序列建模架构。

105 分钟正文计划中难度 4/5

章节大纲

  1. 01

    词元嵌入与位置编码共同表示序列

  2. 02

    多头自注意力子层的数据流与形状

  3. 03

    前馈网络、残差连接和层归一化

  4. 04

    编码器、解码器和仅解码器架构差异

  5. 05

    训练时因果目标与推理时自回归生成

  6. 06

    上下文长度、计算复杂度和缓存机制

知识关系