章节大纲
- 01
词元嵌入与位置编码共同表示序列
- 02
多头自注意力子层的数据流与形状
- 03
前馈网络、残差连接和层归一化
- 04
编码器、解码器和仅解码器架构差异
- 05
训练时因果目标与推理时自回归生成
- 06
上下文长度、计算复杂度和缓存机制
CONCEPT OUTLINE / transformer
组合多头自注意力、前馈网络、残差与归一化,构成并行序列建模架构。
词元嵌入与位置编码共同表示序列
多头自注意力子层的数据流与形状
前馈网络、残差连接和层归一化
编码器、解码器和仅解码器架构差异
训练时因果目标与推理时自回归生成
上下文长度、计算复杂度和缓存机制