CONCEPT OUTLINE / positional-encoding

位置编码

向无序的注意力计算注入序列位置信息,比较正弦、学习式和相对位置方案。

105 分钟正文计划中难度 4/5

章节大纲

  1. 01

    位置编码要解决的核心问题与适用边界

  2. 02

    位置编码的基本对象、符号和严格定义

  3. 03

    从「自注意力」推导「位置编码」所需的关键步骤

  4. 04

    位置编码的典型计算、反例与常见误区

知识关系