One Forth

CONCEPT OUTLINE / self-attention

自注意力

让同一序列产生 query、key、value，使每个位置按内容动态聚合其他位置。

约 105 分钟正文计划中难度 4/5

章节大纲

  1. 01

    自注意力要解决的核心问题与适用边界

  2. 02

    自注意力的基本对象、符号和严格定义

  3. 03

    从「注意力机制」推导「自注意力」所需的关键步骤

  4. 04

    自注意力的典型计算、反例与常见误区

知识关系

motivatespositional-encoding