论文与标准

FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness

利用分块计算减少 GPU 存储访问，分析精确注意力的计算流程与 IO 复杂度。

Tri Dao, Daniel Y. Fu, Stefano Ermon, Atri Rudra, Christopher Ré · 2022