长上下文稀疏注意力 KV 缓存架构图

概览

面向长上下文解码的稀疏注意力逐 KV 头示意图，分两部分。这是一张可编辑的 PowerPoint 图，依据 CC BY 4.0 许可改编自论文原图。

图中内容

1. Token 选择：新 key k_t 和组平均 query q̄_t,h（宽度 d）经 M 投影降到秩 r（M k_t、M q̄_t,h）；M k_t 追加进打分缓存 K_proj = M K，投影后的 query 给全部 N 个缓存 token 打分，得分最高的标为选中。2. 免 gather 注意力：G 个查询头的叠放阵列和完整 KV 缓存（N 行 k / v 交错方块，选中行高亮）送入免 gather 的索引注意力模块，由逐 KV 头的索引直接驱动。图例标出 q、k、v 和选中方块。每个方框、箭头、标签和公式都是原生形状，改配色、改文字、拆开单独用都行，适合组会汇报、开题、论文配图和海报。

文件格式

下载包含：.pptx（1 页，13.28 × 7.09 英寸；PowerPoint、Keynote、WPS、LibreOffice 都能打开；Google Slides 也能用，但复杂自由曲线可能略有偏移）、.svg、.drawio。附原尺寸预览图 preview.png，另有 1200 px 网页预览图。

形状与编辑

242 个原生可编辑形状：203 个自选图形、23 个文本框、0 个自由曲线、16 条线条/连接线。不含任何嵌入图片，全部矢量。可编辑内容：全部文字和公式（k_t、用原生上划线的 q̄_t,h、M k_t、M q̄_t,h、K_proj = M K、d、r、N、G）、key / query 行里每个圆角 token 方块、投影漏斗、打分缓存和选择行、叠放的查询头与 KV 缓存方块阵列、花括号、虚线分组框、注意力模块、红色索引路径和图例。

嵌入图片与字体

本文件不含任何嵌入图片，全部为矢量。正文用 Georgia，公式统一用 Times New Roman（两者 Windows 和 macOS 都自带；LibreOffice 会用等宽度的 Gelasio 和 Liberation Serif 显示）。上下标是真正的上标 / 下标文字格式，不是公式编辑器对象。SVG 里的文字仍是可编辑文字；draw.io 文件是逐个形状转换的，个别位置可能要微调。本文件是忠实重绘，不是作者的原始源文件。