扩散语言模型解码顺序蒸馏架构图

概览

把更快的解掩码顺序蒸馏进掩码扩散语言模型的架构图，以答案 "So 12 − 2 = 10 eggs left" 为例。这是一张可编辑的 PowerPoint 图，依据 CC BY 4.0 许可改编自论文原图。

图中内容

左栏：解掩码轨迹 s₀ → s₁ → s₂ → s₃ 的 token 行（灰度 = 惊讶度，青色 = 已揭示，橙色 = 被提前），以及自然顺序与提前顺序的轮次对照表（6 轮 → 3 轮）。右上为单步提前：冻结教师下满足 p_θ0(y_i | s_r) ≥ p_min 且排名 ≤ k 的候选位置 𝒞_r，两次试揭示及其他位置惊讶度的前后柱状对比（下降较小 vs. 正向下降最大、被选中），以及选择规则 i^★_r ∈ argmax_i∈𝒞r Σ_{j∈ℳr∖{i}} [h_j(s_r) − h_j(s⁽ⁱ⁾_r)]。右下：从轨迹状态蒸馏得到的学生 p_θ、并行解码器，训练框给出 ℒ = ℒ₊ + βℒ₋（提前轨迹上预测掩码 token，失败轨迹上对冻结教师做 KL），推理框在一次前向中当 max_v p_θ(v | s_t, j) ≥ τ 时提交位置 j。每个方框、箭头、标签和公式都是原生形状，改配色、改文字、拆开单独用都行，适合组会汇报、开题、论文配图和海报。

文件格式

下载包含：.pptx（1 页，13.33 × 9.01 英寸；PowerPoint、Keynote、WPS、LibreOffice 都能打开；Google Slides 也能用，但复杂自由曲线可能略有偏移）、.svg、.drawio。附原尺寸预览图 preview.png，另有 1200 px 网页预览图。

形状与编辑

294 个原生可编辑形状：159 个自选图形、74 个文本框、15 个自由曲线、46 条线条/连接线。不含任何嵌入图片，全部矢量。可编辑内容：全部文字和公式（s₀ … s₃、𝒞_r、p_θ0(y_i | s_r) ≥ p_min、带 s⁽ⁱ⁾_r 的上下堆叠 argmax / Σ 选择规则、ℒ = ℒ₊ + βℒ₋、带 τ 的提交规则）、每个 token 方块和轮次表格子、惊讶度柱状图、虚线候选框、带原生矢量火焰 / 雪花图标的教师 / 学生模型堆叠卡片、阈值柱、弯曲轨迹箭头、虚线蒸馏路径和图例。

嵌入图片与字体

本文件不含任何嵌入图片，全部为矢量。正文用 Calibri，公式统一用 Times New Roman（Calibri 随 Microsoft Office 安装，Times New Roman 是 Windows 和 macOS 自带；LibreOffice 会用等宽度的 Carlito 和 Liberation Serif 显示）。花体 𝒞、ℳ、ℒ 用 Cambria Math（随 Microsoft Office 安装），其他软件会自动换成数学字体。上下标是真正的上标 / 下标文字格式，不是公式编辑器对象。SVG 里的文字仍是可编辑文字；draw.io 文件是逐个形状转换的，个别位置可能要微调。本文件是忠实重绘，不是作者的原始源文件。