扩散语言模型 MMD 训练架构图

概览
用最大均值差异(MMD)目标训练扩散语言模型的三面板架构图。这是一张可编辑的 PowerPoint 图,依据 CC BY 4.0 许可改编自论文原图。
图中内容
离散训练:corrupt → G_θ → token 概率 → G×B 条采样序列 → MMD 损失,并画出分组 REINFORCE 的梯度回路。连续训练:B 个噪声输入,先经冻结 G_θ 做 K 次 bootstrap,再送入可训练 G_θ。右侧面板用冻结的预训练模型提取参考 / 生成特征,计算 token 级 RBF MMD²。实线前向、虚线反向,与图例一致。每个方框、箭头、标签和公式都是原生形状,改配色、改文字、拆开单独用都行,适合组会汇报、开题、论文配图和海报。
文件格式
下载包含:.pptx(1 页,13.33 × 7.29 英寸;PowerPoint、Keynote、WPS、LibreOffice 都能打开;Google Slides 也能用,但复杂自由曲线可能略有偏移)、.svg、.drawio。附原尺寸预览图 preview.png,另有 1200 px 网页预览图。
形状与编辑
173 个原生可编辑形状:94 个自选图形、43 个文本框、17 个自由曲线、19 条线条/连接线(另有 2 个小编组)。不含任何嵌入图片,全部矢量。可编辑内容:序列列(𝐱₁…𝐱_L、𝐳_{b,l})、G_θ 模块、4×3 概率网格、采样序列卡片、MMD 方框、带截断 × 的前向 / 反向箭头、图例,以及原生矢量火焰 / 雪花图标。
嵌入图片与字体
本文件不含任何嵌入图片,全部为矢量。文字统一用 Times New Roman(Windows 和 macOS 自带;LibreOffice 会用等宽度的 Liberation Serif 显示)。𝒩、ℰ、𝒮 这类花体数学字母用 Cambria Math(随 Microsoft Office 安装),其他软件会自动换成数学字体。上下标是真正的上标 / 下标文字格式,不是公式编辑器对象。SVG 里的文字仍是可编辑文字;draw.io 文件是逐个形状转换的,个别位置可能要微调。本文件是忠实重绘,不是作者的原始源文件。
来源与许可 改编自论文 Representation-Space MMD for Diffusion Language Models 的图 1,作者 Ilya Drobyshevskiy, Ilia Sudakov, Maksim Semenov, Denis Kuznedelev, Maksim Ignatov, Pavel Temirchev, Nikita Balagansky, Viacheslav Meshchaninov, Nikita Gushchin, Dmitry Baranchuk(arXiv:2610.06648,https://arxiv.org/abs/2610.06648;代码:https://github.com/yandex-research/dlm-mmd)。原图采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。由 叫我Alonzo就好了/alonzolab 重绘为可编辑形状并做了修改。本商品与原作者无关,也未获原作者认可。公开发布或分享这张图时,需要注明原论文出处;准确的署名文字在每个下载包里的 LICENSE-ATTRIBUTION.txt 中。