稀疏 MoE 专家信用与损失重加权架构图

概览

稀疏混合专家（MoE）语言模型鲁棒训练的三面板架构图。这是一张可编辑的 PowerPoint 图，依据 CC BY 4.0 许可改编自论文原图。

图中内容

(a) 稀疏 MoE Transformer：混合领域输入 token x_j → 嵌入 → 多头自注意力 → Add & Norm → 第 l 层 MoE → Add & Norm（×L）→ LM Head → 逐 token 损失 ℓ_j。(b) 第 l 层内部的专家信用：token x 经路由器 φ(x) 选 Top-k，门控柱 p_l,i，共享专家 FFN_s 和路由专家 FFN₁ … FFN₈，按激活加权的信用 c̃_l,i = sg(p_l,i · ‖h_l,i‖₂)，以及专家归因损失 ℓ_l,i = (1/N) Σ_j c̃_l,i(x_j) ℓ_j 1[i ∈ 𝒯_j,l]。(c) 逐层 DRO 重加权：每个专家的损失柱、EMA 跟踪 ℓ̂_l,i ← βℓ̂_l,i + (1 − β) sg(ℓ_l,i)、叠放的逐层权重更新 μ_l ← softmax(μ_l + ηℓ̂_l) 与均匀线 1/E 对比，以及目标 ℒ_DRO = Σ_l Σ_i sg(μ_l,i) ℓ_l,i，梯度回传给高损失专家和难 token。图例区分前向、停止梯度统计量和梯度三类箭头。每个方框、箭头、标签和公式都是原生形状，改配色、改文字、拆开单独用都行，适合组会汇报、开题、论文配图和海报。

文件格式

下载包含：.pptx（1 页，13.28 × 7.42 英寸；PowerPoint、Keynote、WPS、LibreOffice 都能打开；Google Slides 也能用，但复杂自由曲线可能略有偏移）、.svg、.drawio。附原尺寸预览图 preview.png，另有 1200 px 网页预览图。

形状与编辑

171 个原生可编辑形状：77 个自选图形、47 个文本框、11 个自由曲线、36 条线条/连接线。不含任何嵌入图片，全部矢量。可编辑内容：全部文字和公式（上下堆叠的 1/N、1/E 分式，Σ 上下限，ℓ_l,i、c̃_l,i、‖h_l,i‖₂、p_l,i，用原生矢量帽子符号的 ℓ̂_l,i，μ_l、ℒ_DRO、∇_θ）、每根损失柱 / 门控柱 / 权重柱、token 方块、专家列、叠放的逐层卡片、虚线放大面板、⊕ 节点、带 β 的自环箭头、三种箭头样式和图例。

嵌入图片与字体

本文件不含任何嵌入图片，全部为矢量。正文用 Georgia，公式统一用 Times New Roman（两者 Windows 和 macOS 都自带；LibreOffice 会用等宽度的 Gelasio 和 Liberation Serif 显示）。花体 𝒯、ℒ 用 Cambria Math（随 Microsoft Office 安装），其他软件会自动换成数学字体。ℓ̂ 上的帽子是放在字母上方的原生小线条，重新输入公式后可能需要微调位置。上下标是真正的上标 / 下标文字格式，不是公式编辑器对象。SVG 里的文字仍是可编辑文字；draw.io 文件是逐个形状转换的，个别位置可能要微调。本文件是忠实重绘，不是作者的原始源文件。