循环 MoE Transformer 专家展平架构图

概览

两种循环深度（recurrent-depth）混合专家语言模型的左右对照架构图。这是一张可编辑的 PowerPoint 图，依据 CC BY 4.0 许可改编自论文原图。

图中内容

左边是普通循环模型：Prelude（嵌入 → 常规 MoE）、普通循环核心（共享的注意力块后接两排各 4 个 MLP 专家，由 Loops 箭头循环），再到 Coda（常规 MoE → LM Head）。右边是展平循环模型，Prelude 和 Coda 相同；它的扁平循环核心包含逐轮不共享的注意力（①–⑧ 八个逐轮注意力小图，当前轮高亮）、带秒表图标的循环计数器 (1, 2, 3, …, L)，以及一排 8 个展平专家，外面由 More Loops 箭头包住。中间是两个放大图：注意力块（输入 token 行 → W_V、W_Q、W_K 权重叠片，key / query / value token 行，因果注意力分数网格和 W_O → 注意力输出），以及画成小型全连接网络的单个 MLP 专家，用点线引出框连到两边的核心。每个方框、箭头、标签和公式都是原生形状，改配色、改文字、拆开单独用都行，适合组会汇报、开题、论文配图和海报。

文件格式

下载包含：.pptx（1 页，15.51 × 8.58 英寸；PowerPoint、Keynote、WPS、LibreOffice 都能打开；Google Slides 也能用，但复杂自由曲线可能略有偏移）、.svg、.drawio。附原尺寸预览图 preview.png，另有 1200 px 网页预览图。

形状与编辑

664 个原生可编辑形状：511 个自选图形、15 个文本框、138 个自由曲线、0 条线条/连接线。不含任何嵌入图片，全部矢量。可编辑内容：全部文字和公式（W_V、W_Q、W_K、W_O、循环计数器 (1, 2, 3, …, L)）、每个 token 格和注意力分数格、斜纹权重叠片、带圆圈编号的 8 个逐轮注意力小网格、每个专家图标和 MLP 专家网络、秒表图标、虚线 Prelude / Coda / 核心面板、Loops 与 More Loops 竖条、点线引出框和所有连接线。

嵌入图片与字体

本文件不含任何嵌入图片，全部为矢量。正文用 Calibri，公式统一用 Times New Roman（Calibri 随 Microsoft Office 安装，Times New Roman 是 Windows 和 macOS 自带；LibreOffice 会用等宽度的 Carlito 和 Liberation Serif 显示）。循环计数器里的居中省略号 ⋯ 用 Cambria Math（随 Microsoft Office 安装），其他软件会自动换成数学字体。上下标是真正的上标 / 下标文字格式，不是公式编辑器对象。SVG 里的文字仍是可编辑文字；draw.io 文件是逐个形状转换的，个别位置可能要微调。本文件是忠实重绘，不是作者的原始源文件。