强化学习推理提示词净化与 Rollout 校准示意图

概览

用"提示词净化"做推理强化学习的两阶段示意图。这是一张可编辑的 PowerPoint 图，依据 CC BY 4.0 许可改编自论文原图。

图中内容

第一阶段（识别并净化干扰 token）：低成功率提示词 x_i（一排提示词 token 格）→ 干扰分数柱状图，虚线阈值 γ 以上的两根柱子是候选干扰 token → 净化后的提示词 x′_i，这两个 token 变成斜纹干扰格；左下图例说明提示词 token、干扰 token、正确 rollout 和错误 rollout。第二阶段（校准 rollout 的策略优化）：Rollout 竖条生成多行 token 格并标 ✓ / ✗，当 acc(x′) > acc(x) 时，虚线框的低质量 rollout 被 Re-rollout 竖条产生的高质量 rollout 替换（Calibrating Rollouts），两路都接到判定卡片，再经括号汇入高高的 RL 竖条，底部标出最终组 𝒢_i。每个方框、箭头、标签和公式都是原生形状，改配色、改文字、拆开单独用都行，适合组会汇报、开题、论文配图和海报。

文件格式

下载包含：.pptx（1 页，12.82 × 6.52 英寸；PowerPoint、Keynote、WPS、LibreOffice 都能打开；Google Slides 也能用，但复杂自由曲线可能略有偏移）、.svg、.drawio。附原尺寸预览图 preview.png，另有 1200 px 网页预览图。

形状与编辑

292 个原生可编辑形状：222 个自选图形、37 个文本框、10 个自由曲线、23 条线条/连接线。不含任何嵌入图片，全部矢量。可编辑内容：全部文字和公式（x_i、x′_i、γ、acc(x′) > acc(x)、𝒢_i）、每个提示词 token 格和 rollout token 格、斜纹干扰格、干扰分数柱子、坐标轴和虚线阈值、✓ / ✗ 判定徽标、虚线 rollout 框、Rollout / Re-rollout / RL 竖条、判定卡片、括号、块状箭头、图例和两个虚线阶段面板。

嵌入图片与字体

本文件不含任何嵌入图片，全部为矢量。正文用 Calibri，公式统一用 Times New Roman（Calibri 随 Microsoft Office 安装，Times New Roman 是 Windows 和 macOS 自带；LibreOffice 会用等宽度的 Carlito 和 Liberation Serif 显示）。花体 𝒢 用 Cambria Math（随 Microsoft Office 安装），其他软件会自动换成数学字体。上下标是真正的上标 / 下标文字格式，不是公式编辑器对象。SVG 里的文字仍是可编辑文字；draw.io 文件是逐个形状转换的，个别位置可能要微调。本文件是忠实重绘，不是作者的原始源文件。