大模型线性探针激活引导流程图

大模型线性探针激活引导流程图

概览

用线性探针引导语言模型激活的三阶段流程图。这是一张可编辑的 PowerPoint 图,依据 CC BY 4.0 许可改编自论文原图。

图中内容

抽取(Extraction):N 个样本文档经过 Layer 1 … Layer i … Layer L,把隐藏状态行里最后一个 token 的嵌入 hi 收集成彩色隐藏矩阵 H (N × P)。训练(Training):标准化卡片 X = (H − μ) / s 接到逻辑回归求解卡片(带准确率随 λ 变化的小曲线和放大镜),目标为 minw ℒ + λ‖w‖22;Rescale & Norm 卡片给出 ŵ = w / s 和 v = ŵ / ‖ŵ‖2,得到概念向量 v (P × 1)。推理引导(Inference Steering):在同样的层堆栈里,把 h ← h + αv 加到用户提示词(对话气泡图标)最后一个 token 的状态 hi 上。每个方框、箭头、标签和公式都是原生形状,改配色、改文字、拆开单独用都行,适合组会汇报、开题、论文配图和海报。

文件格式

下载包含:.pptx(1 页,15.58 × 6.28 英寸;PowerPoint、Keynote、WPS、LibreOffice 都能打开;Google Slides 也能用,但复杂自由曲线可能略有偏移)、.svg、.drawio。附原尺寸预览图 preview.png,另有 1200 px 网页预览图。

形状与编辑

139 个原生可编辑形状:56 个自选图形、36 个文本框、47 个自由曲线、0 条线条/连接线。不含任何嵌入图片,全部矢量。可编辑内容:全部文字和公式(hi、H、X = (H − μ) / s、λ、minw ℒ + λ‖w‖22、ŵ = w / s、v = ŵ / ‖ŵ‖2、h ← h + αv)、每个层方框和点状省略号、隐藏状态 token 行、隐藏矩阵的每个格子、标准化 / 求解 / 缩放归一三张卡片、带坐标轴和放大镜图标的准确率曲线、概念向量条、文档和对话气泡图标,以及所有折线连接线。

嵌入图片与字体

本文件不含任何嵌入图片,全部为矢量。正文用 Calibri,公式统一用 Times New Roman(Calibri 随 Microsoft Office 安装,Times New Roman 是 Windows 和 macOS 自带;LibreOffice 会用等宽度的 Carlito 和 Liberation Serif 显示)。花体 ℒ 用 Cambria Math(随 Microsoft Office 安装),其他软件会自动换成数学字体。上下标是真正的上标 / 下标文字格式,不是公式编辑器对象。SVG 里的文字仍是可编辑文字;draw.io 文件是逐个形状转换的,个别位置可能要微调。本文件是忠实重绘,不是作者的原始源文件。

来源与许可 改编自论文 RAPTOR: Ridge-Adaptive Logistic Probes 的图 1,作者 Ziqi Gao, Yaotian Zhu, Qingcheng Zeng, Xu Zhao, Ziqing Wang, Feng Ruan, Kaize Ding(arXiv:2602.00158,https://arxiv.org/abs/2602.00158)。原图采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。由 叫我Alonzo就好了/alonzolab 重绘为可编辑形状并做了修改。本商品与原作者无关,也未获原作者认可。

有疑问或反馈?请发邮件至 [email protected]