音视频大模型 Token 压缩架构图

音视频大模型 Token 压缩架构图

概览

左侧主流程 + 右侧三个打分面板的音视频 token 压缩架构图。这是一张可编辑的 PowerPoint 图,依据 CC BY 4.0 许可改编自论文原图。

图中内容

左侧:查询、视频胶片条和音频波形 → 交错的视频 / 音频 / 文本 token → 压缩模块 → 压缩后 token → 大语言模型。右侧:相关性(文本引导的交叉注意力打分)、重要性(局部时间块内的视频-音频交叉注意力)、多样性(时间感知最大边际相关 MMR),三者经 ⊕ 汇合成最终选择。每个方框、箭头、标签和公式都是原生形状,改配色、改文字、拆开单独用都行,适合组会汇报、开题、论文配图和海报。

文件格式

下载包含:.pptx(1 页,15.52 × 6.88 英寸;PowerPoint、Keynote、WPS、LibreOffice 都能打开;Google Slides 也能用,但复杂自由曲线可能略有偏移)、.svg、.drawio。附原尺寸预览图 preview.png,另有 1200 px 网页预览图。

形状与编辑

237 个原生可编辑形状:125 个自选图形、48 个文本框、31 个自由曲线、33 条线条/连接线。另有 2 张嵌入图片(见下方说明)。可编辑内容:全部文字和公式(Q_T、K_VA、Q_V、K_A、MMR(x_i)、𝒮、𝒲)、每个 token 方块(含带叉的 compressed token)、注意力向量与矩阵、带坐标轴的柱状图、Encode / Compression / Generate 箭头条、虚线弧和紫色路由线。

嵌入图片与字体

有 2 处是嵌入位图:视频胶片条和音频波形。文字统一用 Times New Roman(Windows 和 macOS 自带;LibreOffice 会用等宽度的 Liberation Serif 显示)。𝒩、ℰ、𝒮 这类花体数学字母用 Cambria Math(随 Microsoft Office 安装),其他软件会自动换成数学字体。上下标是真正的上标 / 下标文字格式,不是公式编辑器对象。SVG 里的文字仍是可编辑文字;draw.io 文件是逐个形状转换的,个别位置可能要微调。本文件是忠实重绘,不是作者的原始源文件。

来源与许可 改编自论文 AVOC: Enhancing Hour-Level Audio-Video Understanding in Omni-Modal LLMs via Retrieval-Inspired Token Compression 的图 2,作者 Yijing Chen, Wenhui Tan, Xiaoyi Yu, Yuyue Wang, Xin Cheng, Kaisi Guan, Hao Jiang, Xiangyang Li, Guojie Zhu, Ruihua Song(arXiv:2606.24286,https://arxiv.org/abs/2606.24286;代码:https://github.com/YJCX330/AVOC)。原图采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。由 叫我Alonzo就好了/alonzolab 重绘为可编辑形状并做了修改。本商品与原作者无关,也未获原作者认可。公开发布或分享这张图时,需要注明原论文出处;准确的署名文字在每个下载包里的 LICENSE-ATTRIBUTION.txt 中。