视频大模型运动方向辅助分支架构图

概览
带运动方向辅助目标的视频大模型上下两段式架构图。这是一张可编辑的 PowerPoint 图,依据 CC BY 4.0 许可改编自论文原图。
图中内容
上段是训练和推理共用的主路径:输入视频帧 → 冻结视觉编码器 → 可训练投影层 → 视觉 token F ∈ ℝ^{T×N×D},加上问题文本 token → 大语言模型 → 输出文本,用 L_LM 监督。下段是仅训练时使用、推理时移除的分支:F_t 与 F_{t+1} 的特征差分,经 Pool_N(·) 得到运动描述子 δ_t ∈ ℝ^D,送入运动预测头,用 L_MVP 约束预测方向与目标方向表盘。右侧面板给出总目标 L_total = L_LM + λL_MVP 和归一化位移的运动目标 m_t,并附可训练 / 冻结 / 仅训练信号图例。每个方框、箭头、标签和公式都是原生形状,改配色、改文字、拆开单独用都行,适合组会汇报、开题、论文配图和海报。
文件格式
下载包含:.pptx(1 页,13.33 × 4.71 英寸;PowerPoint、Keynote、WPS、LibreOffice 都能打开;Google Slides 也能用,但复杂自由曲线可能略有偏移)、.svg、.drawio。附原尺寸预览图 preview.png,另有 1200 px 网页预览图。
形状与编辑
103 个原生可编辑形状:26 个自选图形、43 个文本框、12 个自由曲线、22 条线条/连接线。不含任何嵌入图片,全部矢量。可编辑内容:全部文字和公式(𝐅 ∈ ℝ^{T×N×D}、𝐅_t、𝐅_{t+1}、Pool_N(·)、δ_t ∈ ℝ^D、L_MVP、L_total、带范数竖线的 m_t 分式)、叠放的输入帧卡片和 t → t+1 运动箭头、编码器 / 投影层 / 大模型方块、视觉与文本 token 胶囊、问题气泡、两个运动方向表盘、特征差分条、虚线的仅训练路径、图例,以及原生矢量火焰 / 雪花图标。
嵌入图片与字体
本文件不含任何嵌入图片,全部为矢量。文字统一用 Times New Roman(Windows 和 macOS 自带;LibreOffice 会用等宽度的 Liberation Serif 显示)。双线体 ℝ 用 Cambria Math(随 Microsoft Office 安装),其他软件会自动换成数学字体。上下标是真正的上标 / 下标文字格式,不是公式编辑器对象。SVG 里的文字仍是可编辑文字;draw.io 文件是逐个形状转换的,个别位置可能要微调。本文件是忠实重绘,不是作者的原始源文件。
来源与许可 改编自论文 Which Way Did It Move? Diagnosing and Overcoming Directional Motion Blindness in Video-LLMs 的图 6,作者 Jongseo Lee, Hyuntak Lee, Sunghun Kim, Sooa Kim, Jihoon Chung, Jinwoo Choi(arXiv:2605.22823,https://arxiv.org/abs/2605.22823)。原图采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。由 叫我Alonzo就好了/alonzolab 重绘为可编辑形状并做了修改。本商品与原作者无关,也未获原作者认可。公开发布或分享这张图时,需要注明原论文出处;准确的署名文字在每个下载包里的 LICENSE-ATTRIBUTION.txt 中。
有疑问或反馈?请发邮件至 [email protected]