1. 引言

论文《Video-XL: Extra-Long Vision Language Model for Hour-Scale Video Understanding》提出了一种名为 Video-XL 的新方法，旨在解决现有多模态大型语言模型（MLLMs）在处理长视频时面临的挑战。现有 MLLMs 受限于上下文长度和处理长视频的巨大计算成本，且在减少视觉令牌策略上存在信息损失的瓶颈。Video-XL 通过利用 MLLMs 的键值（KV）稀疏化能力来压缩视觉输入，引入了视觉总结令牌（VST），并在指令微调过程中采用课程学习和复合数据策略，以提高压缩质量并降低处理成本。

2. 研究方法

2.1 VST 压缩机制

Video-XL 的核心在于 VST（Visual Summarization Token）模块。该模块通过将视频的不同区间分配 VST，将区间内的视觉信息总结为 VST 关联的键值对。具体来说，视频帧序列被分割成多个区间，每个区间内插入 VST，这些 VST 负责压缩该区间的视觉信息。通过动态压缩策略，根据视频不同区间的语义一致性（深度分数）来调整压缩粒度：信息密集部分形成小区间以实现细粒度压缩，信息稀疏部分形成大区间以进行粗粒度压缩。

2.2 训练方法

VST 模块通过指令微调进行训练，训练过程包含以下策略：

• 课程学习（Curriculum Learning）：训练初期使用小压缩比（如 2×、4×），随着训练进行，逐渐增加压缩比（如 8×、16×），使模型逐步学习处理更大压缩任务。

• 复合数据策略（Composite Data Curation）：由于长视频指令数据稀缺，作者整合了单图像、多图像和合成数据进行训练。具体来说，将单图像和多图像数据格式化为帧序列，与视频指令数据保持一致，促进知识迁移；同时创建了一个名为 VICO（Visual Clue Ordering）的合成数据集，用于增强模型精确检索和信息利用的能力。

3. 实验

3.1 实现细节

Video-XL 基于 Qwen-2-7B 模型实现，训练分为预训练和微调两个阶段。预训练使用 Laion-2M 数据集优化视觉语言投影器，使 CLIP-ViT-L 视觉编码器的输出与 LLM 文本嵌入对齐；微调阶段则使用视觉指令调优，优化视觉编码器、投影器和 LLM 的参数。

3.2 评估基准

实验在多个流行的长视频理解基准测试上进行评估，包括 MLVU、Video-MME、VNBench、LongVideoBench 和 Video-Vista 等。此外，还扩展了两个短视频问答基准：VideoChatGPT Benchmark 和 MVBench。

3.3 主要结果

实验结果显示，Video-XL 在多个长视频基准测试中均取得了优异的性能：

• 在 MLVU 测试中，Video-XL 在开发任务上超越了 GPT-4o，并且在测试任务上也展现出了强大的性能。

• 在 Video-MME 测试中，Video-XL 在无字幕和有字幕设置下分别取得了 55.5% 和 61.0% 的准确率，与现有最先进模型相比具有竞争力。

• 在 VNBench 测试中，Video-XL 在开源模型中取得了最高准确率，比之前最佳模型高出近 10%。

• 在 Video-Vista 测试中，Video-XL 在所有开源 MLLMs 中排名第一，仅次于 GPT-4o 和 Gemini-1.5。

• 在 LongVideoBench 的开发任务中，Video-XL 在所有不超过 7B 参数的开源模型中表现最佳。

此外，Video-XL 在处理超长视频输入方面表现出色，在 Needle-in-a-Haystack 评估中，即使在处理超过其微调数据最大长度的视频时，仍能保持约 95% 的准确率。与基线模型相比，Video-XL 在内存使用和前向 FLOPs 方面具有显著优势，能够在单个 A100 GPU 上有效处理 2048 帧视频。

3.4 消融研究

消融研究进一步验证了 Video-XL 各组件的有效性：

• 压缩机制：与传统预压缩方法相比，Video-XL 在所有基准测试中均取得了显著更好的结果，即使在 16× 压缩比下也能保持高性能。

• 动态压缩策略：动态压缩在所有基准测试中均优于固定压缩方法，且在训练阶段使用动态压缩至关重要。

• 课程学习：与随机或固定压缩比训练相比，课程学习方法显著提高了模型性能。

• 复合数据策略：不同数据源对模型性能的提升具有互补性，多图像数据对多细节理解能力的提升尤为显著，而 VICO 数据集在增强长视频理解能力方面表现出色。

4. 关键结论

论文提出的 Video-XL 模型通过引入视觉总结令牌（VST）和动态压缩策略，有效解决了 MLLMs 在处理长视频时面临的上下文长度限制和计算成本问题。实验结果表明，Video-XL 在多个长视频基准测试中均取得了优异的性能，同时在推理效率和压缩质量方面表现出色。此外，课程学习和复合数据策略的运用进一步提升了模型的训练效果和泛化能力。

5. 核心技术汇总