一、论文概述

论文介绍了Video-XL-Pro，一种用于极长视频理解的高效方法。它基于重建性压缩令牌（ReCoT）模块，利用自监督学习生成全面且紧凑的视频令牌。ReCoT包含两个关键组件：动态令牌合成器（DTS）和语义引导掩蔽（SGM）。DTS从静态图像令牌生成伪视频令牌，学习令牌间关系，用于掩蔽视频建模。SGM自适应地掩蔽冗余视觉令牌，使重建学习更有效。此外，论文还介绍了视频特定数据集修剪策略和查询感知选择器，以提高训练效率和模型定位查询相关视频令牌的能力。

二、研究背景与挑战

尽管大型语言模型（LLMs）在文本理解方面表现出色，但多模态大型语言模型（MLLMs）在处理长达数小时的视频理解时仍面临困难。现有方法在处理超过三分钟的长视频时存在显著挑战，包括内存成本高和超出LLMs的固有限制。虽然已有压缩模块可减少视觉编码器生成的令牌数量，但压缩令牌的质量无法直接评估，且现有方法通常采用固定压缩比，忽略了不同视频间的信息强度差异。

三、研究方法

（一）ReCoT模块

ReCoT模块旨在通过自监督学习生成全面且紧凑的视频令牌。它包含以下两个关键组件：

1. 动态令牌合成器（DTS）

DTS通过学习视频中动态运动，增强令牌间关系，将SigLIP输出的四帧令牌合并为一帧的令牌。它采用轻量级时空注意块和3D卷积层，通过不平衡的编码器-解码器架构重建SigLIP输出的令牌。

2. 语义引导掩蔽（SGM）

SGM通过考虑帧内信息密度和帧间时空重要性，自适应地掩蔽冗余特征。它使用可学习的Temp Query和Spatio Query，分别与前一帧的令牌和当前帧令牌的语义平均值相乘，计算注意力分数，从而确定最终令牌分数，指导模型在训练中聚焦关键区域。

（二）MLLM训练

Video-XL-Pro的MLLM训练阶段包含三个主要模块：LLM骨干网络、视觉编码器和跨模态投影器。它采用Qwen-2.5作为LLM，利用预训练的视觉编码器（SigLIP和DTS）生成全面且紧凑的视觉令牌，并通过两层MLP对齐视觉编码器和LLM。此外，还设计了基于检索增强生成（RAG）框架的查询感知选择器，用于选择与查询相关的视觉令牌，并提出视频数据集修剪策略，提高训练效率。

四、实验与结果

（一）实验设置

实验使用大规模图像文本和视频文本数据集进行预训练，包括LLaVA-OneVision、LAION-2M、OpenViD、Charades等。在微调阶段，收集了Bunny、Sharegpt-4o和OCR-VQA等数据集。预训练阶段仅训练投影模块，学习率为5e-4；微调阶段训练所有参数，学习率为1e-5，采用余弦学习率调度。所有实验在32×A800-80GB GPU上进行。

（二）主要结果

Video-XL-Pro在多个长视频理解基准测试中表现出色。例如，在MLVU基准测试中，3B参数的Video-XL-Pro在开发集和测试集上的表现均优于现有方法，甚至超过了GPT-4o等知名模型。在Video-MME基准测试中，它在无字幕和有字幕设置下分别实现了60.0%和64.3%的准确率，达到先进水平。此外，Video-XL-Pro在时间定位任务上也表现出色，例如在Charades-STA和V-STaR数据集上取得了优异的性能。

（三）效率分析

Video-XL-Pro显著提高了训练和推理效率。通过ReCoT模块，它将视觉信息压缩了四倍，使训练速度提高了两倍以上，推理速度提高了近三倍，同时性能也得到了提升。

（四）消融研究

消融研究验证了ReCoT模块中DTS和SGM的设计有效性，以及视频数据集修剪策略的有效性。结果表明，DTS显著提高了视觉编码器的性能，即使在四倍压缩情况下，仍优于SigLIP。ReCoT减少了语义冗余，提高了特征粒度，使模型能更有效地进行长期关系推理。SGM增强了DTS中重要的视觉特征，提高了模型的理解能力。视频数据集修剪策略显著提高了数据质量，使模型在较小的训练规模下实现了最先进的性能。

五、结论

论文提出的Video-XL-Pro通过ReCoT模块、视频特定数据集修剪策略和查询感知选择器，显著提高了长视频理解的质量和效率。尽管只有3B参数，它在多个长视频理解基准测试中超越了大多数7B模型，展现了其有效性。

六、核心技术汇总表