VideoARM: Agentic Reasoning over Hierarchical Memory for Long-Form Video Understanding

一、Motivation

长视频理解（如电影、纪录片、会议录像等）是多模态智能的关键挑战。这类视频在时间维度上高度延展，包含密集的多模态线索，需要模型既能捕捉细粒度时空细节，又能进行跨时间的长程依赖推理。

现有方法存在两类主要局限：

（1）手工设计的推理流水线。 以LLoVi和VideoTree为代表，它们将视频分帧生成文本描述后送入LLM推理。VideoTree虽然引入了层级树结构来组织视频表示，但其推理流程（聚类→打分→建树→选叶节点→送LLM）仍然是预定义的固定管线，无法充分发挥强LLM/MLLM自身的自主推理能力。

（2）Token消耗过大的预处理方式。 以DVD为代表，它将视频切分为10秒的clip，对每个clip用MLLM进行captioning和embedding提取来构建数据库。对于一个30分钟的视频，仅视觉token就至少消耗398万。这种"先穷举再检索"的范式引入了大量与查询无关的冗余信息，同时预构建的数据库在推理过程中无法动态更新。

VideoARM的核心出发点是：能否让Agent在推理过程中按需、自适应地观察视频，而不是事先穷举地处理所有内容？

---

二、Related Work

论文从三个维度梳理了相关工作：

2.1 Video MLLMs

• 上下文扩展方法： 通过扩大上下文窗口处理长视频，但面临冗余帧信息和高计算成本的问题。
• Token压缩方法： 动态压缩冗余视觉token以保留关键特征，但压缩可能导致细粒度信息丢失。
• 音频融合方法： 集成专用音频编码器增强多模态推理，但增加了模型复杂度和训练成本。

2.2 Video Agent

• 手工策略型（VideoTree, LLoVi, MA-LMM等）： 将MLLM作为检索或推理组件，依赖预定义策略来识别关键帧或维护固定记忆结构。受限于预定义配置，限制了LLM的自主推理和适应能力。
• 智能体搜索型（DVD, LVAgent等）： 构建clip级别数据库，agent动态与之交互。DVD引入ReAct风格agent进行clip级推理，但仍受限于token密集的流水线和对预构建数据库的依赖。

VideoARM将自己定位为：用自适应的on-the-fly推理替代静态穷举预处理，同时动态存储上下文信号到层级记忆中。

---

三、Method

3.1 整体框架

VideoARM的核心设计理念是一个迭代的观察-思考-行动-记忆（observe-think-act-memorize）循环。框架由两大核心组件构成：

• 层级多模态记忆（HM³）： 作为Agent的上下文知识库，在执行过程中持续更新。
• 粗到细视频推理Agent： 由Controller自适应调度工具调用，引导跨时间维度的决策。

3.2 层级多模态记忆（HM³）

HM³按语义层级组织为三层，体现了从感知到认知的递进过程：

记忆层级	内容	特点
感知记忆（Sensory Memory）	长期感知池 $P_l$（当前处理区间的帧快照）+ 短期感知池 $P_s$（局部探索时的细粒度clip）	$P_l$ 是轻量volatile缓冲，$P_s$ 在分析完成后清空
结果记忆（Result Memory）	迭代索引、已分析的帧区间、对应工具输出	时序有序记录，帮助Controller反思过去步骤，避免冗余动作
工作记忆（Working Memory）	Controller的推理轨迹和意图	外化中间推理过程，减少模型上下文冗余，缓解上下文溢出

设计要点在于：每次工具调用后，工具相关的上下文被清除，推理轨迹则持久化到Working Memory中。这避免了随着推理步骤增多导致的上下文膨胀。

3.3 粗到细视频推理Agent

3.3.1 多模态工具集

工具集分为两组，实现从全局到局部的渐进式搜索和证据提炼：

时间定位工具（Temporal Scoping Tools）：

工具	功能	关键特点
Interval Localizer	识别与query最相关的帧区间 $T_{long}$，自适应确定采样帧数 $N_1$，采用3×2图像网格拼接	会更新长期感知池，缩小Agent关注范围
Clip Explorer	在聚焦区间附近进行细粒度探测 $T_{local}$，同时存储音频片段	不改变长期感知池，仅填充短期感知池

多模态理解工具（Multimodal Understanding Tools）：

工具	输入	输出	作用
Scene Snapper	长期感知池 $P_l$ 中的帧	场景caption $V_C$	长时序段的高层语义摘要
Audio Transcriber	短期感知池 $P_s$ 中的音频段	转录文本 $A_C$	补充视觉信号不足的场景
Clip Analyzer	短期感知池 $P_s$ 中的帧 + 子问题 $Q_{sub}$	答案 $A_{sub}$ + 置信度 $S_{sub}$	细粒度局部语义分析和验证

两类工具存在对应关系：每个多模态理解工具都有其对应的时间定位工具来确定分析范围。

3.3.2 Controller

Controller的设计原则是避免刚性工作流和预定义规则，最大化利用MLLM自身的推理和规划能力。其运行方式类似ReAct，但以HM³作为持久化的层级记忆来接地。

迭代推理循环的具体流程：

1. Observe： 读取HM³中的全局到局部的上下文信息。
2. Think： 生成推理计划 $R_t$，判断缺少什么证据、哪种模态最具信息量。
3. Act： 选择一个工具并执行，参数为 $P_t$。
4. Memorize： 将工具输出 $O_t$ 写入Result Memory，推理轨迹 $R_t$ 写入Working Memory。

终止条件：Controller选择Answer动作，或达到步骤预算 $N$（默认为10）。

形式化表示：

$$(A_t,P_t)\sim {\pi }_{\theta }(\cdot |R_t,M^{(t)}),A_t\in \mathcal{A}$$

$$M_s^{(t)}=T_t(M^{(t)},Info),O_t=A_t(P_t;M_s^{(t)}),M^{(t+1)}=M^{(t)}\cup (R_t,O_t)$$

---

四、Experiments

4.1 实验设置

Benchmarks：

• Video-MME： 900个视频，共254小时，2700个QA对，视频时长11秒到1小时。
• LongVideoBench： 6678个问题，3763个视频，重点关注长子集（900s-3600s）。
• EgoSchema： 5031个人类策划的QA对，每个对应一个3分钟的第一人称视频。
• MLVU 和 LVBench：补充评测。

实现细节：

• Controller + Temporal Scoping Tools： OpenAI o3
• Scene Snapper + Clip Analyzer： GPT-4.1（消融实验默认）或 GPT-4o
• Audio Transcriber： whisper-1
• Interval Localizer采样帧数 $N_1$ 范围30-150，帧短边resize到256
• Clip Explorer帧短边resize到512，音频段限制25MB
• 步骤预算 $N=10$

4.2 主要结果（Table 1）

VideoARM在所有评测基准上均取得了最优或接近最优的性能：

方法	Video-MME (long)	LongVideoBench (long)	EgoSchema
GPT-4o（直接推理）	65.3	60.9	72.2
OpenAI o3（直接推理）	63.2	60.6	63.2
VideoTree	54.2	-	67.0
DVD	67.3	68.6	76.6
VideoARM (o3+GPT-4.1)	75.3	69.2	78.2
VideoARM (o3+GPT-4o)	81.2	76.4	76.2

4.3 消融实验

模型选择（Table 2）： Controller使用o3 vs GPT-4o差异巨大（76.5% vs 40.5%），表明强推理模型对框架至关重要。

工具组合（Table 3）： 三个多模态理解工具都有正面贡献，Scene Snapper增益最大（+7.5%），说明全局摘要对下游推理的引导作用关键。

HM³各层的贡献（Table 4）： 移除长期感知池导致最大降幅（-9.5%），证明缩小关注范围对定位的重要性。移除Result Memory直接导致Agent无法正常运作。

步骤预算（Table 5）： 对长视频，增大N带来稳定提升；对短视频，过多步骤反而有少量冗余。

4.4 Token效率分析（Table 7）

方法	理论估计（30min视频，1个query）	实验值（Video-MME，10视频30个query）
DVD	3.98M	64.21M
VideoARM	0.08M（DVD的1/50）	1.89M（DVD的1/34）

VideoARM通过按需推理而非穷举预处理，将token消耗降低了1-2个数量级。

---

五、Conclusion

VideoARM提出了一种粗到细的视频推理范式，核心是层级多模态记忆（HM³）与自适应智能体推理的结合。通过工具集和HM³的协作，Agent在"观察-思考-行动-记忆"循环中渐进式地定位、解读和抽象证据，在主流长视频理解基准上取得了SOTA性能，同时大幅降低了token消耗。

论文承认的局限性包括：（1）对初始采样质量有依赖，若关键瞬间被遗漏可能无法恢复；（2）目前强依赖闭源模型，换用开源模型后性能下降明显。

---

六、个人思考

6.1 方法层面的亮点

HM³的三层记忆设计是这篇论文最有价值的贡献。 将Agent的记忆按"感知→结果→认知"分层，并且短期感知池在使用后清空、Controller上下文在每次调用后刷新的设计，巧妙地解决了长程推理中上下文膨胀的问题。这种"外化记忆+刷新上下文"的思路值得在其他长序列推理任务中借鉴。

Temporal Scoping Tools中Interval Localizer与Clip Explorer的分工也很精妙： 前者改变全局关注范围，后者在当前范围内做局部试探，这避免了贸然缩小范围导致的信息丢失。

6.2 实验公平性：一个值得重视的问题

这篇论文的实验设置存在较为明显的公平性问题，需要读者批判性地审视：

Backbone差异巨大。 我检索了Table 1中各对比方法的实际使用模型：

方法	LLM/Controller	视觉工具/Captioner
VideoTree (2024)	GPT-4 (v1106)	LaViLa / CogAgent / LLaVA-1.6-7B
LLoVi (2024)	GPT-3.5 / GPT-4	BLIP-2 / LaViLa / LLaVA
VideoAgent (Wang, 2024)	GPT-4	OpenCLIP ViT-G + CogAgent / LaViLa
VideoAgent (Fan, 2024)	GPT-4	Video-LLaVA + 开源视觉模型
DVD (2025)	OpenAI o3	GPT-4.1 + OpenAI o3
VideoARM (本文)	OpenAI o3	GPT-4.1 / GPT-4o

可以明确看出，VideoTree、LLoVi、VideoAgent等方法使用的是GPT-4（2023年版本）搭配开源captioner，而VideoARM使用的是OpenAI o3（专门优化过推理能力的最新模型）搭配GPT-4.1/4o。这之间存在至少一到两代的模型能力差距。

论文自己的消融已经暴露了这一点。 Table 2显示，将Controller从o3换成GPT-4o，Video-MME (long)从76.5%暴跌到40.5%。这意味着性能优势很大程度上来自backbone的推理能力，而非方法设计。如果VideoTree或VideoAgent也用o3作为backbone，差距很可能大幅缩小。

与DVD的对比是最有说服力的： 两者使用了相同的o3+GPT-4.1组合，在这个前提下VideoARM仍然胜出，并且token消耗更低，这才是真正能归因于方法设计的提升。