1. 项目概述：从CVPR竞赛看智能体驱动的视频理解新范式

刚结束的CVPR 2026 CASTLE挑战赛，我们团队凭借一套名为“基于分层知识图谱检索的智能体多视角长上下文视频理解”的方案，拿到了季军。这个标题听起来很学术，但内核其实非常务实——它解决的是当前AI在理解超长视频（比如几小时的教学录像、监控片段或完整会议记录）时，普遍存在的“看了后面，忘了前面”以及“难以关联跨镜头信息”的顽疾。简单说，我们想让机器像一位经验丰富的侦探或剪辑师那样，不仅能记住视频里发生的所有事，还能主动挖掘不同片段之间的深层联系，并基于此进行复杂的推理和决策。

传统的视频理解模型，无论是基于CNN+RNN的老架构，还是如今流行的Vision Transformer，在处理长视频时都面临巨大挑战。直接输入所有帧，计算量和内存会爆炸；而均匀采样或分段处理，又会丢失关键的时序信息和长程依赖。CASTLE挑战赛提供的正是这类极端场景的数据集：视频时长从30分钟到数小时不等，包含多个相机视角、复杂的场景切换以及需要结合前后数十分钟信息才能回答的推理问题。这不再是简单的动作识别或物体检测，而是要求模型具备“观看-记忆-关联-推理”的完整认知链条。

我们的核心思路是引入“智能体”和“分层知识图谱”这两个概念。智能体负责主动、有选择地“观看”和“查询”视频，而不是被动地接收所有数据；分层知识图谱则作为智能体的外部记忆和推理蓝图，将视频内容结构化地存储为不同粒度的知识单元。这套方法本质上是一种“计算资源优化分配”和“信息结构化索引”的结合，让模型把有限的注意力精准地用在刀刃上。接下来，我会详细拆解我们是如何设计并实现这套系统的，其中包含大量在论文和代码中不会提及的工程权衡与调参血泪史。

2. 核心架构设计：智能体与分层知识图谱如何协同工作

整个系统的架构可以比喻为一个配备了一位超级助理（智能体）和一座结构清晰的图书馆（分层知识图谱）的调查员。调查员的任务是看完一部长电影后回答一系列深度问题。超级助理不会让他从头到尾傻看，而是会根据问题，快速翻阅图书馆的目录、章节摘要和关键页笔记，引导他只精读相关的片段。

2.1 智能体模块的设计哲学与实现

智能体是我们系统的“大脑”和“决策中心”。它的设计目标很明确： 以任务为驱动，动态决定看什么、什么时候看、以及怎么看 。我们摒弃了让模型一次性处理所有视频帧的“蛮力”方法，而是设计了一个基于强化学习范式的决策循环。

智能体的基本工作流如下：

1. 状态感知 ：智能体维护一个当前的状态，包括已解析的视频片段摘要、知识图谱的当前查询结果、待解决问题的进展以及历史决策记录。
2. 动作空间 ：在每个决策步，智能体可以选择多种动作：
   • 检索 ：向知识图谱发出一个查询，例如“查找所有出现人物A和物体B的片段”。
   • 精读 ：对知识图谱返回的某个特定视频片段进行高分辨率、帧级别的详细分析。
   • 跳转 ：基于当前理解，将注意力转移到视频的其他时间点或其他相机视角。
   • 推理/回答 ：当认为信息足够时，生成对当前子问题的答案或中间推理结果。
3. 奖励函数 ：这是训练智能体的关键。我们设计了多级奖励：
   • 最终奖励 ：最终答案的准确性。
   • 中间奖励 ：关键子问题被正确回答、检索到的片段与问题的高相关性（通过人工标注或预训练模型打分）。
   • 效率惩罚 ：对不必要的“精读”或“跳转”动作施加轻微负奖励，鼓励高效探索。

实操心得：智能体动作空间的设计不能太复杂。 初期我们设计了过于细粒度的动作（如“将镜头拉近”、“调整播放速度”），导致智能体难以收敛。最终简化为上述四个核心动作，大大提升了训练稳定性。奖励函数的权重调整是另一个“玄学”环节，我们花了大量时间进行AB测试，发现“最终答案准确性”的权重不宜过高，否则智能体容易陷入局部最优，不敢进行探索性检索。

2.2 分层知识图谱的构建与索引机制

知识图谱是系统的“记忆库”。所谓“分层”，是指我们按照不同的语义粒度，将视频内容组织成三层结构：

• 第一层：实体与关系层（最细粒度） 。这一层通过目标检测、动作识别、场景分割、语音识别（如果视频有音轨）等基础模型，从视频帧中提取原子化的信息。例如，“人物A在时间点T1走进房间B”、“物体C在时间点T2被人物A拿起”。这些三元组（头实体，关系，尾实体）构成了知识图谱的基石。
• 第二层：事件片段层（中等粒度） 。我们使用时序动作检测或场景分割算法，将视频切分成有意义的段落，如“对话场景”、“搬运过程”、“冲突发生”。每个事件片段会关联第一层中属于该时间段的所有实体和关系，并生成一个稠密的语义嵌入向量作为该片段的摘要。
• 第三层：叙事图层（最粗粒度） 。这一层试图构建整个视频的宏观叙事结构。我们利用图神经网络对第二层的事件片段进行聚类和关联，识别出故事线、子情节。例如，将“准备工具”、“实施操作”、“清理现场”几个事件片段关联成一个完整的“任务执行”叙事链。

索引与检索机制 ： 为支持智能体的快速查询，我们为每一层都建立了向量索引（例如使用FAISS）。当智能体发出一个自然语言查询（如“找到人物A情绪变化的时刻”），查询会被编码成向量，然后：

1. 首先在第三层（叙事层）进行粗检索，定位可能相关的叙事链。
2. 接着在相关叙事链下的第二层（事件层）进行精检索，找出具体的事件片段。
3. 最后，如果需要，可以下钻到第一层，获取该事件片段内所有细粒度的实体和关系。

注意事项：基础模型的质量直接决定知识图谱的“地基”是否牢固。 我们最初使用通用的开源检测和识别模型，发现在特定领域（如医疗手术视频）表现很差，导致上层推理全是空中楼阁。解决方案是 用挑战赛提供的数据对基础模型进行微调 ，哪怕只是少量数据的微调，对最终效果的提升也是巨大的。另一个坑是 时序对齐 ，不同模型处理速度不同，确保所有提取的实体和关系在时间轴上精确对齐，需要精细的时序同步处理，否则会出现“张冠李戴”的严重错误。

3. 核心实现细节：从视频输入到答案输出的完整流水线

这一部分，我将拆解从原始视频输入，到最终输出答案的每一个核心步骤、使用的具体工具和参数选择。

3.1 阶段一：离线知识图谱构建

这个阶段在视频输入后、智能体启动前完成，是后续所有实时操作的基础。

步骤1：视频预处理与均匀关键帧采样

• 操作 ：使用FFmpeg，以每秒1帧（1 FPS）的速率进行均匀采样。对于数小时的视频，这能将其从数十万帧减少到数千帧，在保留足够信息的前提下大幅降低负载。
• 参数考量 ：为什么是1 FPS？我们做了实验，对比0.5 FPS、1 FPS、2 FPS。0.5 FPS会丢失快速动作，2 FPS则使后续处理成本翻倍且收益增加不明显。1 FPS在CASTLE数据集上取得了最佳性价比。
• 命令示例 ：

  ffmpeg -i input_video.mp4 -vf "fps=1" -q:v 2 keyframes/frame_%06d.jpg
  

步骤2：细粒度信息提取（构建第一层）

• 目标检测 ：使用DETA或GLIP这类开放词汇检测模型，不仅能检测常规物体，还能根据文本提示检测数据集中特定的物体类别。我们使用GLIP-Large模型，输入分辨率设置为800x1333。
• 动作识别与场景分类 ：使用VideoMAE或TimeSformer预训练模型，对短片段（如16帧）进行分类，标签集融合了Kinetics、Something-Something等大型数据集，并针对挑战赛数据进行了扩展。
• 语音转文本 ：若视频包含音频，使用Whisper-large模型进行转录，并将文本按时间戳与视频帧对齐。
• 实体与关系抽取 ：将检测到的物体、识别出的动作和转录的文本，输入到一个基于BERT的关系联合抽取模型中，输出结构化的 (实体，关系，实体) 三元组，并附带时间戳。

步骤3：事件片段分割与摘要（构建第二层）

• 操作 ：我们采用无监督的时序变化点检测算法（如Kernel Change Point Detection）结合视觉特征（来自VideoMAE的CLS token），自动将视频切分成语义相对一致的段落。
• 摘要生成 ：对每个事件片段的所有帧特征进行平均池化，得到一个片段级特征向量。同时，将该片段内所有的实体、关系三元组和ASR文本，输入给一个文本摘要模型（如BART），生成一段简短的文本描述（如“两人在办公室讨论图纸，其中一人指向屏幕”）。这个文本描述也会被编码成向量，与视觉特征向量拼接，共同作为该事件片段的表征。

步骤4：叙事图构建（构建第三层）

• 操作 ：将第二层所有事件片段的特征向量，构建一个全连接图，节点是事件片段，边的初始权重是片段特征向量的余弦相似度。
• 使用图卷积网络（GCN） ：在这个图上运行2-3层GCN，让节点（事件片段）聚合邻居信息。经过GCN平滑后的节点特征，更能反映其在全局叙事中的角色。
• 叙事链发现 ：对GCN输出的节点特征进行聚类（如DBSCAN），同一簇内的事件片段被认为属于同一个叙事主题或子情节。然后，按照时间顺序，将同一簇内的事件片段连接起来，形成叙事链。

3.2 阶段二：在线智能体推理

离线构建完成后，当一个新的查询问题（Query）到来时，在线推理启动。

步骤1：问题解析与初始化

• 使用一个文本编码器（我们选用了Flan-T5-large）将用户问题编码成向量 Q_vec 。
• 智能体初始状态设置为：已知问题 Q_vec ，知识图谱指针位于根节点，历史动作为空。

步骤2：决策循环

• 智能体模型（一个基于Transformer的小型策略网络）接收当前状态，输出一个动作概率分布。
• 我们采用 带基线的策略梯度方法 进行训练。在推理时，选择概率最高的动作执行。
• 动作执行示例 ：
  • 若动作是 检索(”人物A和物体B同时出现的场景“) ，则将 Q_vec 与知识图谱各层索引进行相似度计算，返回Top-K个相关节点（可能是叙事链、事件片段或实体）。
  • 若动作是 精读(事件片段ID) ，则加载该片段对应的所有原始帧和细粒度三元组，用一个大视觉语言模型（如InternVL）进行深度理解，生成更丰富的描述。
• 执行动作后，环境（即知识图谱和问题状态）更新，智能体进入下一个决策步。

步骤3：终止与答案生成

• 当智能体选择 推理/回答 动作，或达到最大步数（我们设为20步）时，循环终止。
• 此时，智能体已经收集了一系列相关的证据片段和中间推理。我们将所有这些信息（包括片段文本摘要、精读描述、实体关系）与原始问题一起，输入到一个强大的生成式视觉语言模型（我们使用了GPT-4V的API，但在最终提交版本中训练了一个较小的VLM作为替代），让它综合所有信息，生成最终的自然语言答案。

踩坑实录：在线推理的速度瓶颈。 最初的版本，每次 精读 动作都需要调用巨大的VLM，导致单次推理耗时长达几十秒。优化方案是：1）对需要精读的片段， 预先 用VLM生成好详细描述，存入知识图谱的缓存中，在线时直接读取；2）将策略网络做得非常轻量（只有几百万参数），确保决策本身不耗时。最终将平均响应时间控制在5秒以内。

4. 方案优势分析与挑战赛中的实战表现

我们的方案在CASTLE挑战赛中，面对来自全球顶尖实验室的众多方案，能脱颖而出拿到季军，主要得益于以下几个方面的优势：

1. 卓越的长上下文处理能力 传统的端到端模型，即使使用稀疏注意力或记忆机制，其有效上下文长度通常也有上限（如1K或2K个token/帧）。我们的方法通过分层知识图谱，将长视频压缩成结构化的摘要信息。智能体无需“记住”每一帧，只需学会高效“查阅”图谱。这使得我们理论上可以处理任意长度的视频，只要离线构建过程能够完成。

2. 强大的多跳推理与信息关联能力 挑战赛的许多问题需要多跳推理，例如“人物A在离开房间后，去了哪里？他拿走的那个工具最后被谁使用了？”。

• 传统方法 ：可能难以关联“离开房间”和“使用工具”这两个在时间上相隔甚远的事件。
• 我们的方法 ：智能体可以执行一系列动作：先检索“人物A离开房间”的事件，从该事件中解析出“拿走工具X”；再以“工具X”为线索，检索后续所有涉及“工具X”的事件；最后精读这些事件，找到“被谁使用”的信息。知识图谱的实体链接功能，让这种跨时空的关联变得直接。

3. 计算效率高，资源分配合理 将计算密集型的基础模型分析（目标检测、动作识别等）放在离线阶段，可以充分利用后台算力，无需实时响应。在线阶段，轻量级的智能体决策和高效的向量检索，对计算资源要求很低。这种“离线重载，在线轻量”的模式，非常适合于实际部署。

4. 可解释性强 智能体的每一步决策（检索什么、精读哪里）都是可追溯的。最终答案生成时，我们还可以要求VLM模型引用其依据的知识图谱节点ID。这为我们分析模型错误、理解其推理路径提供了极大便利，不再是黑箱。

在比赛中的具体表现与调优 ： 在测试集上，我们的方案在“时序推理”、“多视角关联”、“长程依赖理解”这几个子任务上得分显著高于基线模型。然而，在“细粒度属性识别”（如“衬衫是什么颜色”）任务上初期表现不佳。原因是我们的第一层知识图谱在提取属性时不够精细。

• 解决方案 ：我们增加了专门的属性提取模块，在目标检测后，对每个检测框内的物体，再用一个图像分类网络（针对颜色、材质等属性微调）进行二次分析，并将属性作为实体的附加字段存入知识图谱。这一改进让该子任务的得分提升了约15%。

5. 常见问题、调试技巧与未来展望

在实际开发和比赛调试中，我们遇到了无数问题，以下是几个最具代表性的及其解决思路。

问题一：智能体陷入无效循环，反复执行相同动作。

• 现象 ：在训练时，智能体可能学会一直执行“跳转”或反复检索同一个无关片段，而不去尝试回答。
• 排查与解决 ：
  1. 检查奖励函数 ：可能是中间奖励设置不当，让智能体发现了一种“刷分”的漏洞。我们增加了对重复动作的惩罚，并提高了“回答问题”这个最终动作的潜在收益。
  2. 增加探索噪声 ：在训练初期，在策略网络输出动作时加入更多的随机性（如更高的熵正则化系数），鼓励探索。
  3. 课程学习 ：先从短的、简单的视频-问题对开始训练，逐步过渡到长的、复杂的，让智能体循序渐进地学习策略。

问题二：知识图谱检索精度高，但召回率低，导致智能体找不到关键证据。

• 现象 ：对于某些问题，人工可以明显在视频中找到答案，但智能体检索不到相关片段。
• 排查与解决 ：
  1. 索引粒度问题 ：事件片段分割可能不合理，把关键信息切分到了两个片段。我们调整了变化点检测的灵敏度参数，并尝试了多种分割算法，最终采用了一种多尺度融合的方法，同时生成粗、细两种粒度的事件片段，都建立索引。
  2. 特征表征问题 ：事件片段的向量表征不够好。我们尝试将视觉特征、文本摘要特征、以及实体关系图的图嵌入特征进行多模态融合，生成更强大的片段表征向量，显著提升了检索召回率。
  3. 查询扩展 ：对原始问题，使用大语言模型生成几个相关的、不同表述的查询语句，同时进行检索，然后取结果并集。

问题三：最终答案生成模型“胡言乱语”，不忠实于检索到的证据。

• 现象 ：智能体找到了正确的证据片段，但VLM在生成答案时，忽略了部分证据或引入了幻觉。
• 排查与解决 ：
  1. 改进提示词工程 ：在给VLM的提示中，明确指令“必须且仅能依据以下提供的信息回答问题”，并将证据片段以清晰编号的列表形式给出。
  2. 采用检索增强生成框架 ：我们换用了类似RAG的架构，将证据片段作为上下文，与问题一起输入。并训练了一个小的“忠实度判别器”，对生成的答案进行评分，过滤掉与证据严重不符的答案。
  3. 证据重排序 ：不是简单地将所有检索到的证据扔给VLM，而是让一个轻量级的相关性评分模型对证据进行重排序，将最相关的放在上下文的最前面。

关于未来改进的个人思考 ： 这次项目让我深刻体会到， “结构化”和“决策” 是处理超长视频理解的两把钥匙。下一步，我认为有几个方向值得深入：

1. 知识图谱的动态更新 ：目前图谱是离线静态构建的。能否让智能体在推理过程中，发现新的重要关联，并实时更新图谱？这需要一套在线增量构建图谱的机制。
2. 多智能体协作 ：是否可以设计多个具有不同专长的智能体（一个擅长定位，一个擅长关系推理，一个擅长时序分析），让它们通过通信协作来解决更复杂的问题？
3. 与端到端模型的结合 ：我们的方法模块多，流程长。未来或许可以探索用端到端的方式，隐式地学习类似“检索-精读”的策略，同时保持可解释性。比如，基于Transformer的模型能否通过特殊的注意力机制，学会“跳读”和“回看”？

这套系统虽然是为竞赛设计，但其思想—— 用结构化的外部记忆（知识图谱）来扩展模型的上下文能力，用任务驱动的智能体来动态分配注意力 ——对于任何需要处理长序列、进行复杂推理的AI任务（如长文档理解、多轮对话、代码仓库分析）都有广泛的借鉴意义。它本质上是在探索如何让AI更高效、更可控地运用其计算资源，这或许是通向更通用人工智能的一条务实路径。