点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【顶会/顶刊】投稿交流群

添加微信号：CVer2233，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

01 背景

当今人工智能领域中，多模态长视频理解和推理已成为研究热点。当前，推理能力已经成为衡量多模态大模型重要指标，然而现有视频理解评测基准通常集中在短视频语义分析和长视频问答领域，缺乏对视频大模型实际线索推理能力的深入评估。

由于多选题评测方法的局限性以及最新多模态大语言模型(MLLMs)的高级推理能力，模型可以在不真正理解内容的情况下，通过组合短视频片段信息与简单排除法来得出正确答案，导致评测结果存在"虚高"现象，无法真实反映模型的推理能力。这种评估方式无法区分模型是真正理解了视频内容还是仅依靠表面特征和排除法得出答案，极大限制了人们对模型真实能力的认知。

特别是在长视频场景下，理解能力的评估变得更加复杂。视频中的关键信息可能分散在不同时间点，模型需要整合跨时间段的线索才能正确回答问题。现有评估方法通常只关注最终答案的正确性，忽视了模型是否真正定位并利用了视频中的关键线索，这使得评估结果难以反映模型的实际理解深度和推理能力。

02 方法    

为解决这一关键挑战，南京大学、上海人工智能实验室等机构的研究团队提出了发表在ICLR 2025会议上的一个线索推理驱动的长视频理解评测新标杆——CG-Bench，这是一个专为长视频设计的基于线索的问答推理评测基准。CG-Bench不仅评估模型回答问题的准确性，更强调模型必须检索和依赖视频中的相关线索进行推理，从根本上提升了评估的可信度。

CG-Bench构建了完整的基于线索的推理评测体系，包括：

1线索-问题-答案三元组标注：每个问题都与视频中的具体线索片段精确关联，确保评测的可靠性和对齐度。这些线索片段平均长度为19.24秒，涵盖视频中对回答问题至关重要的视觉和语音信息。标注过程经过严格的人工审核和多轮质量检查，确保标注准确性。

多层次推理能力评估：

感知型问题：细分为13个子类，包括物体识别、属性识别、空间关系、文本识别等基础视觉能力

推理型问题：细分为14个子类，包括关系推理等高级认知任务，要求模型进行跨时间段的内容关联

幻觉检测问题：评估模型在不确定情况下的鲁棒性，测试模型是否会产生无依据的推测

双重评估机制：

白盒评估(White-Box)：要求模型明确输出能够回答问题的视频线索时间区间，使用时序交并比(IoU)进行评分，直接测量模型定位关键线索的精确度    

黑盒评估(Black-Box)：通过Clue Recovery Rate (CRR)指标，评估模型从长视频中准确检索短线索的能力，测试模型处理长视频上下文稀释问题的能力

开放式问答：评测不仅采用多选题形式，还包含开放式问答，使其更贴近实际应用场景。此外，团队创新性地提出了一种结合人工标注线索与启发式方法的评估方式，为开放式回答提供了更加可靠的评估

数据集规模与多样性方面，CG-Bench包含1,219个精选视频，时长超过10分钟，最长达80分钟，总时长超过33,000分钟。视频按14个主类别、171个二级类别和638个三级类别精细组织，确保内容的广泛覆盖。数据集包含12,129个问答对，每个问答对关联到具体视频线索，平均每个视频有9.95个问答对。此外，CG-Bench还覆盖视觉、字幕和音频等多模态信息，实现全面的多模态推理评估。

03 结果

研究团队对多个主流闭源和开源MLLMs进行了全面评估，结果显示：使用128帧进行长视频多项选择题时，GPT-4o准确率为45.2%，Gemini-1.5 Pro准确率为37.2%，领先开源模型Qwen2-VL-72B准确率达41.3%，表现相对较好。为了对比，研究团队也进行了人类评测实验，发现在完整视频条件下人类准确率可达90.3%，而在仅观看128帧样本的条件下，人类准确率为59.9%，表明当前最先进模型与人类能力仍有差距。    

然而，当要求模型不仅正确回答问题，还要准确定位相关线索时，所有模型表现显著下降：

• GPT-4o的acc@IoU（回答正确且IoU大于0）仅为4.38%，远低于其多项选择题准确率

• 在白盒评估中，即使最先进的GPT-4o在定位线索的mIoU指标上也仅达到5.62%，显示出精确定位线索的难度

• 开源模型的表现更弱，表明当前模型在线索检索和基于线索的推理方面仍存在巨大挑战

• 在开放式问答评估中，最佳模型GPT-4o的正确率仅为39.5%，证明长视频开放式回答仍是一个亟待解决的难题

研究还分析了不同影响因素，包括视频长度、帧数抽样策略和多模态信息的影响。结果表明，随着视频长度增加，模型性能下降；增加帧数抽样可以提高性能，但收益递减；字幕等辅助信息对提升性能有积极作用，但视觉线索仍是最关键的。    

这些研究结果表明，虽然当前模型在简单的多选题任务上表现不错，但在真正需要基于视频内容进行推理的任务上，仍然存在显著差距。特别是在需要模型精确定位线索并基于线索进行推理的场景下，所有模型都面临严峻挑战。这些发现为未来研究指明了方向：1) 提升模型的线索检索能力；2) 增强基于检索线索的推理能力；3) 改进长视频信息整合机制；4) 发展更可靠的开放式视频问答能力。

CG-Bench的推出标志着通用视频理解评测进入了以"基于线索的推理"为核心的新时代，为评估和改进多模态大模型的真实推理能力提供了可靠工具。未来，基于这一基准的研究有望推动AI系统在视频内容理解与推理方面取得实质性突破，为智能体在复杂视觉场景中提供可靠决策制定基础。所有注释和视频数据在项目网站(https://cg-bench.github.io/leaderboard/)公开分享，鼓励全球研究者参与基于线索的视频推理研究。

何恺明在MIT授课的课件PPT下载
在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！
CVPR 2025 论文和代码下载
在CVer公众号后台回复：CVPR2025，即可下载CVPR 2025论文和代码开源的论文合集
ECCV 2024 论文和代码下载
在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集
CV垂直方向和论文投稿交流群成立
扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者论文投稿+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer2233，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！

▲扫码加入星球学习
▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看