之前做视频检索的时候，我一直被一个问题卡住：用户输入一段文本查询，要求从视频库里找“相关”视频，但很多长视频只是部分相关。比如查询是“一个人在做蛋炒饭”，视频前两分钟在切菜，第三分钟才是炒饭，后面又切到了别的场景——全局匹配很容易被无关长尾带偏。这个问题在业内有个正式名字：Partially Relevant Video Retrieval，也就是部分相关视频检索。今天想聊的这篇工作，标题很有意思：Concentrate After Imagination: Text-Conditioned Evidence Grounding for Partially Relevant Video Retrieval。它把“在想象之后再聚焦”这个思路用到了视频检索里，核心是让模型先根据文本查询去“脑补”视频片段中可能出现的内容，再把这些想象中的证据凝练成片段级相关性的判断依据。

这项工作适合正在做多模态检索、视频理解、或相关跨模态任务的人参考。无论你是刚入门的研究生，还是已经在工程里被长视频匹配问题折磨过的工程师，它提供的“文本条件证据接地”思路都有很高的迁移价值。下面我从问题定义开始，把方法拆开讲，再补充我复现时的一些实际经验。

1. 这个任务在解决什么：从全量检索到部分相关视频检索

1.1 传统视频检索的假设为什么不够用

传统文本-视频检索的设置，通常假设一个视频整体上都和查询相关。训练时，模型把整个视频编码成一个全局向量，查询也编码成一个向量，然后拉近匹配对的距离、推开不匹配对的距离。这种全局匹配方案在短视频、单场景视频上表现尚可，因为视频内部内容一致，全局特征确实能代表核心语义。

可一旦视频变成“长视频”“粗剪视频”“未整理录像”，情况就完全不同了。一段十分钟的Vlog里可能既有早餐、又有通勤、还有办公场景，查询“地铁上的通勤画面”只对应其中几十秒。如果拿全局特征去做匹配，视频向量会被大量无关内容稀释，查询向量和它算相似度时，分数很可能和那些完全不相关的视频没有太大区别。于是“部分相关视频检索”（PRVR）这个任务被单独提了出来，目标就是检索那些只有部分片段与查询相关的视频，并且希望模型不仅能判断是否相关，还能指出“哪儿相关”。

这里有一个关键区别需要说明：PRVR 和视频时刻检索（Video Moment Retrieval）不一样。时刻检索是在给定视频内部定位起止时间，任务是回归；PRVR 是在整个视频库中检索视频，任务是匹配，不要求输出精确边界，但模型内部必须有能力找出相关证据，否则匹配分数就是瞎猜。

1.2 PRVR 的输入输出定义和评估难点

PRVR 任务的形式化描述比较简洁：给定一个文本查询和若干个候选视频，每个视频被切分成多个片段（clip），模型需要计算出视频与查询的整体相关分数，然后按分数排序。如果一个视频中存在至少一个片段与查询相关，就把它视为正样本。评估时常用 Recall@K 和 mAP 这类检索指标，同时部分工作也会额外报告片段定位准确率，用于观察模型是否真的找到相关证据。

这个定义看似和全局检索差不多，但难点藏在细节里。第一，训练标签只有视频级相关标注，没有片段级标注，模型要在“只知道这个视频与查询相关，不知道哪里相关”的情况下去学证据定位，这是典型的弱监督问题。第二，同一视频中相关片段可能非常短，在特征层面占比很小，模型容易把相关片段当作噪声。第三，正负样本的边界模糊，有些视频可能只有几帧相关，有些视频则有接近一半内容相关，硬性区分正负样本会带来很大噪声。

我自己刚开始做这个任务时，最直观的感觉是：它不像纯检索，更像“检索 + 定位”的混合体。如果模型没有显式建模证据，只是硬学一个全局匹配，那么在部分相关场景下的表现会非常不稳定。所以，这篇工作把“证据接地（Evidence Grounding）”作为核心模块来设计，是有明确任务动机的。

2. 核心方法拆解：“想象”与“聚焦”两段式设计

2.1 为什么需要“想象”，而不是直接匹配

先回答一个关键问题：为什么要在匹配之前加一个“想象”阶段？

通常的跨模态匹配做法，是直接把视频片段特征和文本特征送入一个联合编码器，或通过点积计算相似度。这种做法的问题在于，视频片段特征来自预训练视觉编码器，文本特征来自预训练文本编码器，两者之间存在模态鸿沟。如果查询是“白色的猫在窗台上”，而视频片段里猫的动作、光线、角度都和查询描述不完全一样，直接特征匹配可能得出很低的相似度，因为视觉编码器提取的特征没有根据文本来主动调整关注区域。

“想象”阶段的本质，是让模型在给定文本语义的前提下，生成一个“目标导向的视觉特征”。我举一个生活化的例子：你在车站找人，手里拿着一张文字描述“穿红色外套、背双肩包、戴眼镜”，你不会直接在整个视野里做全局特征对比，而是先在脑子里构建一个预期形象，再带着这个预期去扫视人群。这个预期形象，就是想象出来的特征；用它去匹配真实人物，比直接用原始文字描述逐个比对像素要高效得多。

在模型层面，这个阶段通常借助交叉注意力（cross-attention）实现。文本 token 作为 query，视觉 token 作为 key/value，让文本从视觉内容中“取回”最相关的信息；同时也可以反过来，让视觉 token 从文本中“取回”语义指导。经过这样双向交互后，每个视频片段都会得到一个“被查询条件化的”特征表示，论文里一般称它为 query-conditioned representation。后续的证据聚焦，并不是作用在原始视频特征上，而是作用在这个经过想象引导的特征空间里。

2.2 文本条件化的证据表征生成

具体来看，文本条件化证据表征包含两个子过程：片段条件化和查询条件化。

第一，视频片段会通过视觉编码器提取出若干 token，每个 token 对应图像块的语义；同时查询文本通过文本编码器得到词级 token。为了对齐两种模态，通常会把视觉 token 和文本 token 输入一组 Transformer 层，其中使用共享的交叉注意力模块进行交互。这样每个视觉 token 不仅包含“我看到了什么”，还包含“在查询意图下，我看到的这些信息是否有价值”。

第二，查询侧同样需要根据视频信息做增强。很多时候文本查询本身存在歧义，比如“苹果”既可能指水果也可能指手机品牌。单个查询 token 在没有视觉上下文时无法消歧，但在和视频片段交互之后，查询表征可以被拉向视频中所呈现的那个语义方向。这种双向条件化让查询和片段在一个更对齐的空间里计算相似度。

我自己的理解是，这一步把“匹配”从单一向量之间的点积，变成了“查询与片段证据之间的语义一致性判断”。论文中做法里还包含一种“想象特征”的生成：以文本 token 为条件，通过线性层或轻量生成头，为每个片段合成一个“该片段中应该出现什么内容”的原型特征，再用这个原型特征与片段真实特征做细粒度对比。这样即使视觉特征有噪声，也能通过想象中的原型特征捕捉到语义核心。

2.3 证据接地模块与 top-K 选择

有了文本条件化的片段特征之后，第二步是“聚焦”，也就是从几十个片段中选出真正与查询相关的证据片段。

最直接的方案是对每个片段计算一个相关分数，再用分数加权聚合所有片段。但这种软加权方案在弱监督条件下容易退化成对所有片段取平均，因为模型找不到明确监督信号来拉开相关与不相关片段的分数差距。于是，很多工作会引入一种更“硬”的机制：从所有片段中选择 top-K 个片段作为证据，只对这些片段做聚合。论文里称之为 evidence grounding，也就是证据接地。

这里需要注意一个工程细节：Top-K 操作存在不可导问题，因为选择操作本身没有梯度。常见解法有两种。第一种是用 Gumbel-Softmax 做软选择，在训练时保持梯度可导，同时通过温度退火慢慢逼近硬选择；第二种是用可微的稀疏注意力机制，比如对片段分数做一个 entropy-regularized 的稀疏分布，让注意力权重自然倾向于少数高分片段。两种方法我都试过，Gumbel-Softmax 收敛更稳，但需要仔细调温度；稀疏注意力实现更简洁，但容易陷入局部最优。

证据接地的核心在于：它本质上是一个弱监督的选择问题。没有片段级标注，模型怎么知道该选哪些片段？答案来自匹配任务的反向传播。如果某个片段被选入证据集，聚合后的视频表征与查询匹配成功，说明这个片段可能相关；如果因为选错了片段导致匹配分数下降，模型就会调整片段评判分数的分布。通过这种“以终为始”的方式，模型逐步学会在不同查询下关注不同片段。

2.4 训练目标和损失函数设计

模型整体训练围绕两个目标展开：一个是视频-文本匹配，另一个是证据定位的一致性约束。

匹配损失通常是对比学习形式。在一个 batch 内，有正样本视频-文本对，也有大量负样本对。对于部分相关视频，匹配标签与证据选择质量息息相关，所以我看到论文以及相关实践中的常用做法，是在标准 InfoNCE 损失上额外引入一个“基于证据的匹配分数”替代原来直接聚合所有片段的分数。也就是说，视频-文本的最终相似度不是所有片段分数的均值，而是证据聚合特征的相似度。

第二个一致性约束，是为了缓解弱监督导致的不确定性。模型会对每个片段输出一个“与查询相关”的预测分数，但训练集只给了视频级标签，没有片段级标签。做法是构造一个软标签：用证据聚合后的匹配分数，对每个片段的原始相关分数做归一化，当作一个伪监督信号。这相当于让模型自己告诉自己，哪些片段更重要。这种自训练式的损失设计需要小心，如果伪标签噪声过大，容易加剧确认偏误，所以通常会设置一个置信度阈值，只对分数差异明显的片段对施加强约束。

最终的损失可写成：

L = L_matching + λ1 * L_evidence + λ2 * L_contrast

其中 L_matching 是视频级匹配损失（比如对称的 InfoNCE），L_evidence 是片段相关分数的监督或自监督损失，L_contrast 是想象特征与真实特征之间的对齐损失。λ 系数一般在 0.1~1.0 之间。我在实验里发现，L_evidence 的权重如果太高，模型会过于激进地把所有片段分数推向极端，反而伤害检索稳定性；权重太低，则证据选择变成摆设。0.3~0.5 是一个比较稳的起点。

3. 从论文到代码：关键实现细节与参数选择

3.1 视频片段化与特征提取配置

在做 PRVR 的数据处理时，第一步是视频切片段。我建议把视频统一按固定长度切分，比如每个片段 4 秒或 8 秒，相邻片段之间设置 1~2 秒的重叠，避免动作正好被切断。切好后，每个片段独立通过视频编码器提取特征。

视觉编码器可以用预训练的 CLIP ViT-B/16 或 ViT-L/14。用 CLIP 的一个额外好处是，它的视觉特征空间和文本特征空间天然对齐，这在处理文本条件化特征时能降低跨模态交互的学习难度。在特定期望中，ViT-B/16 + 文本端的 CLIP 文本编码器，是一个性价比很高的组合。如果显存充足，使用 ViT-L/14 会带来几个点的提升，但训练时间几乎翻倍。

片段特征如何聚合成视频特征，也是需要仔细考虑的地方。如果直接把每个片段的所有视觉 token 拼成长序列，会非常消耗显存。我采用的折中方案是：先在片段内部做一次注意力池化，得到每个片段的 1 个特征向量（或少数几个特征向量），然后把这些片段级特征作为序列输入到“想象模块”。这样，整个视频的 token 数量大约等于片段数，实验负担可控。

一个重要的预处理细节：查询文本的长度。PRVR 查询通常是一句话，建议限制在 32 个 token 以内。超出部分对检索未必有帮助，反而会引入噪声。另一个细节是文本增强，我试过对查询做轻微的同义词替换，虽然提升了少量鲁棒性，但对核心结果没有决定性影响，所以日常复现可以不做。

3.2 模型主干与显存优化

如果把“想象模块”和“证据接地模块”看作两个核心组件，整体模型大致可以拆成四块：

模块	输入	输出	说明
视觉编码器	视频片段	片段特征序列	可冻结，也可微调
文本编码器	查询文本	查询 token 特征	一般冻结，避免过拟合
想象模块	片段特征 + 查询特征	查询条件化片段特征	用交叉注意力实现
证据接地模块	条件化片段特征	证据聚合特征	用 top-K + 注意力池化

显存优化方面，我首先要提醒的是：不要上来就微调视觉编码器。CLIP ViT-B/16 在全量微调时会占用大量显存，而且 PRVR 数据量通常不如预训练语料丰富，微调容易破坏视觉特征的通用性。我建议第一阶段冻结视觉和文本编码器，只训中间交互模块。如果最终结果不理想，再考虑用低学习率微调视觉编码器的最后两层。

此外，gradient checkpointing 几乎是必开的。在训练长视频序列时，视觉编码器前向过程会产生大量中间激活值，不开 checkpointing，哪怕 batch size 为 8 也可能显存溢出。在 PyTorch 中，只需要对编码器模块调用 torch.utils.checkpoint.checkpoint 包装前向函数即可。代价是训练速度下降约 30%，但换来的是能跑更大的 batch。

3.3 损失权重、温度参数与调度策略

对比学习的温度参数 τ 在 PRVR 任务里比普通检索更敏感。原因是部分相关视频的正样本对，实际相似度天然低于全相关视频。如果温度太低，模型会过度惩罚那些“只是部分相关”的正样本，导致训练不稳定；温度太高，又无法有效区分难负样本。我的经验是把 τ 初始化为 0.05，然后根据训练损失曲线微调。如果 loss 出现剧烈震荡，先把 τ 调到 0.1，稳定后再逐步降回去。

证据选择的 top-K 值设定也需要考虑视频特性。假设每个视频切成了 16 个片段，其中相关片段可能只有 2~3 个，K 在 3~5 之间比较合理。如果 K 太小，模型可能错过零散分布的相关证据；K 太大，又会混入无关片段。更精细的做法是做动态 K 选择，即根据每个视频的片段分数分布来自适应确定 K 值，但这个方案实现复杂，我建议先跑通固定 K 的版本，再考虑扩展。

训练策略上，我建议先使用较大的学习率（比如 1e-4 到 3e-4）训练前 10 个 epoch，让模型快速学到基本的片段打分能力；然后切换为较小的学习率（1e-5），冻结部分编码器，专门优化证据聚合模块。这种两阶段训练在弱监督场景下非常有效，它避免了一开始就让两个模块相互耦合导致收敛缓慢。

3.4 评估指标与测试协议

PRVR 的评估需要同时关注检索质量和证据定位质量。检索质量用标准的 R@K 和 mAP 就可以，但要注意 R@K 对 K 非常敏感。在部分相关场景下，R@1 是最有区分度的指标，因为如果模型不能把最相关视频排到第一位，说明证据聚合还不够精准。R@10 通常很快就会升高，不太能反映模型差异。

证据定位质量的评估，可以看片段级 IoU 或者命中率。具体做法是，对测试集中的每个查询，取模型判定的 top-K 证据片段，计算这些片段与人工标注相关区间之间的时间重叠比例。这个指标虽然不直接影响检索排序，但能反映模型是否“走对了路”。如果检索指标还行、定位指标很差，说明模型只是碰巧学到了表面的分布特征，很容易在域外数据上翻车。

最后是负样本构建。PRVR 训练中，负样本不能只随机采样整体不相关的视频。更有效的方式是引入“困难负样本”，即那些与查询有部分语义重合但实际不相关（或相关程度很低）的视频。这样才能逼着模型学会区分细粒度证据。我自己在做负样本采样时，会先拿预训练模型做完一轮粗筛，取那些排序靠前但人工判断为负样本的视频，把它们作为额外的难负样本加入训练。这个操作通常能带来 3~5 个百分点的 R@1 提升。

4. 复现时最容易踩的坑

4.1 数据预处理导致的对齐错位

视频检索最容易被忽略的问题，是片段索引和时间戳错位。很多公开数据集会提供视频的起止时间或片段文件，但不同来源的帧率、编码格式不一样。比如原始视频是 30 fps，有人切片段时按 25 fps 处理，也没有修正时间轴，导致片段与语句标注的时间戳产生了偏移，模型可能一直在学习错误的对齐关系，但训练损失看起来却很正常。

我在一次复现中碰到过更隐蔽的问题：视频抽帧时，OpenCV 默认按 BGR 读取，而预训练模型用的是 RGB 格式。如果忘记转换，特征分布会整体偏移，检索效果从 30% 掉到 10% 以下，而且很难察觉，因为训练 loss 依然可以下降。所以建议在数据预处理流水线里加一步可视化检查，随机抽取几个片段，把抽帧结果和原视频对应时间点对比一下，确保时间戳和通道顺序都正确。

另外，边界样本的处理也很容易踩坑。有些视频片段跨在相关区间和不相关区间的边界上，如果把它硬归为正样本或负样本，都会引入噪声。比较稳妥的做法是在计算片段级相关分数时，把 IoU 处于中间区间的片段当作“soft positive”，让模型自己学习它们的权重。这种平滑过渡比二值标签更符合真实情况。

4.2 证据选择模块的收敛失败

证据选择模块是训练中最容易出问题的地方，症状通常是：证据分数分布非常均匀，所有片段得分都差不多，top-K 选择变成了随机选择。核心原因往往在于 softmax 注意力没有形成稀疏分布。

解决方案有几个方向。第一，重置注意力初始化为更尖锐的分布，即开始时放大片段分数之间的差异；第二，给证据分数加一个 entropy penalty，强制模型输出集中分布；第三，在训练初期使用 Gumbel 噪声，打破对称性，让模型有机会探索不同的组合。

另一个问题是训练早期模型能力不足时，证据选择很容易“锁死”在错误片段上，之后很难纠正。防治方法是采用 curriculum learning：前几个 epoch 让模型用所有片段的平均特征做匹配，等匹配模块学到基础表征后，再逐步引入 top-K 证据接地。这个“先宽后窄”的策略，真的能明显提升最终收敛效果。

4.3 指标对比时的“不公平”陷阱

复现论文时，最让人头疼的往往不是模型跑不出来，而是跑出来了却对不上论文报告的数字。PRVR 这类任务的指标比较格外敏感，因为不同实现细节会带来巨大差异。

视频切片的长度和重叠比例就是一个典型变量。比如 4 秒无重叠 vs 8 秒有 2 秒重叠，R@1 能差 4~5 个点。所以你需要先固定一套评测协议，再对比方法。训练时是否使用困难负样本，也会造成指标虚高或虚低。如果论文里说明了难负样本挖掘策略，你也得做同样设置，否则对比没有意义。

还有一点：很多论文在报告指标时用的是“集成模型”或“多样本测试增强”，但正文写得不清楚。如果你只拿单模型、单尺度特征去复现，指标自然会低一点。这种情况不用焦虑，先把相对趋势对齐——你的 baseline 和你的方法之间差距是不是与论文一致——如果相对趋势一致，说明实现基本正确，绝对数值差异往往来自评测细节。

5. 写在最后：我对这个方向的个人体会

把“想象”和“聚焦”结合到部分相关视频检索任务里，最打动我的一点，是它把认知科学里的“自上而下注意”思路落到了工程可用的框架中。先根据查询在语义层面重建一个期望的视觉状态，再去寻找和这个状态匹配的证据，这使得模型在弱监督条件下仍然具有可解释性——你不仅能知道视频检索到了，还能往回看是哪几个片段支撑了这个判断。

我在实际复现过程中最大的体会是：这种两阶段设计对中间特征质量要求很高。如果“想象”阶段生成的查询条件化特征不够好，后面证据接地再精巧也无力回天。所以如果你也想在这个方向做改进，我建议先重点优化跨模态交互模块，而不是一上来就折腾 top-K 的选择算法。

最后分享一个小技巧：在做证据可视化时，不要只看最高分的片段，也把分数处于边界区域的片段拿出来看。很多时候模型实际学到的东西比你想的更合理，只是它的判断依据和你预设的标注方式不完全一致。理解了这一点，你设计和调试模型的心态都会平和很多。

如果你正在做相关任务，建议先把这篇工作的核心框架跑通，再根据你自己的数据特性去调整证据选择策略。部分相关视频检索还远没到被彻底解决的地步，这个方向值得投入时间。