点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【顶会/顶刊】投稿交流群

添加微信号：CVer2233，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

来源：未来亦可期-CV

本文是对发表于ICCV 2025的论文《Learning Streaming Video Representation via Multitask Training》的解读。论文的第一作者为上海交通大学博士研究生严怡彬与复旦大学博士徐际岚。

• 项目主页: https://go2heart.github.io/streamformer

• 论文链接: https://arxiv.org/abs/2504.20041

• 代码链接: https://github.com/Go2Heart/StreamFormer

简述

随着具身智能、自动驾驶等实时应用需求的不断增长，视频理解研究正逐步从传统的离线分析范式转向更具挑战性的在线流式处理模式。离线视频理解依赖于完整的视频时序信息，专注于对预录制内容的全局分析；而流式视频理解则需实时处理连续输入的视频流，在缺乏未来帧信息的前提下做出快速、准确的决策。为了胜任流式视频理解任务，系统需具备以下三项核心能力：（i）顺序逐帧地处理输入视频流（ii）维护历史视觉信息（iii）在低延迟条件下进行实时决策。为应对上述挑战，本文提出了StreamFormer，并围绕其设计与应用做出了以下三方面贡献：

• 提出StreamFormer网络架构：将因果时序注意力（temporal causal attention）机制融入预训练图像视觉编码器，在保持图像表征能力的同时实现高效视频流处理。

• 构建统一的多任务视觉-语言对齐训练范式：通过统一时空视频理解任务，使StreamFormer同步学习全局语义、时序动态与细粒度空间关系。

• 高效在线视频任务处理：StreamFormer在保持高效的同时在在线动作检测（OAD）、在线视频实例分割（OVIS）、视频问答（VideoQA）等任务上取得了优异性能，展现出了它在实时应用中的潜力。

图1. StreamFormer通过多任务训练学习多层次流式视频表征（从全局语义到局部细节），从而具备广泛的下游任务泛化能力，包括：在线动作检测（Online Action Detection），在线视频实例分割（Online Video Instance Segmentation）与视频问答（Video Question Answering）。

方法

StreamFormer是一款基于 Transformer 的流式视频建模架构，旨在处理连续输入的视频流，并将其转化为多粒度、多语义层级的视觉表征，以支持多种下游任务。

StreamFormer模型架构：如图2所示，给定一段连续的视频流，StreamFormer使用分离时空注意力（Divided Space-time Attention）的形式处理视频的特征。在空间维度（Space）上，我们基于现有的预训练图像编码器（如SigLIP）添加LoRA层，在保留图像视觉编码器强大的表征能力同时适配到视频领域；在时间维度上，我们使用时序注意力结合因果时序掩码机制（Causal Temporal Mask）来保证模型流式的时间建模，即对于当前帧只能看到更早的视频帧，无法看到未来的视频帧。

统一视觉-语言多任务训练：为了使StreamFormer能够具备多粒度的在线视频处理能力，我们将不同粒度的视频任务使用统一的视觉-语言对齐框架进行学习，旨在同时提升模型的细粒度空间理解能力、逐帧时间理解能力与全局的视频语义感知能力。在训练过程中，模型输出的视觉特征会与对应不同任务粒度的自然语言标注进行对齐。从细粒度到粗粒度，StreamFormer的视觉语言对齐包括：

• 每帧的局部Patch表征对齐空间语义标注（如视频目标分割、指代分割等任务）

• 每帧的Frame表征对齐时间语义标注（如时序定位、动作定位等任务）

• 视频的Video表征对齐全局视频标注（如行为识别、视频文本检索等任务）

在不同粒度的任务对齐中，StreamFormer使用冻结的SigLIP Text Encoder来桥接不同的任务的语义空间，使得即使任务之间的标注各不相同，也都能够通过Text Encoder的统一编码，对齐到同一个语义空间。因此，StreamFormer只需使用简单的Dot-Product对齐方式就能实现统一的多任务多粒度的视觉表征学习。

图2. StreamFormer的整体架构。StreamFormer使用一个统一的视觉-自然语言对齐框架训练，从而激活了模型对于全局时序、时间动态与细粒度空间关系的同时理解。对于不同粒度的任务，多任务训练分别使用了视频特征：（i） 视频最后一帧代表全局层级，（ii） 逐帧信息代表时间层级和 （iii）逐帧逐区块代表空间层级。

数据

在数据方面，区别于以往模型依赖上百万大规模视频-文本数据进行对比学习，我们使用计算机视觉领域数十年来积累的高质量人工标注、多粒度视频数据集来训练模型，包含动作识别（AR）、视频文本检索（TVR）、时序动作定位（TAL）、自然语言动作定位（TVG）、视频目标分割（VOS）、指代目标分割（RVOS）任务，同时涵盖闭集与开放词汇任务，数据总量约1M。训练数据集的详细信息如表1所示。

表1. 预训练数据集与规模。

实验

下游任务结果

为了检测StreamFormer的性能，针对模型完成了多种下游任务的评测，包括在线动作检测（Online Action Detection），在线视频实例分割（Online Video Instance Segmentation）与视频问答（Video Question Answering）。如图3所示，实验结果证明StreamFormer在OAD，OVIS与VideoQA任务中性能均稳定超越SigLIP，并且取得了具有竞争力的结果。

图3. StreamFormer下游任务实验。

多任务消融实验

为了对比不同任务组合对于下游任务的影响，我们完成了多任务间的消融性实验。通过表2中的实验，我们发现：

• 全局（Global）与时序（Temporal）粒度的任务训练可以提升模型在所有任务上的能力。

• 空间（Spatial）粒度的任务则只能提升在线视频实例分割的能力。我们认为该问题是由于空间粒度的训练数据主要集中在物体级别，导致模型对于动态动作的理解不足导致的。

• 通过结合所有不同粒度的任务，StreamFormer可以在所有的下游任务上取得具有竞争力的结果，证明了我们的多任务训练框架成功激活了模型对于全局时序、时间动态与细粒度空间关系的同时理解。

表2. 预训练任务的消融实验。

推理效率

由于使用了时序因果掩码，因此StreamFormer可以使用KV cache技术在推理时进一步提升效率。如图4所示，对比传统的双向注意力，StreamFormer可以在推理延迟和显存占用上取得显著的优势。KV cache可以使得模型在推理时存储和复用前序已经计算完成的KV对，从而在流式视频的输入场景下提升处理效率。

图4. 推理计算复杂度对比。

数据效率

对比传统的视频-文本对比学习训练，本文提出的多任务训练方法有效有效提升了模型的综合能力。如图5所示，在控制数据量级一致的情况下，StreamFormer的训练方式远好于对比学习的方式；甚至将多任务训练的数据规模缩小为对比学习的10倍，StreamFormer也依旧能在对应的下游任务中取得优势。

图5. 训练方式数据效率对比。

总结

在本文，我们提出了流式视频网络StreamFormer，通过对预训练图像视觉编码器添加空间注意力上的LoRA层和添加基于因果时序掩码的时间注意力层，并使用视觉-自然语言统一的多任务对齐训练框架，模型得以同时具有细粒度的空间理解能力、逐帧时间理解能力与全局的视频语义感知能力。通过在线动作检测、在线视频实例分割与视频问答等下游实验结果证明，StreamFormer的高效率流式视频理解能力展示了其在实时应用中的巨大潜力。

参考文献

[1] Gedas Bertasius, Heng Wang, and Lorenzo Torresani. Is space-time attention all you need for video understanding? In ICML, 2021.

[2] Jiahao Wang, Guo Chen, Yifei Huang, Limin Wang, and Tong Lu. Memory-and-anticipation transformer for online action understanding. In ICCV, 2023.

[3] Kaining Ying, Qing Zhong, Weian Mao, Zhenhua Wang, Hao Chen, Lin Yuanbo Wu, Yifan Liu, Chengxiang Fan, Yunzhi Zhuge, and Chunhua Shen. Ctvis: Consistent training for online video instance segmentation. In ICCV, 2023.

[4] Yuanhan Zhang, Bo Li, haotian Liu, Yong jae Lee, Liangke Gui, Di Fu, Jiashi Feng, Ziwei Liu, and Chunyuan Li. Llava-next: A strong zero-shot video understanding model. https://llava-vl.github.io/blog/2024-04-30-llava-next-video/, 2024.

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！
ICCV 2025 论文和代码下载
在CVer公众号后台回复：ICCV2025，即可下载ICCV 2025论文和代码开源的论文合
CVPR 2025 论文和代码下载
在CVer公众号后台回复：CVPR2025，即可下载CVPR 2025论文和代码开源的论文合集

CV垂直方向和论文投稿交流群成立

扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者论文投稿+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer2233，进交流群
CVer计算机视觉（知识星球）人数破万！如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料，一定要扫描下方二维码，加入CVer知识星球！最强助力你的科研和工作！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看