摘要：现实世界中用户生成的短视频，尤其是在微信视频号和抖音等平台上传播的短视频，在移动互联网中占据主导地位。然而，当前的大型多模态模型缺乏基本的时间结构化、细致且深入的视频理解能力，而这些能力是有效视频搜索与推荐以及新兴视频应用的基础。由于现实世界中的短视频具有复杂的视觉元素、视觉与音频信息密度高，以及节奏快且侧重于情感表达和观点传达等特点，理解这些视频实际上颇具挑战性。这需要先进的推理能力来有效整合包括视觉、音频和文本在内的多模态信息。在本研究中，我们推出了ARC-Hunyuan-Video，这是一款多模态模型，可对原始视频输入中的视觉、音频和文本信号进行端到端处理，以实现结构化理解。该模型能够进行多粒度带时间戳的视频字幕生成与摘要总结、开放式视频问答、时序视频定位以及视频推理。借助自动化标注流程生成的高质量数据，我们紧凑的70亿参数模型通过全面的训练方案进行训练，包括预训练、指令微调、冷启动、强化学习（RL）后训练以及最终指令微调。在我们推出的ShortVid-Bench基准测试上进行的定量评估以及定性比较表明，该模型在现实世界视频理解方面表现强劲，且支持零样本学习或通过少量样本微调，以适应各种下游应用。该模型在现实世界中的生产部署已显著提升了用户参与度和满意度，这一成功得益于其卓越的效率，压力测试显示，在H20 GPU上，该模型处理一分钟视频的推理时间仅为10秒。Huggingface链接：Paper page，论文链接：2507.20939

研究背景和目的

研究背景：
随着移动互联网的快速发展，用户生成的短视频在各大社交平台（如微信视频号和抖音）上占据了主导地位。这些短视频以其高度多样性、信息密度大和快节奏的特点，吸引了大量用户的关注和参与。然而，当前的大型多模态模型在处理和理解这些短视频时面临诸多挑战，尤其是缺乏对视频内容的结构化、时间感知和深入理解的能力。这种局限性严重制约了视频搜索、推荐以及新兴视频应用的有效性和用户体验。

短视频内容的复杂性体现在其视觉元素丰富、音频信息密集以及节奏快速，这些特点使得理解视频中的情感表达和观点传达变得尤为困难。为了有效整合视频中的视觉、音频和文本信息，需要先进的推理能力来支持多模态信息的融合与理解。因此，开发一种能够全面理解短视频内容的多模态模型显得尤为重要。

研究目的：
本研究旨在引入ARC-Hunyuan-Video模型，通过端到端的方式处理原始视频输入中的视觉、音频和文本信号，实现结构化视频理解。具体目标包括：

1. 多粒度带时间戳的视频字幕生成与摘要总结：生成详细的视频描述和摘要，捕捉视频中的关键事件和情节。
2. 开放式视频问答：回答与视频内容相关的开放性问题，展示对视频内容的深入理解。
3. 时序视频定位：在视频中精确定位特定事件的时间范围，提高视频检索的准确性。
4. 视频推理：理解视频中的隐含信息和意图，进行高级推理。

研究方法

模型架构：
ARC-Hunyuan-Video模型基于Hunyuan-7B视觉语言模型构建，并引入了额外的音频编码器和时间戳叠加机制。音频编码器用于实现精细的视听同步，时间戳叠加机制则通过在视频帧上叠加时间戳来增强模型的时间感知能力。

数据准备：
研究团队收集了数百万条真实世界的短视频，并开发了一个完全自动化的引导式标注流程来生成高质量的训练数据。标注流程包括视频描述生成、图像字幕和OCR识别、自动语音识别（ASR）结果利用等步骤，以确保模型能够捕捉视频中的多模态信息。

训练策略：
ARC-Hunyuan-Video模型采用多阶段训练策略，包括：

1. 预训练：通过大规模数据集进行基础知识和原子能力的获取。
2. 指令微调：使模型适应特定任务，通过构建高质量的监督数据集进行微调。
3. 冷启动初始化：通过 Chain-of-Thought (CoT) 推理任务进行微调，为后续的强化学习阶段准备强大的初始策略。
4. 强化学习后训练：使用 Generalized Reinforcement Policy Optimization (GRPO) 算法在可验证的任务上进行强化学习，提升模型的综合理解能力。
5. 最终指令微调：利用高质量的人类标注数据和通过拒绝采样生成的轨迹进行最终微调，以进一步提升模型性能。

研究结果

定性评估：
通过案例分析和比较实验，ARC-Hunyuan-Video模型展示了其在结构化视频理解方面的卓越能力。特别是在处理包含丰富视觉和音频信息的短视频时，模型能够准确识别视频中的关键事件、情感表达和观点传达，展现出强大的多模态融合和时间感知能力。

定量评估：
研究团队构建了ShortVid-Bench基准测试，用于定量评估模型在真实世界短视频理解方面的性能。实验结果表明，ARC-Hunyuan-Video模型在多个评估维度上均优于基线模型，包括时间推理与定位、情感意图分类、创作者意图分类、叙事理解等。此外，模型在时序视频定位任务中也表现出色，得益于其明确的时间感知能力。

实际应用效果：
在实际生产环境中部署ARC-Hunyuan-Video模型后，用户参与度和满意度均得到了显著提升。例如，在视频检索任务中，模型的引入使得检索点击率（CTR）提高了5.88%，视频聚合应用的用户人均目标数增加了0.63%，平均观看量（QV）提升了0.55%。

研究局限

尽管ARC-Hunyuan-Video模型在结构化视频理解方面取得了显著进展，但仍存在一些局限性：

1. 数据依赖性：模型性能高度依赖于高质量的训练数据，而标注大规模、高质量的多模态数据需要耗费大量人力和时间成本。
2. 泛化能力：尽管模型在特定数据集上表现优异，但在处理不同领域或风格的短视频时，泛化能力仍有待提升。
3. 计算资源需求：多阶段训练策略需要较高的计算资源支持，尤其是在强化学习阶段，对硬件和算法效率提出了更高要求。

未来研究方向

针对上述研究局限，未来研究可以从以下几个方面展开：

1. 数据增强与自动化标注：探索更高效的数据增强方法和自动化标注技术，以降低对人工标注的依赖，提高数据生成效率和质量。
2. 跨领域泛化能力提升：研究模型在不同领域或风格短视频上的泛化能力，通过迁移学习、领域适应等技术提升模型的适应性和鲁棒性。
3. 轻量级模型架构：设计更高效的模型架构和算法，减少计算资源消耗，提高模型在实际应用中的可行性和效率。
4. 多模态融合与交互：深入研究多模态信息的融合机制，提升模型在视觉、音频和文本信息整合方面的能力，以更全面地理解视频内容。
5. 用户反馈与持续优化：建立用户反馈机制，持续优化模型性能，通过迭代更新提升模型在实际应用中的表现，以满足用户不断变化的需求。

通过上述研究方向的深入探索，可以进一步提升ARC-Hunyuan-Video模型的性能和适用性，推动结构化视频理解技术的发展和应用。