📖标题：Script-a-Video: Deep Structured Audio-visual Captions via Factorized Streams and Relational Grounding
🌐来源：arXiv, 2604.11244v2

🛎️文章简介
🔸研究问题：如何解决传统单体视频字幕中视听信息纠缠导致局部修改困难、身份指代模糊及跨模态对齐弱的问题？
🔸主要贡献：论文提出了多流场景脚本（MTSS）范式，通过流分解与关系接地机制，显著提升了视频理解的忠实度、推理能力及多镜头生成的可控性。

📝重点思路
🔸提出流分解原则，将视频解耦为参考流（持久实体）、镜头流（视觉片段）、事件流（听觉事件）和全局流（环境语境）四个互补流，消除语义冗余。
🔸引入关系接地机制，利用中心化实体库分配持久标识符，并通过共享时间锚点将孤立流重新连接，确保跨镜头身份一致性与视听同步。
🔸在视频生成任务中，设计镜头感知结构化注意力机制，依据脚本时间边界分割令牌以防止镜头间干扰，并利用可学习令牌实现身份特征绑定。
🔸构建包含 50 万高质量片段的数据集对模型进行监督微调，使模型学会填充结构化字段而非生成自由文本，降低认知负担。

🔎分析总结
🔸在视频字幕基准测试中，MTSS 使 Video-SALMONN-2 的总错误率平均降低 25%，并在 UGC-VideoCap 上显著提升了视听细节得分。
🔸在推理任务中，显式的关系接地帮助模型恢复事件逻辑，使 Daily-Omni 基准性能提升高达 127%，大幅缩小了小模型与大模型的性能差距。
🔸在多镜头视频生成中，仅替换提示词为 MTSS 格式即可使跨镜头身份一致性提升 45%，音视频对齐提升 56%，时间可控性提升 71%。
🔸实验证明结构化脚本比单体段落更具可学习性，能有效减少幻觉并解决复杂场景下的主体混淆与时间不同步问题。

💡个人观点
论文从线性的自然语言描述转向模块化的结构化脚本，通过“分而治之”再“显式连接”的设计，解决了长视频中实体追踪和时空对齐的痛点。