一、视频理解任务

任务	描述	代表
动作识别	分类视频中的动作	“打篮球”
时序动作定位	定位+分类	“从00:23到01:15，打篮球”
视频检索	文本→视频匹配	搜索"跑步的人"
视频分割	像素级时空分割	SAM 2
视频生成	文本→视频	Sora
视频跟踪	多目标/单目标	ByteTrack
光流估计	像素级运动	RAFT

---

二、光流 (Optical Flow) ⭐

2.1 光流约束方程

I(x, y, t) = I(x+dx, y+dy, t+dt)  (亮度不变假设)

I_x·u + I_y·v + I_t = 0  (一阶Taylor展开)
  ↑      ↑      ↑
  I_x: 图像梯度X   I_t: 时间差分
  u = dx/dt: X方向运动
  v = dy/dt: Y方向运动

问题: 1个方程2个未知数 → 需要额外约束（孔径问题）

2.2 求解方法

方法	类型	约束
Lucas-Kanade	稀疏	局部窗口内运动一致
Horn-Schunck	稠密	全局平滑约束
Farneback	稠密	多项式展开

2.3 深度学习光流

模型	年份	说明
FlowNet	2015	端到端光流
PWC-Net	2018	金字塔+扭曲+相关
RAFT ⭐	2020	迭代细化，SOTA
GMFlow	2022	全局匹配
FlowFormer	2022	Transformer

---

三、动作识别 ⭐

3.1 双流网络 (Two-Stream, 2014)

RGB帧 ──→ 2D CNN (空间流) ──┐
                              ├── 融合 → 分类
光流堆叠 → 2D CNN (时序流) ──┘

3.2 3D CNN系列

模型	年份	核心
C3D	2014	3×3×3 3D卷积核
I3D ⭐	2017	2D→3D膨胀(ImageNet预训练)
S3D	2017	分离式3D卷积
Non-local	2018	非局部自注意力
SlowFast	2019	慢速帧+快速度双分支
TSM	2019	时序平移模块(高效)
TSN	2016	分段采样+稀疏时序

3.3 视频Transformer

模型	年份	说明
TimeSformer	2021	拆分时空注意力
ViViT	2021	Video ViT
VideoMAE	2022	视频掩码自编码器
VideoMAE V2	2022	更大规模
InternVideo2	2024	多模态视频理解

---

四、视频动作定位

模型	方法	说明
TAL-Net	时序anchor	2D-TAN
ActionFormer	无锚框	Transformer定位
TriDet	时序边界检测	SOTA时序定位
UniDet	统一检测	空间+时序

---

五、视频生成

模型	组织	年份	特点
Sora	OpenAI	2024	最强文生视频
VideoPoet	Google	2024	LLM视频生成
Stable Video Diffusion	Stability	2023	图生视频
AnimateDiff	社区	2023	在文生图上加时间模块
Gen-3	Runway	2024	商业视频生成
CogVideoX	智谱	2024	开源文生视频
Open-Sora	ColossalAI	2024	开源Sora复现

---

📺 推荐视频

• 光流算法详解: B站搜索
• 李飞飞视频理解课程: Stanford CS231n lecture
• 动作识别网络: YouTube/B站

📚 论文必读

论文	年份	推荐度
Two-Stream Convolutional Networks for Action Recognition	2014	⭐⭐⭐⭐⭐
Learning Spatiotemporal Features with 3D ConvNets (C3D)	2014	⭐⭐⭐⭐
Quo Vadis, Action Recognition? (I3D)	2017	⭐⭐⭐⭐⭐
Non-local Neural Networks	2018	⭐⭐⭐⭐
SlowFast Networks for Video Recognition	2019	⭐⭐⭐⭐
TSM: Temporal Shift Module	2019	⭐⭐⭐
RAFT: Recurrent All-Pairs Field Transforms	2020	⭐⭐⭐⭐⭐
VideoMAE: Masked Autoencoders	2022	⭐⭐⭐⭐
InternVideo2 (多模态)	2024	⭐⭐⭐

🔗 视频链接

• 视频理解基准: https://paperswithcode.com/task/action-recognition-in-videos
• Sora (OpeanAI): https://openai.com/sora
• RAFT: https://github.com/princeton-vl/RAFT

---

附录：深层补充

一、光流估计深入算法详解

1.1 Lucas-Kanade 光流（局部窗口最小二乘）

Lucas-Kanade 引入局部窗口一致性假设：在像素 $(x,y)$ 周围的小窗口 $\Omega$（通常 $5\times 5$ 或 $7\times 7$）内，所有像素的运动矢量 $(u,v)$ 相同。

对于窗口内 $n$ 个像素，每个像素提供一个约束方程：
$$\left[\begin{array}{cc}{I}_x(p_1)& I_y(p_1)\\ I_x(p_2)& I_y(p_2)\\ ⋮& ⋮\\ I_x(p_n)& I_y(p_n)\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right]=-\left[\begin{array}{c}{I}_t(p_1)\\ I_t(p_2)\\ ⋮\\ I_t(p_n)\end{array}\right]$$
简写为 $\mathbf{Ad}=\mathbf{b}$。使用最小二乘求解：
$${\mathbf{A}}^{\top }\mathbf{Ad}={\mathbf{A}}^{\top }\mathbf{b}⟹\mathbf{d}=({\mathbf{A}}^{\top }\mathbf{A}{)}^{-1}{\mathbf{A}}^{\top }\mathbf{b}$$
其中 ${\mathbf{A}}^{\top }\mathbf{A}=\left[\begin{array}{cc}\sum I_x^2& \sum I_x{I}_y\\ \sum I_x{I}_y& \sum I_y^2\end{array}\right]$ 即为结构张量（structure tensor）。当该矩阵可逆（即两个特征值都足够大）时，可解出 $(u,v)$。这对应着图像中存在角点/纹理区域——孔径问题的本质是 ${\mathbf{A}}^{\top }\mathbf{A}$ 秩亏。

金字塔LK：对大运动，构建图像金字塔（通常4-5层），从顶层粗估计开始逐层向底层细化（coarse-to-fine warping）。

1.2 Horn-Schunck 光流（全局能量函数）

Horn-Schunck 将光流建模为全局能量函数最小化问题：
$$E=\iint \left[(I_{x}u+I_{y}v+I_t{)}^2+{\alpha }^2(\Vert \nabla u{\Vert }^2+\Vert \nabla v{\Vert }^2)\right]dxdy$$

• 数据项 $(I_{x}u+I_{y}v+I_t{)}^2$：强制满足光流约束方程
• 平滑项 $\Vert \nabla u{\Vert }^2+\Vert \nabla v{\Vert }^2=(\frac{\partial u}{\partial x}{)}^2+(\frac{\partial u}{\partial y}{)}^2+(\frac{\partial v}{\partial x}{)}^2+(\frac{\partial v}{\partial y}{)}^2$：惩罚流场的空间变化
• $\alpha$ 控制平滑强度（$\alpha$ 越大，流越平滑）

通过变分法导出 Euler-Lagrange 方程，得到迭代求解：
$$u^{(k+1)}={\bar{u}}^{(k)}-\frac{I_x(I_x{\bar{u}}^{(k)}+I_y{\bar{v}}^{(k)}+I_t)}{{\alpha }^2+I_x^2+I_y^2}$$

$$v^{(k+1)}={\bar{v}}^{(k)}-\frac{I_y(I_x{\bar{u}}^{(k)}+I_y{\bar{v}}^{(k)}+I_t)}{{\alpha }^2+I_x^2+I_y^2}$$

其中 $\bar{u},\bar{v}$ 是邻域均值（Laplacian平滑）。

1.3 Farneback 光流（多项式展开）

Farneback 对每个局部邻域用二次多项式近似图像强度：
$$f(x)\approx x^{\top }\mathbf{A}x+{\mathbf{b}}^{\top }x+c$$
其中 $\mathbf{A}$ 是 $2\times 2$ 对称矩阵，$\mathbf{b}$ 是 $2\times 1$ 向量，$c$ 是标量。系数通过加权最小二乘从邻域像素拟合得到。

对前后两帧分别拟合得到多项式系数 $({\mathbf{A}}_1,{\mathbf{b}}_1,c_1)$ 和 $({\mathbf{A}}_2,{\mathbf{b}}_2,c_2)$，在位移 $d$ 满足 ${\mathbf{A}}_1={\mathbf{A}}_2$（等亮度假设）时，解得：
$${\mathbf{A}}_1\mathbf{d}=-\frac{1}{2}({\mathbf{b}}_2-{\mathbf{b}}_1)⟹\mathbf{d}=-\frac{1}{2}{\mathbf{A}}_1^{-1}({\mathbf{b}}_2-{\mathbf{b}}_1)$$

实际实现中采用多尺度金字塔 + 迭代加权估计，并用归一化互相关进行可靠性评估。Farneback 精度介于 LK 和 HS 之间，速度较快（OpenCV 中 calcOpticalFlowFarneback）。

1.4 RAFT（Recurrent All-Pairs Field Transforms）

RAFT 是深度学习光流的标志性工作，核心由三部分组成：

1）特征提取：两个孪生网络分别提取参考帧 $g_{\theta }(I_1)$ 和目标帧 $h_{\theta }(I_2)$ 的特征图（1/8分辨率）。

2）全对相关体（All-Pairs Correlation Volume）：计算 $g_{\theta }(I_1)$ 和 $h_{\theta }(I_2)$ 所有位置对的点积相似度，构建 4D 相关体 $\mathbf{C}\in {\mathbb{R}}^{H\times W\times H\times W}$。为处理大位移，构造多层金字塔相关体（通过平均池化下采样）：
$${\mathbf{C}}^k=\text{AvgPool}(\mathbf{C},\text{kernel}=2^k)$$

3）迭代更新：基于 GRU 的循环更新算子，每次迭代从相关体中查表（根据当前光流估计 ${\mathbf{f}}^t$ 查找对应位置的相似度），产生光流残差 $\Delta \mathbf{f}$：
$${\mathbf{f}}^{t+1}={\mathbf{f}}^t+\Delta \mathbf{f}+\text{context}+\text{motion features}$$

RAFTA 通常迭代 12 次，初始化为零流，每次迭代修正光流。这种方法端到端可微，在 Sintel 和 KITTI 光流基准上长期保持 SOTA。

---

二、3D 卷积详解

2.1 C3D 网络

C3D 是最早将 3D 卷积引入视频理解的经典工作。其核心设计是统一的 $3\times 3\times 3$ 小卷积核（而非 $11\times 11\times 3$ 等不对称核），优势在于：

• 空间和时间维度使用相同感受野，保持时空对称性
• 连续堆叠多个 $3\times 3\times 3$（$=3$ 层）获得等效 $7\times 7\times 7$ 感受野，同时减少参数量

典型架构（8个卷积层 + 5个池化层 + 2个全连接层）：

• conv1: 64个 $3\times 3\times 3$ 核，pool1: $1\times 2\times 2$（保留时间维度）
• conv2: 128个 $3\times 3\times 3$
• conv3a,b: 256个 $3\times 3\times 3$
• conv4a,b: 512个 $3\times 3\times 3$
• conv5a,b: 512个 $3\times 3\times 3$，pool5: $2\times 2\times 2$
• 全连接层: 4096 → 4096 → N_classes

参数量分析：一个 $3\times 3\times 3$ 卷积层的参数 = $C_{in}\times C_{out}\times 27+C_{out}$（bias）。相比之下，2D $3\times 3$ 的参数 = $C_{in}\times C_{out}\times 9$。3D 卷积的参数量是同分辨率 2D 卷积的 3 倍。

计算量分析：对于 $C_{in}$→$C_{out}$，特征图尺寸 $T\times H\times W$：

• FLOPs = $C_{in}\times C_{out}\times 27\times T\times H\times W$

2.2 I3D（Inflated 3D ConvNet）

I3D 的核心思想是将 2D ConvNet 膨胀（inflate） 为 3D ConvNet：

• $N\times N$ 2D 卷积核 → $N\times N\times N$ 3D 卷积核
• 从 ImageNet 预训练的 2D 权重初始化：将 2D 权重沿时间维度重复 $N$ 次，再除以 $N$（保持激活值尺度不变）
• 池化层也相应膨胀：$2\times 2$ → $1\times 2\times 2$（保留时间维度）

双流 I3D：RGB 流（空间外观） + 光流流（时序运动），两者独立使用 I3D 网络，最后融合分类。

关键贡献：证明了ImageNet 预训练对 3D 视频理解网络至关重要——2D→3D 膨胀使 3D 网络获得从 2D 预训练中迁移的强初始化，相比随机初始化的 C3D 提升显著。

2.3 SlowFast 双路径设计

SlowFast 设计两个并行路径，以不同帧率处理视频：

Slow 路径：

• 低帧率（$\tau =16$ 帧采样一次），高通道数（$C$）
• 捕获高语义内容（what happened）
• 使用 3D ResNet 骨干

Fast 路径：

• 高帧率（$\tau =2$ 帧采样一次），低通道数（$\beta C$，通常 $\beta =1/8$）
• 捕获高时间分辨率运动信息（how it moved）
• 不使用时间下采样（保持精细时间结构）

侧向连接（Lateral Connections）：Fast 路径的特征通过以下方式融合到 Slow 路径：
$${\mathbf{X}}_{slow}^{\prime }={\text{conv}}_{1\times 1\times 1}\left(\text{Unfold}({\mathbf{X}}_{fast})\right)+{\mathbf{X}}_{slow}$$

设计启发：人类视觉系统中存在 Parvocellular（高空间分辨率、低时间分辨率）和 Magnocellular（低空间分辨率、高时间分辨率）两条通路。

2.4 3D 卷积的参数量和计算量深入对比

操作	参数量	计算量 (FLOPs)	同条件对比
2D Conv $3\times 3$	$9C_{in}{C}_{out}$	$9C_{in}{C}_{out}HW$	基准
(2+1)D Conv $3\times 3\times 3$ (分解)	$9C_{in}{C}_m+3C_m{C}_{out}$	$9C_{in}{C}_{m}HW+3C_m{C}_{out}THW$	降低为纯 3D 的约 $1/3$
3D Conv $3\times 3\times 3$ (纯)	$27C_{in}{C}_{out}$	$27C_{in}{C}_{out}THW$	基准的 3×T 倍
3D Conv $3\times 1\times 1$ (时间)	$3C_{in}{C}_{out}$	$3C_{in}{C}_{out}THW$	仅建模时间

(2+1)D 分解（S3D / R(2+1)D）：将 $3\times 3\times 3$ 分解为 $1\times 3\times 3$（空间）+ $3\times 1\times 1$（时间），中间插入一个 $C_m$ 通道的 bottleneck。这不仅降低了参数量，还引入了额外的 ReLU 非线性，常取得比纯 3D 更好的精度。

---

三、时序动作定位（Temporal Action Localization）

3.1 ActionFormer

ActionFormer 是时序动作定位领域的 Transformer 无锚框方法。

架构：

1. 特征提取：使用预训练视频编码器（如 SlowFast）提取每帧/每片段的特征序列 $\mathbf{X}\in {\mathbb{R}}^{T\times D}$
2. 位置编码：使用可学习的位置编码 $\mathbf{P}\in {\mathbb{R}}^{T\times D}$
3. Transformer 编码器：多头自注意力（MHSA） + 前馈网络（FFN），堆叠 $L$ 层，感受野为整个时序
4. 分类头 + 回归头：每个时间位置预测动作类别概率 ${\hat{\mathbf{p}}}_t$ 和动作边界偏移 ${\hat{\mathbf{b}}}_t=({\hat{c}}_t,{\hat{d}}_t)$，其中 $c_t$ 为中心位置偏移，$d_t$ 为时序长度

训练损失：

• 分类损失：Focal Loss（处理正负样本不平衡）
• 回归损失：GIoU Loss + L1 Loss

$$\mathcal{L}={\mathcal{L}}_{cls}+\lambda \cdot {\mathcal{L}}_{reg}$$

推理：对输出进行阈值过滤 → NMS（Soft-NMS 或针对时序的 NMS）→ 得到最终动作实例。

3.2 One-Stage vs Two-Stage in TAD

特性	Two-Stage（如 BMN, G-TAD）	One-Stage（如 ActionFormer, TriDet）
流程	Proposal 生成 → 分类/回归精调	端到端直接输出动作实例
速度	慢（两阶段串行）	快（单阶段）
Proposal质量	高（有 refine 阶段）	依赖特征质量
召回率	受 proposal 生成限制	更高（注意力覆盖全时序）
代表方法	BMN（边界匹配）, G-TAD（图卷积）	ActionFormer, TriDet
复杂度	多模块联合训练	单一 loss 简洁优化

当前趋势：随着 Transformer 和无锚框方法成熟，One-stage 方法（如 ActionFormer）在兼顾速度和精度的同时，逐渐成为主流。

---

四、视频理解中的 Transformer

4.1 TimeSformer（分解时空注意力）

TimeSformer 提出了分解式时空自注意力（Divided Space-Time Attention）：将标准的 3D 自注意力分解为两个连续步骤：

1. 时间注意力：对每个空间位置，沿时间维度计算自注意力
2. 空间注意力：对每个时间帧，沿空间维度计算自注意力

具体地，对输入视频切分为 $T\times H\times W$ 个 patch（每个 patch 为 $16\times 16$ 像素），加上位置编码和可学习的 class token：

• 时间注意力头：每个 patch 只关注同一空间位置不同时间帧的 $T$ 个 patch
• 空间注意力头：每个 patch 关注同一时间帧不同空间位置的 $H\times W$ 个 patch

复杂度分析：

• 朴素 3D 自注意力：$\mathcal{O}(T^2{H}^2{W}^2)$
• TimeSformer 分解：$\mathcal{O}(T^{2}HW+T{H}^2{W}^2)$，约降低 $\frac{HW}{T+HW}$ 倍

TimeSformer 在 Kinetics-400 上以仅 RGB 输入达到 SOTA，证明了纯 Transformer 架构在视频理解中的潜力。

4.2 VideoMAE（3D 掩码自编码器）

VideoMAE 将 MAE 范式扩展到视频领域，核心创新是极高比例的 3D 掩码策略。

3D 立方体掩码：不同于图像 MAE 的 2D 随机掩码，VideoMAE 使用 3D 立方体掩码——以 $16\times 16\times 2$（空间×时间）为单位的掩码块，掩码比例高达 90%-95%（图像 MAE 仅 75%）。

为什么视频需要更高掩码率？

• 视频帧间存在大量冗余（相邻帧高度相似）
• 高掩码率强制模型学习时序对应关系，而非简单插值
• Tube masking（管状掩码：同一空间位置在多个时间帧上一起掩码）防止模型依赖帧间像素级复制

架构：

• 编码器（仅处理可见 patch，轻量高效）
• 解码器（处理全部 patch，仅在预训练时使用）
• 目标：重建被掩码 patch 的原始像素

4.3 UniFormer（Conv + Attention 混合）

UniFormer 的核心洞察：浅层适合卷积（高效建模局部相关性），深层适合自注意力（捕获全局依赖）。

UniFormer Block 设计：

• 浅层阶段：使用 $3\times 3\times 3$ 可分离卷积 + MHSA 的紧凑聚合
• 深层阶段：使用多头自注意力 + FFN 的全局关系建模

关键在于动态切换：每个 stage 根据 token 数量自动决定使用卷积还是注意力操作。当 $N_{token}>N_{threshold}$ 时，使用局部卷积（计算量可控）；当 $N_{token}\le N_{threshold}$ 时，使用全局注意力。

这种混合设计在计算效率和建模能力之间取得良好平衡，在 Something-Something V2 和 Kinetics-400 上均取得 SOTA。

---

五、Video Sora 与视频生成

5.1 DiT（Diffusion Transformer）的空间-时间 Patch

Sora 的技术报告中明确指出其基于 DiT（Diffusion Transformer）架构。DiT 将扩散模型的 U-Net 骨干替换为 Transformer：

空间-时间 Patch 化：

1. 原始视频 $\mathbf{V}\in {\mathbb{R}}^{T\times H\times W\times 3}$ 经过 VAE 编码器压缩为隐空间特征 $\mathbf{z}\in {\mathbb{R}}^{T^{\prime }\times H^{\prime }\times W^{\prime }\times C}$
2. 将 $\mathbf{z}$ 划分为 $p\times p\times p$ 的 3D patch（如 $2\times 2\times 2$）
3. 每个 patch 线性投影为 token，加上 3D RoPE 位置编码（空间位置 + 时间位置 + 帧索引）
4. 所有 token 送入 DiT block（Adaptive Layer Norm + 多头注意力 + MLP）

Conditioning：文本描述通过 T5/CLIP 编码为 text embedding，通过 cross-attention 或 adaptive layer norm（AdaLN-Zero）注入 DiT。

Patch 级别训练：Sora 在原始分辨率和时长上训练（而非固定尺寸），通过对 patch 序列长度进行 attention mask 控制。

5.2 VAE 编码器的帧压缩

视频 VAE 需要将 $T\times H\times W\times 3$ 压缩为 $T^{\prime }\times H^{\prime }\times W^{\prime }\times C$，压缩因子通常在 $4\times 8\times 8=256\times$（时间 4×，空间 8×8）。

因果卷积（Causal Convolution）：为保证在线推理时未来帧不影响当前帧编码，使用因果卷积（padding 只在前方填充）。

时间混叠：VAE 在时间维度的下采样通过 3D 卷积或相继 2D 卷积 + frame stacking 实现。时间压缩太大（如 8×）会导致闪烁和时序不连贯——这是 Sora 面临的核心挑战之一。

训练目标：
$$\mathcal{L}={\mathcal{L}}_{recon}+\beta \cdot {\mathcal{L}}_{KL}+{\mathcal{L}}_{perceptual}+{\mathcal{L}}_{GAN}$$
其中 ${\mathcal{L}}_{recon}$ 为重建 loss（L1 + L2），${\mathcal{L}}_{perceptual}$ 为 LPIPS 感知损失，${\mathcal{L}}_{GAN}$ 为 PatchGAN 判别器。

5.3 视频生成中的时序一致性保持

视频生成区别于图像生成的核心挑战是时序一致性：

技术	描述	代表方法
时序注意力	帧间 token 交互捕获全局时序依赖	Sora, VideoPoet
3D U-Net	3D 卷积建模局部时序模式	Stable Video Diffusion
时序 Layer	插入 1D 时间注意力/时间卷积模块	AnimateDiff, Video LDM
光流引导	利用光流约束帧间运动	MoCoGAN-HD
隐空间对齐	在 VAE 隐空间约束帧间一致性	VideoCrafter
噪声初始化	相邻帧噪声有一定相关性（noise offset）	Align Your Latents

AnimateDiff 的时序注入方式：

• 在预训练的文本-图像 Stable Diffusion 中插入 1D 时序注意力模块（Motion Module）
• Motion Module 在固定空间层权重的情况下，仅在视频数据上学习时序对应关系
• 推理时，将单张图片作为条件，生成视频帧序列（以噪声 + image condition 为起点）
• 优势：复用海量文生图预训练知识，只需少量视频数据学习时序一致性