Wan 2.1：VBench 86.22% 压过 Sora 的开源视频模型，强在工程、弱在机制

> 量子位技术拆解 · 公式前后都给你直觉。完整结构化数据见「速查」tab。

2025 年初，阿里开源的 Wan 2.1（arXiv 2503.20314，60 页）在公开 VBench 榜上拿 86.22%，压过 Sora 的 84.28%，还顺手把 1.3B 小模型做到 8.19 GB 显存可跑。这份报告值得读的地方，在于它示范了一套系统级的工程范式：每一个大设计都对应一个可观测的训练/推理现象，但几乎没有一个被机制化检验——因果 3D VAE、全时空注意力 DiT、flow matching 课程训练、滑动窗口、缓存、量化，链条完整，机制层缺席。我们从头拆。

先看现象：注意力成本、chunk 边界、采样步冗余

视频生成的第一个工程瓶颈是注意力开销。Wan 的主干是 DiT，序列长度来自 VAE 的时空压缩：一个 $(1+T)\times H\times W\times 3$ 的视频，被压成 $[1+T/4,\, H/8,\, W/8,\, 16]$ 的 latent，再经 patchify（3D 卷积核 $(1,2,2)$）展成 token 序列。论文给的 DiT 成本模型是：

$$C = L\big(\alpha b s h^2 + \beta b s^2 h\big)$$

$L$ 是层数，$b$ 是 micro-batch，$s$ 是序列长度，$h$ 是隐层维度；$\alpha$ 项对应线性层（随 $s$ 线性），$\beta$ 项对应注意力（随 $s^2$ 二次增长），非因果注意力下 $\beta$ 前向取 4、反向取 8。代入实际规模：序列到 1M token 时，注意力占端到端训练时间高达 95%（§4.3.1, p15）。这个数字解释了报告里几乎每一个设计选择——为什么 VAE 要压缩、为什么要缓存、为什么要滑动窗口。

第二个可观测现象在 VAE 的推理路径：逐 chunk 编码/解码长视频时，若 chunk 之间不维持特征缓存，chunk 边界会失去时序连续性（§4.1.3, p11-12）；因果卷积核为 3 时只需缓存前一个 chunk 末尾 2 帧、2× 时序下采样时缓存 1 帧，就能保证任意长度视频的稳定推理。第三个现象在采样侧：同一 DiT block 内不同采样步的 attention 输出高度相似，CFG 采样后期条件/无条件输出也相似（§4.4.2, p18）——这是后面 diffusion cache 1.62× 加速的直接依据。第四个现象偏负例：TensorRT 量化会引入可测量的闪烁与时序不连贯（§5.6.3, p44），而 flicker 本身没有直接量化指标，只有像素级稳定性这类 proxy（§4.6, p20-21）。

数据侧还有一组容易漏掉的观测。预训练阶段，抖动镜头、静态访谈类视频、低质运动数据会被系统剔除或降采样，因为作者发现它们损害运动生成质量（§3.1, p6）；合成图像污染小于 10% 就会显著降性能，因此专门训练分类器过滤「污染」图——数据管线直接砍掉约 50% 的初始数据。caption 侧，自家模型用 slow-fast 编码（每 4 帧保原始分辨率、其余帧做全局池化）把 VideoMME 无字幕准确率从 67.6% 抬到 69.1%（§3.3.3, p9），整体 F1 与 Gemini 1.5 Pro 相当。这些负例与工程观测，比正向叙事更接近可检验的「现象」——合成污染、量化退化、因果注意力不适配，都是可以被复现的取舍。

机制假设：五条设计理由，没有一条被当假说检验

报告给的是五条设计理由，没有一条被当作可证伪机制检验：时序因果性——未来帧不影响过去帧是真实连贯视频的关键，所以 VAE 用 3D 因果卷积 + RMSNorm（替换 GroupNorm）保因果（§4.1, p10）；双向注意力适合扩散——decoder-only 因果注意力不适配扩散文本条件注入，所以文本编码器选双向的 umT5（观察承自 HunyuanVideo，§4.7.2, p25）；局部时序依赖——时序依赖局限在有限窗口，所以 Streamer 用滑动窗口就能维持连续性（§5.6.2, p42）；跨步注意力冗余——不同采样步输出相似，所以可以缓存复用（§4.4.2, p18）；深度优于 AdaLN 参数量——同参数下加深层数比加大 AdaLN 更有效（§4.7.2, p24）。

支持证据大多是工程收益而非机制验证：feature cache 让任意长视频不出现边界断裂；umT5 在 T2I 上 FID 43.01，优于 Qwen-VL-7B 末层特征的 43.72（但略差于其倒数第二层的 42.91，Table 6, p25）；Streamer 在 8 张 A100 上以 8 FPS 实时生成 15 分钟视频（Fig. 30, p42）；diffusion cache 带来 1.62×；四种 AdaLN 配置里 Full-shared-AdaLN-1.5B（35 层）训练 loss 最低，胜过参数更多的 Non-shared-AdaLN-1.7B（30 层，Fig. 16, p24）。注意这最后一条是全报告最接近「消融」的实验——但只到训练 loss 级。

备选解释在报告里基本没被隔离：时序一致性收益没有「因果 vs 双向」的 VAE/注意力 A/B 消融，因果性可能只是压缩率或训练便利的副产品；双向注意力的优势可能来自 umT5 的预训练规模而非注意力方向（作者没做同规模同预训练的方向对照）；端到端 SOTA 可能主要由数据规模（数十亿图文、O(1) 万亿 token）与课程训练驱动；Streamer 窗口大小 $w = T$ 的选择没有消融。换句话说，机制→干预这一环在这份报告里是缺席的，而不是薄弱。

干预与形式化：flow matching 课程 + 组件级手术

机制缺席不耽误工程。训练侧的形式化是 flow matching（Rectified Flow 线性插值 + logit-normal 采样 $t$ + MSE 速度损失）：

$$x_t = t\,x_1 + (1-t)\,x_0, \qquad v_t = \frac{dx_t}{dt} = x_1 - x_0$$

$$\mathcal{L} = \mathbb{E}_{x_0, x_1, c_{txt}, t}\big[\|u(x_t, c_{txt}, t; \theta) - v_t\|^2\big]$$

$x_1$ 是真实视频 latent，$x_0 \sim \mathcal{N}(0, I)$ 是噪声，$t\in[0,1]$ 按 logit-normal 分布采样，$x_t$ 是两者的线性插值；$v_t = x_1 - x_0$ 是插值路径的匀速速度场，模型 $u(\cdot; \theta)$ 学的是预测这个速度，$c_{txt}$ 是 umT5 的 512 token 文本嵌入。训练分四阶段课程：先 256px 的 T2I 预训练对齐语义与几何，再 192px/16fps/5 秒视频与图联合，然后 480px、720px 逐级上分辨率（§4.2.2, p14-15）——这样避开「高分辨率 + 长时序联合训练」导致的吞吐骤降与梯度方差尖峰。

组件级干预选四个有数字的。Wan-VAE（127M 参数）：3D 因果卷积 + 时序下采样 + feature cache，200 个 720×720/25 帧视频上 PSNR≈38 全场最高、效率约 6 frame/latency，重建速度 2.5× HunyuanVideo（Fig. 7, p12）：

DiT 主干：全时空自注意力（非分窗、非 U-ViT——U-ViT 只是 related work 里 Mochi 的主干）+ 交叉注意力注入 umT5 + 共享时间嵌入 MLP（各 block 只学 bias，参数 −25%）。推理优化：diffusion cache 1.62×、FP8 GEMM 1.13×、8-bit FlashAttention 1.27×（H20 上 95% MFU，混合 int8/FP8 + FP32 跨块累加，FA3 原生 FP8 在视频上质量明显退化）。Streamer + LCM 蒸馏：滑动去噪窗口 + 缓存 token 以噪声 0 重注入 + 4 步一致性模型，10–20× 加速、8–16 FPS 渲染，单张 4090（int8 + TensorRT）8 FPS、演示 20 FPS（§5.6.3, p44）。整条主干的架构图就是 Figure 9——它是全文所有干预的挂载点：

收益与最弱一环

端到端收益全部带外部基线：VBench 86.22%（visual 86.67 / semantic 84.44）vs Sora 84.28%、MiniMax 83.41%、Hunyuan 83.24%（Table 4, p23）；自建 Wan-Bench 加权分 0.724 vs Sora 0.700（每模型 1,035 样本、5,000+ 对人工偏好加权，Table 2, p21）；700+ 任务人工评测里 overall ranking 对 Runway 胜率 67.6%（Table 3, p23）。1.3B 小模型 VBench 83.96% 也超过 Hunyuan 与 Kling，显存只要 8.19 GB。但归因边界报告自己也守不住：VBench 数字是自报口径，Wan-Bench 是自建评测，数据与算力规模不披露，端到端分数无法分离到任何一个单一设计。

另有几个自对照值得记录：VAE 比 VAE-D（重建 loss 换扩散 loss）在 T2I 上 FID 全面更低（15k 步 40.55 vs 41.16，Table 5, p25）；推理期用 Qwen2.5-Plus 把用户 prompt 改写成训练 caption 的分布（加细节不改语义、补自然动作、按「风格→内容摘要→细节」结构），在 Wan-Bench 上有提升但报告没给具体增益数字（§4.5, p19-20）。

最弱一环是机制到干预的推导链：报告从不宣称机制，干预全部来自工程观察复用（HunyuanVideo 的双向注意力观察、DiT 主流范式、流匹配框架），因果性、窗口依赖、跨步冗余三条假设都没有对照实验隔离；消融只到 1.3B 模型的训练 loss/FID 级（AdaLN 四种配置、文本编码器三选一、VAE vs VAE-D），无 seed 方差、无显著性检验。这是一份诚实的工程报告：收益数字可信，机制叙事空缺——读它时把「设计理由」和「已验证因果」分开记账。

一句话记住这篇

Wan 2.1 是「可观测设计选择 → 工程干预」的样板：注意力成本（1M token 占训练 95%）、chunk 边界断裂、跨步注意力冗余、量化闪烁，每个现象都有对应干预（因果 VAE + feature cache、全时空 DiT、diffusion cache、混合精度），端到端 VBench 86.22% 压过 Sora 的 84.28%；但机制假设一条都没有被当作可证伪命题检验，最弱一环是「机制→干预」的缺席。最该记住的数字：因果卷积核为 3 时，跨 chunk 只需缓存前 2 帧，就能支持无限长视频稳定推理——时序一致性的工程化，往往只需要一个很小的状态。