视频生成离世界模型有多远？一篇把「物理」变成可测量问题的论文

> 量子位技术拆解 · 公式前后都给你直觉。完整结构化数据见「速查」tab。

Sora 出来之后，大家反复问一个问题：视频生成模型算不算世界模型？它看懂物理了吗？这个问题难回答，因为真实视频里的「物理」没有标签。字节跳动、清华和 Technion 团队的这篇 ICML 2025 论文（arXiv 2411.02385）换了个做法：用 2D 经典力学模拟器生成一批物理规则已知的视频，把「懂物理」变成可以量化的误差。结论一句话：模型在训练分布内（ID）几乎完美，一旦测试条件超出分布（OOD），误差暴涨一两个数量级，加数据、加参数都无效——它更像一个「照着最近训练案例模仿」的检索器，没有抽象出物理法则。我们从头拆。

先看现象：ID 内接近满分，OOD 直接崩盘

作者用 Box2D 搭了三个确定性的物理任务：匀速直线运动、两球完全弹性碰撞、抛物线运动。每个任务采样 30K 到 3M 段视频，用 DiT 系列模型（从 22.5M 参数的 DiT-S 到 456M 参数的 DiT-XL）训练，条件给前 3 帧，生成 32 帧。

测试分两种：ID 在训练区间内采样，OOD 把速度、半径推到训练区间之外。 结果分化非常干净。

• ID：匀速任务上，DiT-L 配 3M 数据，速度误差 0.012，逼近真值视频解析出的系统下限 0.010；DiT-S 配 30K 数据是 0.022。误差随数据和模型规模稳步下降。

OOD：同样的模型和数据，误差跳到 0.427，约为 ID 的 35 倍。更关键的是，数据从 30K 到 300K 再到 3M，误差随机波动（DiT-B 下 0.433 / 0.328 / 0.358），DiT-XL 也没有改善。

这是全篇最核心的否定结果：scaling 能压平 ID 误差，压不动 OOD 误差。数据量成倍地涨，模型一路加到 456M 参数，OOD 外推纹丝不动。图 3 一张图说清这件事。

读图对比左右两列的高度差：左边 ID 稳步下降贴住系统下限，右边 OOD 高一到两个数量级还在随机跳动。这是「scaling alone 不足以发现物理法则」的直接证据。

核心概念：先把「物理一致」写成式子

为了让「模型懂不懂物理」可以讨论，论文先立了一个框架。视频生成模型的任务是：给定条件帧 $I_{1..c}$，生成后面的帧。把它拆成两步——先在 latent 空间里按动力学推进隐状态 $z$，再把 $z$ 渲染成像素：

$$z_{t+1} \approx z_t + \delta F(z_t), \quad I_t = R(z_t)$$

逐项看：$z_t$ 是第 t 帧的隐状态，$F$ 是隐空间里的动力学函数（物理法则就藏在它里面），$\delta$ 是时间步长，$R$ 是渲染器。生成模型要做的，等价于学一个 $F$，让它推出的 $z_{t+1}$ 和真实物理推进对上。

「对上」怎么度量？三个任务的物理都是解析的，真值速度 $v_t$ 可以直接算出来。再从生成视频的像素里按颜色提取球心位置、差分得到生成速度 $\hat{v}_t$，定义速度误差：

$$e = \frac{1}{N|T|}\sum_{i=1}^{N}\sum_{t\in T}\left|v_t^{(i)} - \hat{v}_t^{(i)}\right|$$

逐项看：$N$ 是测试视频数，$T$ 是帧集合，$v_t^{(i)}$ 是第 i 段视频第 t 帧的解析速度，$\hat{v}_t^{(i)}$ 是模型生成视频里对应的速度。这个 $e$ 就是「模型预测的物理」和「真实物理」的平均绝对偏差；它小到接近真值视频自身的解析误差（GT 下限），就算物理过关。训练目标本身还是标准的自回归式：最小化条件帧之后所有帧的负对数似然 $-\log p_\theta(I_{c+1..L}|I_{1..c})$——模型从未被要求显式预测物理量，误差全是从像素里逼出来的。

机制：模型在「模仿最近案例」，没有在「推理物理法则」

现象成立后，论文要回答：为什么 ID 行、OOD 不行？他们提出 case-based 泛化假说：给定条件帧，模型先找训练集里最接近的样本照着模仿，模仿时对不同属性给的权重不同。三个受控实验钉死这条链。

实验一：速度缺失区间。 训练集故意缺掉中间速度段 [1.25, 3.75]。如果模型懂「匀速」，条件帧给中间速度，它应该继续匀速；结果生成速度偏向训练区间的两端——它在匹配最近的训练案例，没有在按惯性定律外推。把缺口收窄，模型又恢复正确内插。

实验二：水平翻转。 训练里加入反向运动的视频后，低速球可能在条件帧后突然掉头——模型把反向训练视频当成了最接近的匹配，出现违反物理的转向。

实验三：成对优先级。 训练只有「红球 + 蓝方块」这种组合，测试给蓝球，蓝球在条件帧后立刻变成蓝方块——模型按颜色做案例匹配，形状被忽略。1,400 个测试例无一例外，最终排序钉死为：

$$\text{color} > \text{size} > \text{velocity} > \text{shape}$$

这条优先级解释了开放视频模型常见的翻车：物体形状保持不住、颜色却能稳住——颜色是检索时权重最高的属性，形状最不被尊重。

读图看条件帧到生成帧的属性跳变方向：箭头表示生成结果从指定条件滑向最近的训练案例，三列实验分别钉死了 shape 是最低优先级。

干预：动数据覆盖，比动数据总量更有效

如果机制是 case-based 检索，干预旋钮就该在「训练分布长什么样」上。作者确实从这里拿到了全篇最正面的收益。

干预一：扩大组合覆盖。 组合泛化场景用 PHYRE 的 8 类物体选 4 个，共 $C(8,4)=70$ 种模板。训练从 6 个模板（0.6M 视频）扩到 30、60 个模板（3M、6M 视频），模型、分辨率、训练步数都不变；10 名评估者判定 100 条保留模板视频，out-of-template 的 abnormal rate 从 67% 降到 18%、再降到 10%（DiT-XL）。模型规模同样重要：DiT-B 用同样 60 个模板只能到 24%。同样的数据量，把组合覆盖铺开，组合能力明显变好。

干预二：补回缺失区间。 只改训练分布的形状（把缺失的速度段补回一部分），不增加数据总量，模型从失败的外推转成正确的内插。

干预三：换 VAE。 把自研 (2+1)D-VAE 换成开源 CogVideo VAE，重跑优先级实验，排序 color > size > velocity > shape 不变——排除优先级是自研编码器的偶然产物。

三个干预都是单一变量对照，结果与「case-based 检索 + 数据覆盖决定可组合性」一致；如果模型真学到了抽象法则，OOD 应该随缩放改善，实际没有——这从反面又排除了一次法则假说。

代价与边界：这套结论现在能推多远

要诚实地说，边界非常清楚：

1. 全是 2D 简化场景。几何形状、纯色背景、一两个物体、Box2D 模拟，和真实视频的纹理、遮挡、非刚体、连续高维空间差距很大，向真实世界外推要谨慎。

2. OOD 只有诊断、没有方案。论文证明了「缩放无效」，但没有给出物理感知正则、显式状态这类干预路径——这一环是全文最弱的地方。

3. 机制证据是行为层的。case-based 检索和优先级排序来自生成结果的推断，没有激活、注意力这些模型内部证据，解释不了「为什么按这个顺序检索」。

4. 视觉表示有信息瓶颈。穿缝场景里，球和缝隙的尺寸差只有像素级时，纯视觉判断不了能不能穿过，模型给出视觉合理但物理错误的结果。

读图对比上下两行：从同样的像素出发，真值和生成给出不同结论——这支撑了「视觉表示不足以支撑精细物理建模」的边界判断。

一句话记住这篇

把「视频生成是不是世界模型」变成可量化问题之后，答案是：ID 内逼近系统下限（0.012 vs 0.010），OOD 外推误差高 35 倍且缩放无效（0.427）；模型走 case-based 模仿（优先级 color > size > velocity > shape），扩大数据覆盖（abnormal 67% → 10%）比单纯加数据更有效。最该记住的保留态度：结论在 2D 简化场景里被严格验证，OOD 失败仍没有干预方案——把它当诊断，别当终局。