Cosmos 世界基础模型平台：视觉生成全面领先，物理理解全线平庸

> 量子位技术拆解 · 公式前后都给你直觉。完整结构化数据见「速查」tab。

1 万张 H100 训练 3 个月、75 页、从视频清洗到机器人 post-training——NVIDIA 的 Cosmos 报告（arXiv 2501.03575）是当下最完整的「世界模型」平台说明书。但把它当可解释性材料读，最该记住的是论文自己写下的一句话：逼真度并不总反映对物理原理的遵守（realism ≠ physics adherence）。视觉指标全面领先，物理指标全线平庸，我们从头拆：这张报告里，哪些数字经得起推敲。

先看一个现象：压缩率一提，质量就掉，离散路径掉得更狠

世界模型的第一环是 tokenizer：把视频压成紧凑 token，生成模型才训得动。Cosmos 提供连续（vanilla AE）与离散（FSQ）两条路径、三档时空压缩率，先看重建质量的退化曲线：

在自建 TokenBench（500 条视频：BDD100K、EgoExo-4D、BridgeData V2、Panda-70M 各 100 条，10 秒、短边 1080）上，连续路径 PSNR 从 38.42 → 35.13 → 31.61，rFVD 从 3.34 → 9.82 → 43.08，对应 4×8×8 → 8×8×8 → 8×16×16 三档（Table 5, p15）。注意 baseline：即便最高的 8×16×16（8 倍压缩）PSNR 31.61 仍高于 Omni 在 4×8×8 的 24.48。真正不对称的是离散路径：同样到 8×16×16，TokenBench rFVD 冲到 107.43，连续路径只有 43.08（Table 5-6, p15）——离散 token 在高压缩下崩得远快，这个现象直接解释了下游 AR 模型的输出模糊（§5.2.5, p32），也催生了论文最巧妙的一个干预：diffusion decoder。

tokenizer 写出来就是最朴素的瓶颈结构：

$$\hat{x}_{0:T} = \mathcal{D}\big(\mathcal{E}(x_{0:T})\big)$$

$x_{0:T}$ 是输入视频（$T+1$ 帧、$H\times W\times 3$），$\mathcal{E}$ 是编码器，把视频压进瓶颈表示 $z$，$\mathcal{D}$ 是解码器重建出 $\hat{x}_{0:T}$。压缩率 $s = s_T\times s_H\times s_W$ 决定瓶颈多小：视频档有 4×8×8、8×8×8、8×16×16 三种，图像档有 8×8、16×16 两种。上面那条退化曲线，就是 $s$ 增大时重建 $\hat{x}_{0:T}$ 偏离原视频 $x_{0:T}$ 的代价表。

这些可观测数字背后有一整套数据管线在支撑：从 20M 小时原始视频里用 ShotBench 验证过的镜头检测、去重与质量过滤，筛出约 10^8 条 2–60 秒的训练 clip（§3, p6-8），再按九个物理 AI 类别配比（驾驶 11%、手部与物体操作 16%、自然动态 20% 等）。也就是说，「世界模型」的物理先验先取决于数据策展把哪些动态留了下来——这是 Cosmos 相对纯生成模型最可审计的部分。

机制假设：WFM 隐式学到物理，证据却全在行为层

平台的核心叙事是「WFM = 物理世界的数字孪生」：大规模视频预训练让模型在隐空间编码了可泛化的物理规律，未来帧预测是这种理解的外在表现。作者给出四类行为层证据：3D 一致性——7B-Text2World 在 RealEstate10K 测试集 500 条静态场景上 Sampson error 0.355，低于真实视频参照的 0.431，位姿估计成功率 62.6% vs VideoLDM 的 4.4%（Table 19, p36）；物理对齐——8 个 PhysX/Isaac Sim 刚性体场景（自由落体、斜面、U 形坡、不稳定堆叠等）渲染 800 条 100 帧 1080p 视频作真值，33 帧窗口、4 个 seed，9 帧条件下 7B-Video2World 物体级 IoU 0.592、PSNR 21.06（Table 20, p38-39）；迁移证据——预训练模型在 DL3DV-10K、Cosmos-1X、Bridge、RDS 上微调后显著优于同数据从零微调的 CamCo、VideoLDM、IRASim（§6）；规模效应——AR「对象从下方出现」失败率从 4B 的 15% 降到 12B 的 2%（Table 18, p35）。

但作者自己在结论里拆台（§9, p58）：所有 WFM 同样挣扎于物理遵守，更大模型不提升物理对齐——Table 20 里 4B 到 14B 的 IoU 没有单调改善；3D 评测只覆盖静态场景，高分可能来自训练数据分布而非几何推理；未来帧预测可被短时视觉插值这类统计规律模仿，而论文没有打开潜空间做任何探测或干预来排除这种解释。看物理场景 rollout 的目视对比，结论就钉在像素上：

模型能跟上大致的运动方向，但物体位置、形状与真值逐步漂移——画面看起来连贯，物理细节对不上。3D 一致性指标本身也值得展开，Sampson error 是把「几何对不对」变成数字的公式：

$$\epsilon_{\text{samp}} = \frac{1}{N} \sum_{i=1}^{N} \frac{\|\bar{y}_i^{\top} F \bar{x}_i\|^2}{(F\bar{x}_i)_1^2 + (F\bar{x}_i)_2^2 + (F^{\top}\bar{y}_i)_1^2 + (F^{\top}\bar{y}_i)_2^2}$$

逐项看：$\bar{x}_i$、$\bar{y}_i$ 是两帧之间第 $i$ 对点匹配的齐次坐标，$F$ 是由位姿估计得到的基础矩阵；分子 $\bar{y}_i^{\top} F \bar{x}_i$ 度量匹配点偏离极线约束的程度，分母做归一化，$N$ 对匹配平均后数值越小，几何一致性越强。Cosmos 的 0.355 低于真实视频的 0.431，说明静态场景的几何一致性确实强——但这正是论文自己限定范围的结论。

干预：两处机制级干预，其余全是工程

报告里真正「观测到现象 → 定点干预」的闭环只有两个，都在训练动力学里。第一处：diffusion 模型训练早期观察到注意力 logits 不稳定、attention entropy 塌缩（§5.1.2, p20），干预是在所有 self-/cross-attention 的 Q、K 上做 RMSNorm 并加可学习缩放——与之前解读的 Weight-norm Criticality 关注的是同一类归一化稳定性问题。第二处：AR 模型 logits 过大会让梯度范数失控，干预是加 z-loss：$\mathcal{L}_{z\text{-loss}} = \lambda \sum_i z_i^2$，把 logits 往 0 拉，$\lambda = 3\times 10^{-4}$（§5.2.1, p28）。这两处都只有定性陈述、无消融数字，但机制指向明确。

其余是工程干预，挑三个有数字的：AdaLN-LoRA 把 AdaLN 的密集投影低秩分解（rank 256），11B → 7B 参数减少 36% 且全部评测指标保持 parity；Medusa 投机解码 + 低分辨率适配把 4B 吞吐从 444.95 提到 894.67 tokens/s（2.0×，5B 为 3.2×），320×512 下 10.08 frames/s 达到实时（Table 15/17, p30-31）；diffusion decoder 用条件去噪把离散 token 的模糊重建修清晰（Fig. 18, p34，无量化指标）。AR 家族那边还有一个与「next-token prediction」对齐的目标，训练时最小化视频 token 序列的负对数似然：

$$\mathcal{L}_{NLL} = -\log P(v_i \mid v_1, v_2, \dots, v_{i-1}; \Theta)$$

$v_i$ 是第 $i$ 个离散视频 token，条件概率 $P$ 由 Transformer decoder（参数 $\Theta$）建模，$\Theta$ 就是 4B/5B/12B/13B 四个规模的 AR 模型。这是与 diffusion 的连续去噪完全不同的第二套生成范式，论文用同一套 tokenizer 家族给两套范式喂数——双轨对照本身就是一个大实验。

post-training 的条件注入同样有干净公式——相机控制用的 Plücker 嵌入：

$$r = (d, m) \in \mathbb{R}^6, \qquad m = c \times d$$

$d$ 是每个 latent 像素的相机单位光线方向，$c$ 是相机中心位置，$m = c \times d$ 是叉积，六维向量 $r$ 与 latent 拼接注入去噪网络（每 8 帧取第 4 帧位姿，§6.1.2, p41）。收益：相机控制位姿成功率 82.0% vs 同数据微调的 CamCo 43.0%（Table 22, p42）；机器人动作条件 FVD 190 vs IRASim 593（Table 23, p47）；多视角 TSE 0.68 vs VideoLDM 1.24（Table 24, p51）。

收益与最弱一环

把收益和弱点放一起，结论是对称的：收益全在行为层，弱点也全在机制层。工程收益都是带 baseline 的数字——DAVIS 4×8×8 重建 PSNR 35.85 vs CogVideoX 29.29、Omni 22.23（Table 5）；tokenizer 推理 34.8 ms/帧 vs CogVideoX 414 ms（Table 9）；指令视频预测人工偏好 78.3% vs VideoLDM-Instruction 13.0%（Fig. 24, p46）。

但「机制 → 干预」这一环几乎不存在：从「WFM 隐式学到世界动态」到平台设计之间没有推导链，潜空间从未被打开（全文无 probing、无 latent 干预、无因果扰动），物理遵守度低且没有被任何平台干预改善——IoU 最高 0.592，4B 到 14B 拉不开差距。

它同时说明规模改善低阶一致性（15% → 2%），而 9 帧条件把全部模型压到 2% 以下——条件帧数比规模更强的杠杆，这是输入上下文长度作为干预的实证。

这套收益的代价也要算清楚：14B 扩散模型参数/梯度/优化器约 280 GB、激活 310 GB，靠 FSDP + context parallelism 才压到单卡可训（§5.1.4, p23-24）；实时模式以 320×512 降分辨率换速度，而 AR 推理附加 diffusion decoder 后单卡延迟从 31.04s 涨到 61.49s（Table 16, p31）。另外论文没有用 KV cache（MQA/GQA 明确不用），推理优化靠的是 Medusa 与低分辨率——这一点与常见的 LLM 系 AR 模型不同。综合起来，Cosmos 的定位是：一个可观测、可复现、可迁移的平台，但「学到世界动态」这一句需要打折读。

一句话记住这篇

Cosmos 把「世界模型」做成了带 baseline 的平台：压缩-质量曲线、3D 一致性、物理对齐、下游迁移全部可复现、可比较；但最该记住的是论文自己承认的结论——realism ≠ physics，视觉保真（PSNR 33+、位姿成功率 62.6%）与物理遵守（IoU 最高 0.592）是可分离的两个量，更大模型不提升物理对齐。最该记住的数字：9 帧条件把 AR 失败率压到 2% 以下、把物理对齐 IoU 从 0.332 抬到 0.592——在世界模型里，输入上下文长度本身就是可观测的强干预。