Flow Matching 与扩散模型：把「噪声变数据」拆成一条可训练的微分方程

> 量子位技术拆解 · 公式前后都给你直觉。完整结构化数据见「速查」tab。来源：MIT 6.S184 课程讲义（Peter Holderrieth、Ezra Erives），arXiv:2506.02070v3（84 页，2026-03-18）。

为什么一张图能从纯噪声里长出来？Stable Diffusion 3、Movie Gen 这些模型的答案可以压缩成一句话：先定义一条从噪声分布 $\mathcal{N}(0,I_d)$ 走向数据分布的「概率路径」，再训练一个神经网络去拟合路径上每个位置的运动方向。MIT 这门课（6.S184，课程网站 diffusion.csail.mit.edu）的讲义把这件事从头推导了一遍，给出一个贯穿全篇的结论：flow matching 与扩散模型是同一套「概率路径 + 向量场」框架的两种参数化，条件训练目标与边际目标只差一个常数，velocity 与 score 可以解析互转。

先看一个现象：训练一个 flow matching 模型，只需要反复执行三行操作——采样一个数据点 $z$、采样一个时间 $t\sim U[0,1]$、加一点高斯噪声，然后让网络预测「去噪方向」并做均方误差回归（Algorithm 3）。训练过程从不模拟任何 ODE 轨迹（simulation-free），代价极低。但训练完之后，从纯噪声出发沿学到的向量场积分，采样直方图就和真实数据分布逐时间步对齐。要回答「这么简单的回归为什么能学会整个分布」，得先引入一个概念：概率路径。

核心概念：概率路径与条件向量场

概率路径 $p_t$ 描述「t 时刻的样本服从什么分布」：$t=0$ 时是纯噪声 $p_{\mathrm{init}}=\mathcal{N}(0,I_d)$，$t=1$ 时是数据 $p_{\mathrm{data}}$。最常用的 Gaussian 条件路径，给每个数据点 $z$ 一条从噪声到 $z$ 的插值：

$$p_t(x \mid z) = \mathcal{N}\!\left(\alpha_t z,\ \beta_t^2 I_d\right), \qquad x = \alpha_t z + \beta_t \varepsilon$$

这里的 $\alpha_t$、$\beta_t$ 是噪声调度（noise scheduler），单调且满足 $\alpha_0=\beta_1=0$、$\alpha_1=\beta_0=1$，保证 $t=0$ 落在纯噪声、$t=1$ 落在数据点 $z$ 上；$\varepsilon\sim\mathcal{N}(0,I_d)$ 是标准高斯噪声。采样式可以这样读：$t$ 越接近 1，$\alpha_t$ 越大、$\beta_t$ 越小，样本越像数据；$t$ 越接近 0 越像噪声。

有了路径，还需要知道「粒子该往哪走」。对 Gaussian 路径，条件向量场可以解析求出来（对 flow $\psi_t = \alpha_t z + \beta_t x$ 求时间导数）：

$u_t^{\mathrm{target}}(x \mid z) = \left(\dot\alpha_t - \frac{\alpha_t \dot\beta_t}{\beta_t}\right) z + \frac{\dot\beta_t}{\beta_t}\, x$

其中 $\dot\alpha_t,\dot\beta_t$ 是调度的导数，$z$ 是目标数据点，$x$ 是当前带噪样本。它回答的问题是：给定「目标是 $z$」，$t$ 时刻位于 $x$ 的粒子应该朝哪个方向移动。注意条件场只依赖单个已知的 $z$——这是后面一切化简的起点。

关键来了：marginalization trick

生成时 $z$ 是未知的，我们需要的是能输运整个分布 $p_{\mathrm{init}}\to p_{\mathrm{data}}$ 的边际向量场 $u_t^{\mathrm{target}}(x)$。直接定义它要除以边际密度 $p_t(x)$，而那个积分不可算。Theorem 9（marginalization trick）绕开了这一点：边际向量场等于条件向量场的后验加权平均——

$$u_t^{\mathrm{target}}(x) = \int u_t^{\mathrm{target}}(x \mid z)\ \frac{p_t(x\mid z)\, p_{\mathrm{data}}(z)}{p_t(x)}\ dz$$

被积函数中的分式，正是「给定带噪样本 $x$，它来自数据点 $z$」的后验。所以这个式子可以理解为：把每个候选数据点的走向，按置信度加权求和。continuity equation（Theorem 11）给出充要条件：只要 $\partial_t p_t = -\mathrm{div}(p_t u_t^{\mathrm{target}})$，沿该场流动的粒子分布就严格等于 $p_t$。关键点在于：$p_t(x)$ 只出现在后验权重里，训练时可以用期望估计，全程不必显式计算边际密度。

训练目标：L_FM = L_CFM + C

接下来是整篇讲义最实用的结论（Theorem 12）：不可实现的边际目标 $\mathcal{L}_{\mathrm{FM}}$ 与解析可算的条件目标 $\mathcal{L}_{\mathrm{CFM}}$ 梯度相同，只差一个与参数 $\theta$ 无关的常数——

$$\mathcal{L}_{\mathrm{FM}}(\theta) = \mathcal{L}_{\mathrm{CFM}}(\theta) + C$$

所以最小化 $\mathcal{L}_{\mathrm{CFM}}$ 等价于拟合真实边际向量场：在无限表达能力假设下，最优解 $\theta^{\ast}$ 处有 $u_t^{\theta^{\ast}} = u_t^{\mathrm{target}}$，采样终点 $X_1$ 近似服从 $p_{\mathrm{data}}$。取最常用的 CondOT 路径 $\alpha_t=t,\ \beta_t=1-t$，损失进一步化简成一行最小二乘：

$\mathcal{L}_{\mathrm{CFM}} = \mathbb{E}_{t\sim U[0,1],\, z\sim p_{\mathrm{data}},\, \varepsilon\sim\mathcal{N}(0,I_d)} \left\| u_t^\theta\!\left(tz + (1-t)\varepsilon\right) - (z - \varepsilon) \right\|^2$

逐项看：输入 $tz+(1-t)\varepsilon$ 是「随时间线性插值的带噪样本」，回归目标 $z-\varepsilon$ 是「样本减噪声」——网络要学的是从带噪样本指向干净方向的速度。训练后只需用 Euler 法（Algorithm 1）从噪声积分到 $t=1$ 即可采样。

Figure 7 是这张卡的核心证据：下排是训练后模型从噪声积分得到的直方图，上排是 ground-truth 边际路径 $p_t$，两者只在训练误差级别有差异——「条件回归等价于边际输运」从定理落到了可复现演示。大规模印证是转述的：Stable Diffusion 3 用同一 CFM 目标加 MM-DiT 架构（8B 参数、50 步 Euler、CFG $w\in[2.0,5.0]$），Movie Gen Video 用 CFM 加 CondOT（30B 参数、时间 autoencoder 8×）。同一个公式在不同尺度上被反复使用，这正是教程要解释的现象。机制的图解在 Figure 6：分别用 ODE 模拟条件场与边际场，采样分布都与左列的 ground-truth 直方图重合，说明「先定条件场、把边际化搬进期望」的构造确实把 $\mathcal{N}(0,I_d)$ 输运到了 $p_{\mathrm{data}}$。

同一机制的第二面：score 与 SDE 采样

flow matching 学「速度场」$u$，扩散模型学「分数」$\nabla\log p_t$——这是同一机制的两种参数化。Gaussian 路径下二者可解析互转（Proposition 1）：

$$u_t^{\mathrm{target}}(x) = a_t\, \nabla\log p_t(x) + b_t\, x, \qquad a_t = \frac{\beta_t^2 \dot\alpha_t}{\alpha_t} - \dot\beta_t \beta_t,\quad b_t = \frac{\dot\alpha_t}{\alpha_t}$$

学出任何一个，另一个可以代公式换出来，还能再参数化为 denoiser $D_t(x)=\mathbb{E}[z\mid x]$。训练侧同样有 $\mathcal{L}_{\mathrm{SM}} = \mathcal{L}_{\mathrm{CSM}} + C$（Theorem 22），DDPM 的噪声预测目标就是它的重参数化。由此得到的工程收益：训练时可以不指定噪声强度 $\sigma_t$，训练后按需选择采样器——确定性 ODE 或任意噪声强度的 SDE 共享同一个网络。Theorem 17 保证加噪不改变边际：只要写成 $dX_t = [u_t^{\mathrm{target}}(X_t) + \frac{\sigma_t^2}{2}\nabla\log p_t(X_t)]dt + \sigma_t dW_t$，$X_t$ 的边际分布仍然是 $p_t$（由 Fokker-Planck 方程 Theorem 19 证明）。所谓「最优 $\sigma_t$」是训练与模拟误差的产物，理论上是自由参数（p28 脚注 2）。

Figure 10 展示这套机制超出生成场景的一面：取常数路径 $p_t = p$，SDE 退化为 Langevin 动力学，粒子演化后收敛到平衡分布 $p$（5-mode 高斯混合）——同一族方程同时覆盖生成式建模与 MCMC 采样，这是「continuity/Fokker-Planck 统一透镜」论点的可视化依据。

工程配方与理论边界

工程层需要两个补充。其一是 classifier-free guidance（CFG）：采样时用 $\tilde{u}_t(x\mid y) = (1-w)\, u_t^{\mathrm{target}}(x\mid\varnothing) + w\, u_t^{\mathrm{target}}(x\mid y)$ 放大条件信号，训练时以概率 $\eta$ 把标签丢弃成 $\varnothing$，让一个网络同时扮演条件与无条件两个角色（Algorithm 5）。注意 $w>1$ 时 $\tilde{u} \neq u^{\mathrm{target}}$，所以 CFG 是启发式而非推导结论，论文用「几乎所有 AI 生成图像都重度使用 CFG $w\ge 4$」的经验事实支撑它（p39）。其二是离散数据：v3 新增的 CTMC 离散 diffusion 把 rate matrix 对应向量场、Kolmogorov Forward Equation 对应 continuity equation（Theorem 36），masked diffusion LM 就是这个配方，SOTA 离散扩散 Llada2.0（100B 参数）据引用在使用它（p65）。

诚实的边界有两条。第一，泛化性限制是构造性的：denoising diffusion 只适用于 Gaussian 初值与 Gaussian 路径，flow matching 允许任意 $p_{\mathrm{init}}\to p_{\mathrm{data}}$（Appendix E），「Gaussian 限制」是实现约束。第二，本教程的闭环后两环天然缺失：没有任何干预或消融实验，最接近干预的 CFG 被作者自标为启发式；没有定量基准（无 FID/IS、无 loss 曲线、无基准表），全部图片是定性可视化或转述外部数字，SD3 与 Movie Gen 的 8B/30B 参数、50 步 Euler 等设置都来自外部技术报告。定理的 minimizer 结论还依赖无限表达能力假设（Theorem 12/22），toy 演示未公开网络规模、超参与训练步数，「match up to training error」是目视结论。

一句话记住这篇

flow matching 与扩散模型共享同一条机制链：先定条件概率路径，再按后验加权得到边际向量场，最小二乘回归（$\mathcal{L}_{\mathrm{FM}}=\mathcal{L}_{\mathrm{CFM}}+C$）等价于拟合该场，采样终点 $X_1$ 逼近 $p_{\mathrm{data}}$；velocity 与 score 可解析互转，训练后 ODE 与任意噪声 SDE 共享同一网络。最该记住的保留态度是：这套推导在小 toy 上被严格验证、被 SD3/Movie Gen 等大规模使用，但教程本身无实验，CFG 的 $w$ 与工业收益数字都是经验证据。