PFGM++：把扩散模型和泊松流生成模型拧成一个旋钮（播客对话版·泛读）

1. 先讲清楚这篇要解决什么问题

小播：老播，这期讲什么论文？先说清楚它解决什么问题，值不值得专门做一期。

老播：这篇是 2023 年 ICML 的 PFGM++，作者来自 MIT，第一作者是 Yilun Xu，合作的还有 Max Tegmark 和 Tommi Jaakkola。一句话背景：最近几年图像生成的主流是扩散模型，先给数据加噪再学去噪，生成质量很高，但它有一个出了名的弱点——对估计误差敏感，网络稍微学偏一点，采样就容易跑飞。这篇论文的定位，是把扩散模型和另一条物理路线——泊松流生成模型 PFGM——放进同一个家族，中间用一个叫 D 的维度旋钮连着。一句话预告结论：在这个家族里，选一个不大不小的 D，生成质量能超过扩散模型，而且对误差更抗造。我们这期会把三件事讲透：静电场怎么变成生成模型、D 这个旋钮怎么拧、为什么 D 很大时它就变回扩散模型。

小播：这个预告我记住了：中间值 D 比两端都好。我还有个疑问先放着——「扩散是 D→∞ 的极限」这句话听起来像数学命题，我们后面慢慢验证。先从背景开始，扩散和 PFGM 各自是怎么回事？

2. 先把两条线铺开：扩散模型和静电场生成

小播：先给我把扩散模型讲清楚，假设我只知道它是现在画图的主流。

老播：扩散模型的全名是去噪扩散概率模型，工作机制拆成两步。第一步叫加噪过程：拿一张干净图像，逐步往里掺高斯噪声，掺到上千步，图像基本变成纯噪声；这一步是固定的，不需要训练。第二步叫去噪过程：训练一个神经网络，给它一张被噪声污染到某个程度的图像，让它预测原来的干净图像或者当时注入的噪声，然后从纯噪声出发，一步一步把噪声剥掉，就得到一张新图。网络学到的核心对象叫分数函数，写出来是加噪数据分布的对数密度梯度 ∇ₓlog p_σ(x)，一句话理解：它指向「从当前加噪状态往更可能是数据的方向走」。采样就是在概率流 ODE 里沿着这个方向积分。这里 σ 是噪声标准差，它既是训练时加噪强度的刻度，也是采样时「现在走到哪一步」的时间变量。为什么说它怕误差：采样是沿着一个方向场走很多步，每步的方向都有估计误差，误差会随着步数累积放大，最后一步偏差就变成整张图的偏差。这个背景很重要，后面鲁棒性实验就是直接往采样过程里注入误差来对比。

小播：那 FID 和 NFE 是什么？一会儿会反复出现。

老播：FID 是衡量生成质量的指标，把生成图的特征分布和真实图的特征分布做比较，数值越低越好；NFE 是生成一张图要调用多少次网络，等于采样步数，越低越快。举个具体的例子：经典的 DDPM 生成一张图要一千次网络求值，而这篇论文的实验里只要 35 次。

小播：好，那 PFGM 呢？泊松流是什么？

老播：PFGM 的全称是 Poisson Flow Generative Models，泊松流生成模型，2022 年发表在 NeurIPS。名字里的泊松来自静电学：电荷产生的电场的势函数满足泊松方程，所以这条路线叫「泊松流」。它把每个数据点看成静电学里的一个正电荷，电荷会在周围空间产生电场，从远处出发的粒子沿电场线走，最后会落到某个电荷上。生成过程就变成：从先验分布出发，沿着电场线走回数据所在的平面。数据是 N 维的，PFGM 在数据之外额外加一个维度 z，整个空间变成 N+1 维，先验放在一个很大的 N+1 维半球上。

小播：所以「静电学→生成模型」就是：数据点当电荷，生成就是沿电场线流回电荷。我理解这个类比了。那 PFGM 卡在哪？

老播：卡在训练上。电场是一个积分式：空间某点的电场，等于它到所有数据电荷的带方向距离按数据分布加权求和。PFGM 用一个训练步采样一大批数据（比如上千个样本）来近似这个积分，两个问题跟着来：近似有偏，训练开销大；而且这种「一批样本凑一个目标」的方式做不了文本条件生成——文本生成要求每个文本提示只配一张图，一对一配对训练，大 batch 近似插不进去。另外它只有 D=1 这一个设定，没有参数可以调。

小播：那扩散模型是不是也逃不开这个传输框架？两套语言里其实在干同一件事？

老播：可以这么看。扩散模型也可以理解成沿 ODE 传输：它的「力场」是分数函数，时间变量是噪声水平 σ；PFGM 的「力场」是电场，时间变量是半径。网络的工作在每个中间状态都一样——预测「下一步往数据方向怎么走」。这个共同结构，正是后面 PFGM++ 能统一它们的原因，记住这一点，第三段的定理就好理解了。

小播：我试着把两条线并排看：扩散模型用 σ 当时间变量，PFGM 用半径当时间变量，两者都是「把简单分布流到数据分布」的传输过程。这个并排是对的，对吧？

老播：对，这个并排理解很重要，后面会看到它俩共享同一个数学结构。还有一个概念先埋在这里：论文里反复提到「相位」，指的是加噪数据在不同噪声水平下受数据分布里哪些模式影响的程度。近处主要受单一数据点影响，远处被所有模式平均影响，这个演化过程就是相位变化。相位对齐是后面超参迁移的关键。

3. 核心思想三步走：加维度、做对称约简、换训练目标

小播：这应该是全篇最重的部分，你分步讲，我慢慢消化。

老播：好，三步。第一步，把增广维度从 1 推广到 D。PFGM 只加一维 z，PFGM++ 加一个 D 维向量 z=(z₁,…,z_D)，数据点变成 N+D 维空间里的点 x̃=(x,z)。先给预期：下面这个式子回答「N+D 维空间里某一点的电场指向哪里」，它和 PFGM 的电场公式长得一样，只是把维度 N+1 换成 N+D：

E(x̃) = (1/S_{N+D−1}(1)) ∫ (x̃−ỹ)/‖x̃−ỹ‖^{N+D} p(y) dy

逐项说：x̃ 是空间中任意一点，ỹ 是一个数据电荷的位置，p(y) 是数据分布，‖x̃−ỹ‖ 是两点距离，幂次 N+D 来自空间维度，S_{N+D−1}(1) 是单位球面面积，一个只跟维度有关的归一化常数。整体意思：某点的电场，是它到所有电荷的带方向距离按数据分布加权求和，电荷越近贡献越大。

小播：式子没问题，但 D 个分量怎么算得动？D 可以很大，比如论文里用了 2048。

老播：这就是关键的一步——对称约简。注意电场在圆柱面 ‖z‖₂=r 上是旋转对称的：数据电荷都躺在 z=0 平面，在增广方向旋转 z 不改变物理图景，这种对称叫 SO(D) 对称。既然 D 个分量在对称意义下等价，我们只需要跟踪它们的长度 r=‖z‖₂，一个标量就够了。论文里有一张教科书级别的示意图：同样的一个一维数据线段，D=1 时电场线把它映到先验平面上的同一条线段；D=2 时同样这份数据被映到圆柱面 z₁²+z₂²=r² 上的一个环，电场线绕环转一圈都指向同一个数据。这张图直接说明两件事：增广维度变了、映到的先验几何就变；而旋转对称保证我们只跟踪半径 r。把生成 ODE 的变量从时间换成 r，就得到 dx/dr=E_x/E_r，E_x 是电场在数据方向的分量，E_r 是电场在半径方向的分量。推导很直接：r 对时间的导数，等于每个分量 z_i 的贡献按 z_i/r 加权求和，把电场公式代进去，恰好就得到 E_r 的积分形式。给个具体数字感受一下量级：CIFAR-10 的像素维度 N=3×32×32=3072，论文用的 D=2048，模型工作在一个 N+D≈5120 维的空间里，但网络真正看到的输入只有 3072 个像素加一个半径标量。

小播：所以 D=1 是 PFGM，D 很大是扩散，中间每个 D 都是一套生成模型，但网络结构完全不用改。那训练目标怎么改？刚才说 PFGM 的大 batch 有偏。

老播：第二步，换训练目标。PFGM 想学电场积分，PFGM++ 换了个思路：定义一张「加噪分布」——扰动核 p_r(x|y)∝1/(‖x−y‖²+r²)^{(N+D)/2}，可以理解成 N+D 维空间里的柯西型加噪分布，r 控制扰动幅度。训练目标写成下面这个平方损失，先给预期：这个式子的最小化者正好等于我们要的电场方向，而且每个训练步只需要一个配对样本：

E_{r~p(r)} E_{p(y)} E_{p_r(x̃|y)} ‖f_θ(x̃) − (x−y)/(r/√D)‖²

逐项解释：r 是扰动半径，p(r) 是训练时半径的抽样分布——具体做法是沿用扩散模型的 log-normal 分布 ln σ~N(−1.2,1.2²)，再按 r=σ√D 换算出 r；x 是从扰动核里采出来的加噪样本，y 是干净数据；网络 f_θ 在增广点 x̃ 处预测一个向量，目标是 (x−y)/(r/√D)，也就是「从加噪样本指向干净数据的位移」除以归一化尺度。分母里的 √D 不是随便放的，它保证目标向量的尺度不随 D 漂移。为什么这个目标靠谱：把平方损失对 f_θ 求最小，最小化者等于条件期望 √D·E[(x−y)|x̃]/r，数学上正好等于归一化电场 E_x/E_r 的 √D 倍，所以无偏。代价是一点不付：单样本更新、不需要大 batch、天然支持文本条件这种一对一配对训练。这一步直接对标去噪分数匹配——扩散模型就是用类似的目标训练的，这为第三步的「统一」埋下伏笔。

小播：这个设计我理解为：用一个扰动核把「电场」翻译成「去噪位移」，训练就变得和扩散一样简单。第三步呢？为什么 D→∞ 就变回扩散模型？

老播：第三步是理论收口，先要对齐两边的「噪声水平」。扩散模型用 σ 表示噪声标准差，PFGM++ 用 r 表示扰动半径，两边要对上，标定关系是 σ=r/√D。先给预期：在这个标定下，D 趋于无穷时，PFGM++ 的电场方向会变成扩散模型的分数函数，采样轨迹和训练目标也都会变成扩散模型的。论文给了两个结果。定理 4.1：固定 σ=r/√D，D→∞ 时 √D·E_x/E_r 收敛到 σ∇ₓlog p_{σ=r/√D}(x)，也就是电场方向等于分数函数方向；采样时 dx/dr 这条 ODE 和扩散模型的概率流 ODE 是同一个东西。命题 4.2：训练层也收敛，刚才那个平方损失的最小化者，变成去噪分数匹配目标 E‖f_θ(x,σ)−(x−y)/σ‖² 的最小化者。连加噪分布都对上了：扰动核的半径分布 p_r(R)∝R^{N−1}/(R²+r²)^{(N+D)/2}，在 D→∞、σ=r/√D 固定时收敛成高斯核 exp(−‖x−y‖²/2σ²)，这就是扩散模型的标准加噪分布。

小播：我追问一下标定关系 σ=r/√D 是怎么来的，这个式子看着像天上掉下来的。

老播：可以给个量级上的解释，论文在第五节也讨论了这件事：扰动半径分布的均值大约是 r√(N/D)，也就是加噪位移的典型尺度；扩散模型加噪位移的典型尺度是 √N·σ。让两个尺度相等，就得到 r√(N/D)=√N·σ，两边一化简正好是 σ=r/√D。也就是说，这条标定保证两种模型在每一步加噪的「力度」一样，这样中间分布才能对齐。

小播：我复述一遍确认理解：扩散模型的加噪、训练、采样，在数学上都是 PFGM++ 在 D→∞ 的极限；PFGM 是 D=1 的端点；中间的 D 是同一个家族的成员。这个「统一」是等式意义上的，对吗？

老播：对。论文里还有两个实测图把这个等式关系直接验证到位。图 4(a)：横轴 D 从 2² 到 2²⁰，纵轴是电场方向和分数函数方向的平均距离，曲线随 D 单调下降、最终归零。相位对齐的验证在图 3：论文用平均全变差距离衡量中间分布离均匀分布有多远，对齐之前不同 D 的曲线明显分开，做了 r=σ√D 的对齐之后，D 从 2⁴ 到 2²⁰ 的曲线几乎重合，说明这个标定在实验上也把中间分布对齐了。验证的是定理本身，实验证据落在等式层面。接下来是这个旋钮能干什么。

小播：还有第四步？

老播：对，第四步是 D 的物理含义——它同时决定加噪样本范数的集中程度。半径分布 p_r(R) 的均值大约在 r√(N/D)。D 大，分布集中，加噪样本的范数被钉在一个确定值附近，网络输入分布整齐，训练容易，论文叫「刚性」；代价是采样轨迹一旦偏离训练数据里的范数—半径关系，就会崩，所以对误差敏感。D 小，分布重尾，论文里测到 D 小于 32 时半径方差可以超过 2¹⁰，输入覆盖极宽，对误差的容忍度高，论文叫「鲁棒」；代价是重尾分布难学，对网络容量有压力。所以鲁棒和刚性在 D 上此消彼长，中间存在甜点。为了让有限 D 直接享用扩散模型调好的超参，论文还给出相位对齐：令 r=σ√D，中间分布对所有 D 近似同相位，于是把 EDM 调好的 σ_max=80、σ_min=0.002 和训练分布直接按比例搬过去，D=2048 的实验就是这么做的。

4. 关键实验：甜点 FID 和三组鲁棒性证据

小播：理论说完了，上数字。实验设定先说清楚。

老播：两个基准：CIFAR-10 32×32，用 improved NCSN++ 网络，批大小 512；FFHQ 64×64 人脸，用 improved DDPM++，批大小 256。超参全部从 EDM 迁移，采样用 Heun 二阶求解器，CIFAR-10 是 35 次网络求值，FFHQ 是 79 次。评测上，生成 5 万张图去和真实图统计量比 FID；CIFAR-10 每个 checkpoint 跑三个种子取最小，FFHQ 因为波动大报 Top-3 的平均。

小播：先说质量，把甜点坐实。

老播：先提醒一句读表的背景：EDM 原论文在 CIFAR-10 报的 min FID 是 1.98，作者重跑也在同一量级，但 checkpoint 之间能波动 ±0.2，所以「1.91 对 1.98」这种差距要放在波动背景里看，论文自己也是靠 Top-3 平均来降低运气成分。回到数字：CIFAR-10 无条件生成，D=2048 拿到 min FID 1.91；同设置下 D→∞（就是 EDM，作者自己重跑）是 1.98，PFGM（D=1）是 2.48，更早的 VP-ODE 是 2.86，DDPM 是 3.17——注意 DDPM 要用 1000 次网络求值，PFGM++ 只要 35 次。Top-3 平均 FID 也一致：D=2048 是 1.93，EDM 是 2.00。表 1 的结构也顺便说一下：上半部分是 DDPM、DDIM、VE-ODE、VP-ODE、PFGM 这些历史方法，下半部分是 D=64、128、2048、3072000 和无穷大的 PFGM++，看 min FID 这一列，数字从左往右先降后升，甜点就在中间。FFHQ 上 D=128 拿到 min FID 2.43，Top-3 平均 2.48，EDM 分别是 2.53 和 2.54。类条件 CIFAR-10 上 D=2048 是 1.74，EDM 是 1.79。三个数据集设定下，最好的 D 都落在中间：CIFAR-10 是 2048，FFHQ 是 128，两端都没有最优。

小播：D=2048 和 D=128 都赢过两端，这就是甜点。那 D 极大呢？理论说会退化回扩散。

老播：对，D=3072000 在 CIFAR-10 上是 1.99，和 EDM 的 1.98 基本一致，验证了 D≫N 时退化的预测。这条一致性很重要，它把「扩散是特例」从理论坐实到实验。然后是鲁棒性三组实验，都在 CIFAR-10 上。第一组，采样时每一步注入高斯噪声，强度用 α 控制，注入噪声的标准差取 r/√D，和加噪尺度同量级：α=0.2 时，D=64 和 D=128 还能出干净图，扩散模型（D→∞）的采样直接崩坏；整条 FID 曲线看，小 D 随 α 上升得慢，扩散上升得快。第二组，对网络权重做训练后量化，位宽从 9 bit 降到 5 bit：9 bit 时大家 FID 都在 1.96 到 1.97，几乎没损失；5 bit 时 D=64 是 28.50，D→∞ 是 50.09——量化越狠，小 D 优势越大。第三组，把 NFE 从 35 往下减，模拟更大的采样步长误差：D=128 和扩散模型的差距随步长增大而拉大，但 D=64 反而比 D=128 差，重尾的刚性代价在这里现形。

小播：三组实验对应三种误差源：数值噪声、权重压缩、步长离散化。结论是同一个：D 越小越抗造，但太小也不行。那图怎么读？我如果在论文里翻到这几张图，该看什么？

老播：看图 4 的三联图最直观。图 4(a) 横轴是 D，纵轴是电场方向和分数函数方向的平均距离，看它单调下降归零，对应「D→∞ 等于扩散」的定理；图 4(b) 横轴也是 D，纵轴是半径分布的 log 方差，看它随 D 陡降，对应「大 D 范数集中、小 D 重尾」；图 4(c) 是不同 σ 和 D 下加噪样本范数的密度，看高密度区域随 D 增大越收越窄。图 5 两格：左图横轴 α、右图横轴 NFE，纵轴都是 FID，看四条曲线（D=64、128、2048、扩散）的分离程度，分离越大说明小 D 的鲁棒优势越明显。表 3 按位宽列 FID，横着看每一列里 D=64 和 D→∞ 的差距随位宽变低而拉大。

5. 它在生成模型的谱系里站在哪

小播：把它放回谱系里，一句话总结它的位置？

老播：它处在「物理启发生成模型」这条线上，干的事是把两个端点焊进同一个家族：PFGM 提供静电场视角，扩散模型提供成熟的训练和调参体系，PFGM++ 证明两者是同一个东西的两个极限，并给出统一的训练目标。相比 PFGM，它把有偏的大 batch 目标换成无偏扰动目标，解锁了配对条件训练；相比扩散模型，它在 σ=r/√D 标定下给出三层等价证明，又用中间 D 拿到更好的 FID 和鲁棒性。放到更大的谱系里看，score-SDE 那套 VE/VP 统一框架和 EDM 属于「分数匹配」这一支，PFGM++ 属于「物理场」这一支，而本文的价值在于证明两支在数学上相交，交集就是 D 取极限的那条边。家族里还有一个隐藏福利：扩散模型社区调好的超参，通过相位对齐 r=σ√D 可以零样本搬到任意 D，这让它在工程上可以直接继承扩散模型多年积累的经验。

6. 局限也要讲清楚

小播：这篇论文的局限，你挑几条实在的。

老播：四条。第一，D=1，也就是 PFGM 本身，被排除在实验外：它的扰动核重尾到没法直接配本文的新目标，还得用 PFGM 原来的区域启发式，所以「统一」并没有覆盖到端点本身。第二，FID 波动大：训练 2 亿张图的预算里，checkpoint 之间 FID 能差 ±0.2，论文报的是 min FID 或 Top-3 平均，而且 EDM 基线是作者自己重跑的数字，和原论文报告值有出入，比较的精度有限。第三，实验只在 32×32 和 64×64 两个低分辨率图像上做，没有更高分辨率，也没有文本条件生成实验——条件生成的能力只体现在训练目标的设计上，没有跑出来。第四，甜点 D 没有理论预测公式，每个数据集、每个架构都要自己扫；鲁棒性收益是经验现象，缺少「误差预算」层面的定量刻画——比如给一个具体问题，多少分数误差对应多少 FID 损失、D 应该怎么选，论文给不出这样的账本。我补两条。第五，小 D 的鲁棒性是用训练难度换的，重尾输入对网络容量有要求，工程上压缩网络、加量化在小 D 上更划算，但训练时并不省事。第六，论文证明的是「同一个 EDM 架构下 D 可调」，甜点 D 会不会随架构变化——比如换成分层 transformer，或者用于单步蒸馏这类场景——论文没有回答；后续主流的加速方法大多仍以扩散模型为基座，PFGM++ 这个旋钮在这些场景里的价值还没被验证。

7. 收尾：记住这三件事

小播：我总结本期记住的三件事。第一，扩散模型是 PFGM++ 这个家族在 D→∞ 的极限，PFGM 是 D=1 的端点，σ=r/√D 这个标定把两者在训练和采样上精确对齐。第二，D 是鲁棒性和刚性的旋钮：小 D 抗误差但难训，大 D 好学但脆弱，中间值最好，实验上 CIFAR-10 的 D=2048 和 FFHQ 的 D=128 都压过了扩散模型。第三，训练目标从大 batch 场估计换成了单样本扰动目标，无偏、便宜、能配对训练，这是把整个家族落到实处的关键。

老播：补一句这篇对后续工作的意义。它把「静电学→生成模型」从一条单独的路线变成一个带旋钮的家族，也是物理类比进生成模型的一个教科书案例——先给物理设定，再让对称性帮你砍掉冗余维度，最后用一个标定把新方法和老方法对齐。它把「静电场→生成模型」从一条单独的路线变成一个有旋钮的家族，给生成模型社区留下一个可以沿着维度轴继续探索的空间：找甜点的理论、低比特训练、随机采样器，都是论文自己点名的下一步。核心结论再强调一遍：扩散模型是泊松流生成家族的一个端点，中间值 D 质量更好、也更稳。这篇物理类比的教科书案例，值得记住的是它用一维旋钮 D 连接了两种看似不同的生成机制。