扩散模型的骨干，为什么要换成 Transformer？（DiT 精读）

先讲清楚这篇要解决什么问题

小播：今天要聊的这篇，标题叫《Scalable Diffusion Models with Transformers》，大家习惯叫它 DiT。我听说它特别重要，做视频生成、做机器人策略的人都拿它当基础。这篇到底解决了什么问题？

老播：一句话背景：2022 年前后，扩散模型已经是图像生成的主流方法，但几乎所有模型的骨干都固定用同一种卷积网络，叫 U-Net。DiT 这篇论文做的事情，是把 U-Net 换成视觉 transformer，也就是 ViT，然后系统性地研究一个问题——换掉骨干之后，模型的计算量越大，生成的图片质量是不是越好。结论是：是的，而且关系非常干净。论文用 675M 参数的 DiT-XL/2 在 ImageNet 256×256 类条件生成上拿到当时最好的 FID 2.27，第一次让扩散模型全面超过 GAN 路线。

小播：那它跟视频生成、机器人有什么关系？我听说这些领域都引用它。

老播：因为 DiT 的配方后来成了通用模板：先在 latent 上把输入切成 patch 变成 token，用 adaLN-Zero 注入条件信息，叠一堆标准 transformer block，最后线性解码。Sora 的视频模型、Stable Diffusion 3、PixArt 的文生图骨干，基本都沿这条路线；机器人那边的 VLA 和视频预测模型也大量以 DiT 为骨干。所以今天这期把 DiT 读透，等于把后面一大片工作的地基读透了。我会重点讲三件事：patchify 怎么把图片变成 token、adaLN 怎么把条件信息送进网络、以及那条著名的 scaling 曲线是怎么画出来的。

先补背景：U-Net 是什么，为什么有人想换掉它

小播：好，那我们从头开始。先定义一下，扩散模型到底是什么？

老播：扩散模型是一种生成模型，思路是分两步：第一步，把真实图片一步步加噪声，加到彻底变成纯噪声；第二步，训练一个网络学会反过来，从纯噪声一步步把图片还原出来。加噪的过程是固定的、不需要学的，真正要学的是反向去噪那一步。这个框架最早来自 2015 年 Sohl-Dickstein 等人的工作，2020 年 Ho 等人用 DDPM 这个名字把它做成能出图的实用方法。U-Net 就是从那会儿开始，成为扩散模型的标准骨干。

小播：U-Net 具体长什么样？

老播：U-Net 是一种卷积网络，形状像字母 U：先一层层下采样，把特征图变小变深，再一层层上采样，把特征图恢复原尺寸，中间在低分辨率的地方穿插空间注意力，让不同位置的信息能互相交换。它擅长处理图片这种规则网格结构，而且参数共享、计算高效。ADM 那篇论文，就是 Dhariwal 和 Nichol 在 2021 年发的《Diffusion Models Beat GANs》，对 U-Net 做过很多细节消融，比如通道数、归一化方式、条件信息怎么注入，但从来没有人问过一个更基本的问题：骨干本身能不能换成别的结构？

小播：为什么突然想换？U-Net 明明用得挺好。

老播：因为另一条路在快速证明自己。语言模型那边，GPT 系列用 transformer，规模越大、数据越多，性能几乎可以预测地变好，这叫 scaling 特性，Kaplan 等人还专门总结过 scaling law；视觉识别那边，ViT 也证明了 transformer 能取代卷积网络，而且在大规模设定下更划算。生成模型这边反而一直停在专用架构上，作者觉得这一步该补上了。他们站的位置是两条前人的工作之上：LDM，也就是后来 Stable Diffusion 前身那批人做的 latent diffusion，证明了可以在 VAE 压缩过的 latent 空间里训练扩散模型，计算省很多；DiT 在这套框架里把骨干换成 transformer，验证 transformer 的 scaling 红利能不能在生成任务上复现。

小播：那 U-Net 的归纳偏置呢？卷积的局部性、下采样上采样，不是对图像天然友好吗？

老播：这正是论文要检验的假设。U-Net 的归纳偏置——卷积的局部连接、跨尺度的跳跃连接、下采样上采样的多分辨率结构——一直被当成扩散模型高质量生成的关键。作者把这些偏置全部拿掉，换成对空间结构没有先验假设的 transformer，然后看结果。他们的答案相当直接：这些偏置对高质量生成贡献有限，标准结构就够用了，而且还能拿到更好的 scaling 曲线。这是一个有争议的论断，所以后面所有实验都尽量控制变量，让结论站得住。

小播：顺便问一句，2022 年的时候，扩散模型凭什么已经是主流？之前好像是 GAN 更强？

老播：转折点在 2021 年的 ADM：Dhariwal 和 Nichol 用改进的 U-Net 让扩散模型在图像生成质量上第一次超过当时的 GAN，再加上扩散模型训练稳定、不容易模式坍缩，很快成了主流方法。但主流也有代价：U-Net 这个骨干从 DDPM 开始就一直没人真正质疑过，相当于所有人在同一栋房子里装修，没人检查地基。DiT 就是那个把地基问题摆上台面的工作——先问"骨干能不能换"，再回答"换了之后 scaling 好不好"。

小播：那用什么来衡量"规模"？参数数量行不行？

老播：论文明确反对用参数量。原因很具体：参数量反映不了分辨率、token 数这些明显影响生成质量的因素。你想想，同一个模型喂 256×256 还是 512×512，参数一模一样，但计算量和质量差很远。所以他们改用理论 Gflops——模型跑一次前向传播需要的十亿次浮点运算数——当作复杂度标尺，全部 12 个模型都用这个横轴。这个选择是后面 scaling 曲线的地基。作者也承认，度量指标本身没有绝对最优，不同场景看重的开销不同，但 Gflops 至少能同时反映分辨率和模型大小，比参数数可靠得多。

核心思想第一步：patchify，把 latent 变成一串 token

小播：好，那 DiT 到底长什么样？从头讲一遍。

老播：先说整体数据流。DiT 在 latent 空间里工作：一个预训练好的 VAE 编码器把 256×256×3 的图片压缩成 32×32×4 的小张量，横向纵向各缩 8 倍，通道变成 4 个。这个 VAE 就是 Stable Diffusion 用的那个，作者直接拿来用、冻结住不训练。扩散模型就在这 32×32×4 的 latent 上加噪、去噪，最后用 VAE 解码器还原成图片。这样做的直接收益是计算量：在 32×32 的空间上跑 transformer，和在 256×256 像素上跑，不是一个量级。像素空间跑扩散模型的 ADM 在 256×256 下前向要 1120 Gflops，DiT 只要 118.6 Gflops，差了将近一个数量级。

小播：那 32×32×4 的格子怎么喂给 transformer？transformer 吃的是序列。

老播：这就是第一个关键词，patchify，直译叫"打补丁"。做法是：把 32×32 的 latent 切成 p×p 的小块，每个小块线性映射成一个向量，也就是一个 token。patch 大小 p 可以取 2、4、8。token 总数 T 等于 (32/p)²：p=2 的时候是 16×16 等于 256 个 token，p=8 的时候只有 4×4 等于 16 个 token。每个 token 再配上 ViT 标准的 sine-cosine 位置编码，告诉网络它在空间上原来在哪个位置。这套东西和 ViT 对图片的做法一一对应，作者刻意保持忠实，为的是继承 transformer 的 scaling 特性。最后一个 block 之后，每个 token 会被线性解码成 p×p×2C 的空间块，一半输出噪声预测、一半输出协方差预测，再重排回 32×32×4 的布局。

小播：那位置信息怎么办？patch 被压平成一维序列，空间关系不就丢了吗？

老播：这就是位置编码的作用，和 ViT 一模一样：每个 token 按它在序列里的位置得到一个用固定公式算出的编码向量，加进 token 表示里。因为是固定公式，没有额外参数，也几乎不增加计算。DiT 的定位是尽量忠实标准 transformer，所以这类细节都直接沿用，不发明新东西——新东西集中在条件注入上。后面讲 adaLN 的时候你会看到，作者把设计空间压缩得很小，刻意只动该动的地方。

小播：patch 大小这个选择有什么讲究？

老播：讲究大了，它是全篇实验设计的关键旋钮。p 减半，token 数变 4 倍，注意力计算量至少翻 4 倍，但参数量几乎不变，因为 patchify 本身是一个共享的小线性层。这就给了你一个干净的开关：单独拨动"计算量"这个变量，把参数量按住不动，来做对照实验。后面 12 个模型的 scaling 曲线，横轴上的跨度全靠它铺出来。这个设计后来被几乎所有 DiT 类模型继承，包括视频生成里对时空做 patchify 的做法——本质上就是把"颗粒度"变成一个可调的旋钮。

核心思想第二步：adaLN，把时间步和类别送进网络

小播：token 有了，那扩散模型特有的条件信息怎么进去？比如噪声时间步 t 和类别标签 c。

老播：这是第二个关键词，也是论文里最值得抄的设计。标准 ViT block 没有条件入口，作者试了三种方式。第一种叫 in-context：把 t 和 c 的 embedding 当成两个额外 token 直接拼进输入序列，网络照常跑，最后把这两个 token 丢掉，几乎不增加计算。第二种叫 cross-attention：在 block 里加一层交叉注意力，让图像 token 去关注条件 token，这是代价最大的方案，约 15% 的 Gflops 开销。第三种叫自适应 LayerNorm，简称 adaLN：把 block 里的标准 LayerNorm 换成自适应版本，用 t 和 c 的 embedding 之和回归出逐维的缩放 γ 和偏移 β，再作用到归一化输出上。

小播：等一下，LayerNorm 的作用我大概知道，是给特征做归一化。那"自适应"是什么意思？

老播：普通 LayerNorm 的 γ 和 β 是网络自己学的一组固定参数，所有输入共享；adaLN 的 γ 和 β 则是根据条件动态算出来的——时间步不同、类别不同，缩放和偏移就不同，等于让条件信息直接调控每一层的特征幅度。实现上，时间步 t 先过一个 256 维的频率编码，再和类别 embedding 相加，过一个 SiLU 激活加一个线性层，输出的维度是隐藏维的 6 倍，用来拆成 γ、β、α 三组参数。

小播：那 adaLN-Zero 又是什么？

老播：是 adaLN 的一个改进。在 adaLN 的基础上，残差连接之前再回归一个逐维的缩放 α，并且把 α 全零初始化。这样每个 DiT block 在训练最开始就是恒等映射——输入是什么，输出就是什么。这个技巧在 ResNet 和扩散 U-Net 里都出现过：把残差块初始化为恒等，大规模训练更稳定。作者把它移植到 transformer 上，效果出乎意料地好。你可以这样理解：网络一开始相当于什么都没做，从"复制输入"这个最保守的起点出发，随着训练逐步放开残差，比从随机初始化的复杂函数出发更容易收敛到好解。

小播：为什么条件注入方式的差距能这么大？能给个解释吗？

老播：论文给的解释比较克制，我们加上自己的理解：in-context 把条件当成普通 token，条件信息要在几十层注意力里慢慢传播，噪声时间步这种对每一步都关键的信息容易被稀释；cross-attention 的信息路径直接，但多一层注意力增加约 15% 的计算；adaLN 把条件直接调制每一层的特征分布，信息零距离到达每个 block，代价又几乎为零。而 α 零初始化的恒等起点，让网络从最平稳的状态开始学，大规模训练更稳。这两点——条件信息的直达程度、训练的起始条件——合在一起，就解释了为什么 adaLN-Zero 同时拿到最低的 FID 和最低的额外计算。

小播：对了，adaLN-Zero 里的 block 内部结构是标准的吗？

老播：标准。每个 DiT block 就是 ViT 那套：LayerNorm、多头自注意力、残差，再 LayerNorm、逐点前馈 MLP、残差。adaLN 改动的是把两个 LayerNorm 换成自适应版本，adaLN-Zero 再多一个 α 作用在残差前面。除了条件注入，没有其他定制。这恰恰是论文的策略：主干保持普通，把设计空间压缩到三个维度——patch 大小、block 的条件注入方式、模型规模——这样每个维度的贡献都能单独度量，不会互相纠缠。

小播：好到什么程度？给数字。

老播：这是全篇最有力的一个消融。四个 DiT-XL/2 变体，除了条件注入方式不同，其他一切相同，都训练 400K 步、都在 ImageNet 256×256 上、超参完全一样。结果：in-context 的 FID-50K 是 35.24，cross-attention 是 26.14，adaLN 是 25.21，adaLN-Zero 是 19.47。FID 是衡量生成质量的指标，越低越好，用 5 万张生成图和真实图算分布距离。adaLN-Zero 的分数接近 in-context 的一半，而且它的计算量 118.6 Gflops 比 cross-attention 的 137.6 还低。这个消融说明：条件注入怎么设计，对质量的影响比模型规模本身还敏感，这是全篇最重要的工程结论之一，后面讲 scaling 曲线的时候你会看到，同样的计算量差距，靠换条件注入方式能拿到的收益相当可观。

核心思想第三步：训练公式还是老一套

小播：换了骨干，训练目标是不是也要改？公式还是原来那套吗？

老播：完全一样，这也是论文的卖点之一——架构换了，训练配方原样照搬，连超参都没调。这里有个公式，先给预期：它说的是，训练时给干净数据加噪，然后让网络预测我们加进去的噪声，用最简单的均方误差当损失。式子这样写：L = ‖ε_θ(z_t, t, c) − ε‖²。每个符号的意思：z_t 是加了 t 步噪声之后的 latent，ε 是我们加的、已知的标准高斯噪声，ε_θ 是网络的预测，t 和 c 是条件。为什么这么简单的目标能成立？因为 DDPM 那套理论证明，学会预测噪声，就等价于学会逆转加噪过程；采样时从纯噪声出发，按学到的反向过程一步步走 1000 步，就得到图片的 latent，再解码成图。

小播：那噪声具体怎么加？也说一下。

老播：加噪过程一句话：x_t = √ᾱ_t · x₀ + √(1−ᾱ_t) · ε。先给预期，这个式子回答"中间时刻的带噪样本长什么样"。x₀ 是干净 latent，ε 是标准高斯噪声，ᾱ_t 是一个随 t 递减的常数调度，决定噪声占比。t 小的时候 √ᾱ_t 接近 1，样本基本是干净的；t 大的时候噪声项主导，样本接近纯噪声。训练时每个样本随机抽一个 t，加一次噪，让网络去猜 ε。DiT 沿用 ADM 的配置：时间步上限 1000，线性噪声调度从 1e-4 到 2e-2，另外用完整的 DKL 项单独训练协方差预测 Σ_θ——协方差决定每一步采样时加多少随机性，这块继承 ADM 的参数化，作者明确说一个超参都没调，为的是让架构对比干净。

小播：还有一个细节，训练稳定性。transformer 训练不是经常要 warmup 吗？

老播：对，很多 ViT 训练都需要学习率预热和正则化，否则训练会炸。DiT 的作者报告了一个反常规的现象：他们用常数学习率 1e-4、batch 256、AdamW、无 weight decay、只用水平翻转做增广，所有规模的模型训练都稳定，没有出现 loss spike。EMA 权重衰减设 0.9999，所有报告的指标都用 EMA 模型算。作者把训练配方固定下来，全部继承 ADM，这样 12 个模型之间的差异就只来自架构和计算量，scaling 结论更干净。

小播：采样的时候怎么用类别条件？不是直接喂进去就行吗？

老播：直接喂类别可以，但质量差一截。作者用 classifier-free guidance，公式是 ϵ̂ = ϵ_θ(z_t, ∅) + s·(ϵ_θ(z_t, c) − ϵ_θ(z_t, ∅))。先给预期：这个式子让采样结果偏向类别 c，s 越大越像 c、多样性越低。ϵ_θ(z_t, ∅) 是无条件预测，来自训练时随机把类别丢弃、替换成空标签 ∅ 的那条通路；s 是引导强度，论文主实验取 1.5。有个细节：guidance 只作用在 latent 的前 3 个通道上，效果和全部 4 个通道差不多，作者自己都说这个现象有点意外，留给未来研究。guidance 的收益非常大，后面讲成绩表的时候你会看到，同一个模型加不加强度 1.5 的引导，FID 从 9.62 掉到 2.27。

关键实验一：条件注入的消融

小播：实验部分从哪张图开始看？

老播：先看条件注入消融，也就是论文的图 5。横轴是训练步数，从 100K 到 400K，纵轴是 FID-50K，越低越好。四条曲线对应四种注入方式，全程 adaLN-Zero 压在最下面，也就是一直最好，100K、200K、300K、400K 每个阶段都是。400K 步终点我们刚说过：35.24、26.14、25.21、19.47。这张图的含义：模型规模、patch 大小、训练配方完全相同的条件下，只改条件注入方式，FID 就能差接近一倍。如果你想抄 DiT 的配方，adaLN-Zero 这一项必须抄，它同时是最省计算和最好用的方案。

关键实验二：那条 scaling 曲线

小播：接下来是著名的 scaling 曲线？

老播：对，这是全篇的核心证据。作者训练了 12 个模型：模型规模四档 S、B、L、XL，patch 三档 8、4、2，两两组合。模型配置照搬 ViT：S 是 12 层、隐藏维 384，B 是 12 层、768 维，L 是 24 层、1024 维，XL 是 28 层、1152 维。全部 12 个模型训练 400K 步，超参完全相同。图 8 把 12 个点画在 log-log 坐标里，横轴是 transformer Gflops，从 0.36 到 118.64，纵轴是 FID-50K，算出的对数相关系数是 -0.93，几乎就是一条直线。

小播：-0.93 意味着什么？

老播：意味着计算量和质量之间有很强的单调关系，你可以拿它当预测工具。最有力的一对数据是 S/2 和 B/4：S/2 是 6.06 Gflops，FID 68.40；B/4 是 5.56 Gflops，FID 68.38。这俩计算量差不多，FID 几乎一样，但参数一个 33M、一个 130M，差将近 4 倍。反过来看同一模型减 patch：XL 从 p=8 换到 p=2，参数基本不变，FID 从 106.41 一路降到 19.47。这两组对照合起来就一句话：决定质量的是前向计算量 Gflops，参数数只起次要作用。这是全篇最想让你记住的结论，我们收尾还会再说一遍。

小播：图 6 那张分上下两排的图呢？也是 scaling 证据吗？

老播：对，图 6 展示的是训练过程中的 FID 曲线，横轴是训练步数，纵轴是 FID。上排固定 patch 大小、模型从 S 变到 XL，能看到更大的模型全程压着更小的模型；下排固定模型、patch 从 8 变到 2，同样一路改善。这张图的重点在"全程"两个字：不是只有 400K 步终点有效，从训练一开始，更大计算量的模型就领先，说明这是稳定的规律，而不是某个随机种子或某个训练阶段的偶然。论文里还配了一张同种子对比图，图 7：12 个模型用完全相同的初始噪声、完全相同的类别标签去采样，排成网格，从左到右模型变大、从上到下 patch 变小，肉眼就能看到画面从模糊色块变成清晰物体，比数字更有说服力。

小播：除了模型本身的计算量，训练总计算量有没有类似规律？

老播：有，论文的图 9 画的是训练总计算，估计方法是模型 Gflops 乘 batch 256 乘训练步数再乘 3，那个 3 是近似把反向传播算成两倍前向、再加一些边角开销。结论：大模型在相同训练预算下更高效。XL/4 和 XL/2 的曲线在约 1e10 Gflops 的地方交叉，之后 XL/2 一直领先；小模型就算多训很多步也追不上大模型。这跟语言模型的 scaling law 是一致的：把算力花在更大的模型上，比花在更长的训练上划算。作者还在附录里确认，同样的规律对 Inception Score、Precision 这些其他指标也成立，其中 IS 和 Precision 受益甚至更多。

小播：这条 -0.93 的曲线能叫 scaling law 吗？

老播：作者很克制，全篇只用 scaling properties，没用 scaling law 这个词。原因也实在：只有 12 个点、最大到 675M 参数和 118.6 Gflops，样本量撑不起一条"定律"；而且 FID 这种分布距离指标在低值区会变平，对数直线未必能外推。后来确实有工作发现，计算量再往上走，FID 的改善会放缓甚至出现弯曲。所以把它当成"强相关的经验规律"来用，把它当成"定律"去外推，要慎重。这个克制是好事，说明作者清楚自己证据的边界在哪。

小播：那采样的时候多花计算，能不能补救小模型？

老播：论文专门做了这个实验，图 10：把采样步数从 16 加到 1000，发现小模型用更多的采样计算也补不上模型计算的差距。具体数字：L/2 用 1000 步采样，每张图花 80.7 Tflops，FID-10K 是 25.9；XL/2 只用 128 步，每张图花 15.2 Tflops，反而是 23.7。XL/2 用不到五分之一的采样计算，质量还更好。测试时加计算替代不了训练时加规模，这个结论后来被反复引用。

关键实验三：对 SOTA 的最终成绩

小播：最后那张成绩表呢？FID 2.27 是怎么来的？

老播：表 2 是 ImageNet 256×256 类条件生成的全家福。DiT-XL/2 在 400K 步的基础上继续训练到 7M 步，配合 classifier-free guidance，s 取 1.5、作用在 latent 前 3 通道，FID-50K 是 2.27。对比组：此前最优的扩散模型 LDM-4-G 在 cfg=1.5 时是 3.60，GAN 路线的 StyleGAN-XL 是 2.30，像素空间 U-Net 的 ADM-G 是 4.59。所以 2.27 同时破了扩散模型和 GAN 的记录。注意一个细节：DiT-XL/2 不加 guidance、训 7M 步的 FID 是 9.62，2.27 是加 guidance 之后的数，两者要分清楚；只训 2.35M 步、和 ADM 训练量相当的版本，FID 也有 2.55，仍然超过所有旧方法。

小播：512×512 呢？

老播：512 那边训 3M 步的 XL/2 拿到 3.04，超过了所有此前的扩散模型，上一任扩散最优 ADM-G+U 是 3.85；不过 GAN 路线的 StyleGAN-XL 在 512 上是 2.41，仍然排第一，所以论文在 512 上的措辞是"超过所有此前扩散模型"，没有说全面超过。计算效率依然亮眼：512 下 DiT 是 524.6 Gflops，ADM 是 1983，ADM-U 是 2813，只有五分之一左右。作者还测了 recall 指标，DiT 在多个 guidance 强度下都比 LDM-4 和 LDM-8 高，说明提升 FID 的同时没有牺牲多样性。

小播：guidance 强度怎么选？越大越好吗？

老播：要谨慎。guidance 强度 s 越大，样本越贴着类别走、细节越锐利，但多样性下降，FID 也不是一直变好。256×256 下 s=1.25 时 FID 是 3.22，s=1.5 时是 2.27，再往上会回升；附录展示样本时，256 的模型用了 s=4.0，512 的用了 s=6.0，为的是突出清晰度。所以 2.27 这个数依赖一个手工选的强度，这也是论文局限的一部分。作者对评估细节很谨慎，所有 FID 都用 ADM 的 TensorFlow 评估套件、250 步 DDPM 采样，还专门在附录里测了三种 VAE 解码器权重——同一个模型换解码器，FID 从 2.46 变到 2.30、再到 2.27，说明最终数字对 VAE 这一环也敏感。

谱系定位：它处在哪条路线上，JiT 怎么跟它对着干

小播：那它在整个生成模型谱系里是什么位置？

老播：两条线的交汇。第一条线是 latent diffusion：LDM 证明在 VAE 压缩过的空间里训练扩散模型，计算省一个量级，DiT 直接继承这套框架和现成的预训练 VAE。第二条线是架构统一：ViT 在识别任务里取代了卷积，DiT 把同样的结论搬到生成任务。和 ADM 比，DiT 证明了骨干可以替换，而且换完之后计算量低一个量级、质量更好；和 LDM 比，在同一个 latent 空间里，把 U-Net 换成 transformer 本身就把 256×256 的最优 FID 从 3.60 压到 2.27；和 StyleGAN-XL 比，它终结了 GAN 在类条件 ImageNet 256 分辨率上的领先。后续的 PixArt、Stable Diffusion 3、Sora，骨干基本就是 patchify 加 adaLN 这个配方，视频生成和 VLA 模型的骨干也大量以 DiT 为模板。

小播：能不能举几个具体的下游例子，说明这个模板怎么被套用？

老播：可以。PixArt 直接把 DiT 的 patchify 和 adaLN 拿去做文生图，把类别条件换成文本条件；Stable Diffusion 3 用 MM-DiT，把文本和图像两路 token 放进同一个 transformer 里联合处理；Sora 把视频 latent 切成时空 patch，条件注入也是 adaLN 那一套的变体；机器人这边，很多视频预测模型和策略模型直接把 DiT 当骨干，输入从图像 token 扩展到动作加观测。它们共享的正是 DiT 验证过的那件事：标准 transformer 加合理的条件注入，在扩散目标下能稳定 scaling。清单里说它是通用模板，就是这个意思——先在 latent 上 patchify 成 token，用 adaLN-Zero 注入条件，叠一堆 block，最后线性解码，这套流程从图片到视频到机器人动作序列都能套。

小播：但提示里还说，它和 He 组的 JiT 形成对比？

老播：对，这点值得展开。DiT 有两个隐含设定：latent 空间加 ε-prediction，也就是让网络预测噪声。预测 ε 有个数学上的麻烦：噪声本身落在数据分布之外，网络每一步的输出都不在数据流形上，等于让网络不断去猜一个结构上"乱"的目标。后来 flow matching 那一派改用 v-prediction，预测速度场，训练更稳、少步采样更好，SD3 和 Sora 都走这条路。而 Kaiming He 组的 JiT，全名《Back to Basics: Let Denoising Generative Models Denoise》，arXiv 编号 2511.13720，走得更远：直接预测干净数据 x₀，也就是 x-prediction。他们的理由是 x₀ 在数据流形上，目标本身是合理图像，网络更容易学；他们还去掉了 VAE tokenizer，在像素空间直接用大 patch 做，认为 tokenizer 的压缩瓶颈反而限制表达。所以对比很清楚：DiT 是 latent 空间加 ε-prediction 的代表，JiT 是像素空间加 x-prediction 的代表，两条路线在视频生成和一步生成的研究里长期并存。

小播：也就是说，DiT 的配方也不是终点？

老播：它是一块里程碑，但留下了参数化的空白：论文只系统测了 ε-prediction 一种，没比较 ε、v、x 三种预测目标。这个空白正好被后面的工作填上，我们马上讲局限。

局限：论文自承的，和我们读出来的

小播：那这篇论文有什么短板？别只说好话。

老播：先说论文自己承认的三条。第一条，训练配方全部继承 ADM，学习率、Adam 参数、weight decay 一个都没调，所以架构收益之外可能还有配方红利没被挖出来。第二条，256×256 训到 7M 步、512×512 训到 3M 步，FID 曲线还没饱和，继续训还会更好，所以 2.27 和 3.04 代表的是给定算力下的成绩，不是架构上限。第三条，guidance 只作用在 latent 前 3 个通道就有接近全通道的效果，作者自己说这现象有点意外，留给未来工作。

小播：你们自己读出来还有什么问题？

老播：四条。第一，生成质量的天花板被 frozen VAE 卡住：latent 是 8× 下采样压缩出来的，高频细节在编码时就丢了，DiT 只能在 latent 里修补；论文声称能无修改搬到像素空间，但没有做对照实验，所以"骨干无关空间"这个说法没有直接证据。第二，评测只在类条件 ImageNet 上，没覆盖文生图、视频、跨模态这些更接近真实应用的设定，guidance 强度 1.25、1.5、6.0 都是手工选的，没有自适应策略。第三，scaling 曲线只到 675M 参数和 118.6 Gflops，更大规模的 extrapolation 没有验证，后来的工作发现 scaling law 在高计算区会有弯曲，不能直接外推。第四，就是刚才说的参数化问题：只测了 ε-prediction，而后续工作证明预测目标的选择影响训练效率和少步采样能力，这正是 JiT 后来发难的切入点。

收尾：记住这三件事

小播：最后总结一下，这期该记住哪三件事？

老播：第一，patchify 是 DiT 的入口设计：把 latent 切成 patch 当 token，patch 大小是控制计算量的旋钮，p 减半 token 数翻 4 倍、参数不变。第二，条件注入用 adaLN-Zero：用时间步和类别的 embedding 回归每层的 γ、β、α，α 零初始化让 block 从恒等开始，400K 步时 FID 19.47，接近 in-context 变体 35.24 的一半。第三，scaling 曲线：12 个模型在 log-log 坐标里 Gflops 和 FID 的相关是 -0.93，S/2 和 B/4 用相近的计算量拿到几乎相同的 FID，说明决定质量的是前向计算量而不是参数数。把这三件事串起来，你就理解为什么 DiT 成了视频和 VLA 模型的通用骨干模板。

老播：最后补一句它对后续的意义。DiT 证明了扩散模型可以接入 transformer 的 scaling 红利，这条路线直接通到 Stable Diffusion 3 和 Sora；同时它留下的参数化问题和 latent 瓶颈问题，催生了 flow matching 的 v-prediction 和 He 组 JiT 的 x-prediction 两条新路线。读 DiT，读到的是一块地基：它把"骨干"这个变量从扩散模型里解放了出来，后续所有架构创新都是在这块地基上盖楼。