D5：LayerNorm 收益及其解释与已有研究的对照

先看结论：归一化改善训练已有研究，但本报告测得的 LayerNorm 收益尚未被候选几何指标解释。初始化固定核对收益方向的预测与真实训练相反；这一具体对照未找到直接前作，原因仍未定位，也不等于新颖性确认。本页是摘要级文献对照，沿用原检索记录，本次仅修改文字。

本页把 D5 报告「结论」节的每条命题逐条对照已有文献，给出「这条结论文献里是否已经讨论过」的判定。检索使用 arXiv API 与 OpenAlex（2026-10-11），判定基于论文标题、作者、年份与摘要，尚未逐篇精读全文。重要提醒：D5 全篇研究的是固定宽度、固定 head、GELU、SGD 的小 MLP 上「同宽度开 LN」的收益机制，用 hidden Gram 条件数与固定初始化 Jacobian 核做中介量；这与文献里主流的「normalization 平滑损失面 / 加速优化」是同一大主题，但中介量和对照构造不同。

「未找到直接前作」仅指原检索范围内没有找到直接对应的研究，不等于新颖性确认；扩大检索或阅读全文后，判断可能改变。D5 的对照对象是四个 development（开发条件，未封存）函数和下列训练配置：width64、固定 head、GELU、SGD lr=.001/mom0/weight_decay1e-4、batch64、256步，属 development，不外推真实网络。

已知的归一化收益与尚未解释的预测冲突

逐条对照：收益测到了，哪些解释没有通过检验

Q. 核心命题：LN 同宽度收益的机制未确立

「normalization 为什么能帮优化」是长期开放且仍在争论的问题。D5 把问题收窄为：在固定宽度、固定 head 的受控 MLP 里，LN 相对 noLN 的真实收益由哪个初始化几何量中介——条件数、目标 Rayleigh 商、均值耦合，还是初始化 Jacobian 核。

• Santurkar et al. (2018)：直接用实验反驳「BN 靠减小内部协变量偏移」，主张 BN 通过让损失面更平滑来加速优化；但该工作本身写道 BN 收益的原因此前「mostly hypothetical」，即机制问题当时并未解决。
• Lyu, Li & Arora (2022)：把 normalization 的泛化收益归到 sharpness reduction，属于对「机制」的另一条主张。
• Karakida et al. (2019)：用 Fisher 信息矩阵量化参数空间几何，发现最后一层 BatchNorm 能显著降低病理 sharpness，但LayerNorm 不能——这与 D5「LN 降低 hidden Gram 条件数」的读数直接形成张力。

判定：部分已知。「normalization 收益机制未定」是被反复承认的开放问题，且已有若干互相竞争的机制主张；但 D5 用固定核方向冲突来刻画「机制未确立」这一具体受控负结果，未检索到直接前作。

C1. LN 相对 noLN 的真实 train chord 收益

20/20 配对中 LN 的 train chord 差值均为负（−0.288059215～−0.027001544），即有 LN 时偏移收益更大。

• Ba, Kiros & Hinton (2016)：Layer Normalization 原始工作，主张 LN 稳定训练、加速收敛。
• Santurkar et al. (2018)：给出 BatchNorm 改善优化（更平滑、梯度更可预测）的实验证据。
• Kohler et al. (2018)：证明 BatchNorm 通过长度-方向解耦在若干设定下可证加速。
• Xu et al. (2019)：专门分析 LN 的梯度与参数，讨论其为何有帮助。

判定：已知。「归一化层让训练变好」是已确立事实的多次复现；D5 的价值在于用 chord 这一具体指标和固定 head 的小系统复核，而非首次发现该现象。

C2. LN 降低 Gram 条件数，但不足以解释收益大小

终点 hidden Gram 条件数下降通过 12/12 函数×offset 单元、54/60 seed 配对；但 offset0 的 $\Delta\log_{10}\kappa$ 与 $\Delta C$ 相关 $r=.420774419$，未达注册 0.5。

• Santurkar et al. (2018)：normalization 改善损失面「平滑度/可预测性」的经典论述，是「条件数/曲率类量中介收益」这一思路的来源。
• Karakida et al. (2019)：用 Fisher 谱直接测 sharpness，且明确区分 BatchNorm（能降）与 LayerNorm（不能降），提示「LN 降低条件数」并非无条件成立。
• Huang et al. (2020)：提出 layer-wise conditioning analysis，用逐层条件数刻画 DNN 学习动力学。
• Cai et al. (2021)：把 InstanceNorm 解释为一种 preconditioner，并用「条件数类」量解释收敛更快。
• Yao et al. (2019)：PyHessian 分析显示 BatchNorm 并不必然让损失面更平滑，说明「条件数降低」与该门收益的关系并不稳定。

判定：部分已知。「归一化 = 预条件、会改变曲率/条件数」已有文献；但「条件数下降与收益量的相关只有 .42、不足以解释收益大小」是一个负结果，未检索到同构对照。

C3. 目标 Rayleigh 商升高，仍不足以解释收益；均值耦合反而增强

共享 hidden Linear 参数的初始化目标 Rayleigh 商在 20/20 配对中提高 83.831–368.100 倍；其收益相关 $r=.394664832$、函数去均值后 $-.076836549$，两项预注册判据均失败。LN 反而把均值到形状的耦合放大 2,355.235–129,377.971 倍。

• Shan & Bordelon (2021)：系统研究 NTK 与目标函数的 alignment（核-目标对齐）机制，说明「核向目标方向对齐」是训练中的常见结构性变化。
• Cha et al. (2026)：用 weight Gram 矩阵刻画深度网络的逐层线性化顺序，涉及「核/表示几何」随训练演化的度量。

判定：部分已知。「目标对齐/核-目标几何」是有文献的概念（alignment 家族）；但「Rayleigh 商显著升高却不与收益相关、均值耦合反被放大」这一对负结果是本轮的受控发现，未检索到直接前作。

C4. 固定核预测方向与真实训练冲突

只用 input 与三个 hidden Linear 的初始化 Jacobian 构造固定核时，一步与 256 步的 LN−noLN 预测均 20/20 为正，而真实 train 的 20/20 差为负，方向匹配 0/20；把一步延长到 256 步没有修正方向。

• Chizat, Oyallon & Bach (2019)：形式化「lazy training」——参数几乎不动、模型被线性化的区域，明确指出线性化描述只在特定尺度下成立、离开该区域会失效。
• Geiger et al. (2020)：在深度网络中区分 feature training 与 lazy training 两类动力学。
• Cha et al. (2026)：weight Gram 矩阵捕捉逐层特征线性化，讨论固定核/线性化视角的适用范围。

判定：未找到直接前作。固定核或线性化预测可能偏离真实训练，这是已有研究讨论的问题；但用固定初始化 Jacobian 核预测归一化收益的方向并系统性反号（0/20），原检索未找到直接前作。

C5. 补入 LN affine 不能单独修复方向冲突

把原训练可更新的 LN affine（scale 与 bias）Jacobian 加入固定核后，256 步预测仍与真实 train 方向 0/20 匹配，未达注册 16/20。

• Xu et al. (2019)：分析 LN 的 gain/bias 参数对梯度与优化的作用。
• Zhao et al. (2024)：在 Adalayer 消融中发现，对最后一层与 LayerNorm 参数的逐层自适应对保持性能与学习率稳定性是必要的。

判定：部分已知。「LN 的 affine 参数重要」有文献支持；但「仅补齐 LN affine 的初始化 Jacobian 不足以修复固定核的方向冲突」是具体负结果，属对已知事实的受控限定。

C6. 按实际小批量顺序计算，仍未修正固定核的预测方向

固定共享 Linear+LN affine 核采用旧实际 batch64 顺序后，$\Delta C$ 仍全正（+0.014394736～+0.042791743），方向匹配 0/20；相对全批量最大变化 0.000671323，20/20 落在注册 0.005 容差内。

• Masters & Luschi (2018)：系统研究小批量/大批量对训练与泛化的影响，说明 batch 噪声本身是一类已知的系统性因素。
• Yao et al. (2019)：BatchNorm 的批统计噪声与其对损失面影响的细化分析。

判定：部分已知。小批量与全批量的差异是已知研究方向；但「把批次算子从全批量换成真实 batch64 顺序几乎不改变该固定核预测、且不修复方向」是具体负结果，未检索到同构对照。

C7. 固定核为何预测反向，原因仍未确定

在上述 20 配对里补入 LN affine 仍为 0/20 匹配；核漂移（Jacobian 随训练变化）与 weight decay 仍未区分。本次只区分了固定核的批次算子，真实非线性训练中的小批量作用仍未知。

• Chizat et al. (2019)；Geiger et al. (2020)：核漂移 / feature learning 的框架，说明为何固定核可能捕捉不到真实动力学。
• Boursier et al. (2025)：weight decay 让损失面更有利需要足够大的过参数化与初始化条件，说明 decay 与几何的关系对设定敏感。

判定：未找到直接前作。这个对照的失败原因仍未确定。核漂移、weight decay、小批量各自都有研究，但原检索未找到直接对应的对照；列出候选原因不等于解释了机制。

相关文献

1. Ba, J. L., Kiros, J. R., & Hinton, G. E. (2016). Layer normalization. arXiv:1607.06450 · doi:10.48550/arxiv.1607.06450
2. Boursier, É., Bowditch, M., Englert, M., & Lazić, R. (2025). Favorability of loss landscape with weight decay requires both large overparametrization and initialization. arXiv:2505.22578
3. Cai, T., Luo, S., Xu, K., He, D., Liu, T.-Y., & Wang, L. (2021). GraphNorm: a principled approach to accelerating graph neural network training. ICML 2021. arXiv:2009.03294
4. Cha, T., Beaglehole, D., Radhakrishnan, A., & Lee, D. (2026). The weight Gram matrix captures sequential feature linearization in deep networks. arXiv:2605.06258
5. Chizat, L., Oyallon, E., & Bach, F. (2018). On lazy training in differentiable programming. NeurIPS 2019. arXiv:1812.07956
6. Geiger, M., Spigler, S., Jacot, A., & Wyart, M. (2020). Disentangling feature and lazy training in deep neural networks. J. Stat. Mech.. doi:10.1088/1742-5468/abc4de
7. Huang, L., Qin, J., Liu, L., Zhu, F., & Shao, L. (2020). Layer-wise conditioning analysis in exploring the learning dynamics of DNNs. ECCV 2020. arXiv:2002.10801
8. Karakida, R., Akaho, S., & Amari, S. (2019). The normalization method for alleviating pathological sharpness in wide neural networks. NeurIPS 2019. arXiv:1906.02926
9. Kohler, J., Daneshmand, H., Lucchi, A., Zhou, M., Neymeyr, K., & Hofmann, T. (2018). Exponential convergence rates for batch normalization: the power of length-direction decoupling in non-convex optimization. arXiv:1805.10694
10. Liu, C. Y., & Flanigan, J. (2023). Understanding the role of optimization in double descent. NeurIPS 2023 Workshop on Optimization for Machine Learning. arXiv:2312.03951
11. Lyu, K., Li, Z., & Arora, S. (2022). Understanding the generalization benefit of normalization layers: sharpness reduction. NeurIPS 2022. arXiv:2206.07085
12. Masters, D., & Luschi, C. (2018). Revisiting small batch training for deep neural networks. arXiv:1804.07612
13. Ni, Y., Guo, Y., Jia, J., & Huang, L. (2024). On the nonlinearity of layer normalization. arXiv:2406.01255
14. Qiao, S., Wang, H., Liu, C., Shen, W., & Yuille, A. (2019). Rethinking normalization and elimination singularity in neural networks. arXiv:1911.09738
15. Santurkar, S., Tsipras, D., Ilyas, A., & Madry, A. (2018). How does batch normalization help optimization? NeurIPS 2018. arXiv:1805.11604
16. Shan, H., & Bordelon, B. (2021). A theory of neural tangent kernel alignment and its influence on training. arXiv:2105.14301
17. Wei, M., Stokes, J., & Schwab, D. J. (2019). Mean-field analysis of batch normalization. arXiv:1903.02606
18. Xiong, R., Yang, Y., He, D., Zheng, K., Zheng, S., Xing, C., Zhang, H., Lan, Y., Wang, L., & Liu, T.-Y. (2020). On layer normalization in the transformer architecture. ICML 2020. arXiv:2002.04745
19. Xu, J., Sun, X., Zhang, Z., Zhao, G., & Lin, J. (2019). Understanding and improving layer normalization. NeurIPS 2019. arXiv:1911.07013
20. Yao, Z., Gholami, A., Keutzer, K., & Mahoney, M. W. (2019). PyHessian: neural networks through the lens of the Hessian. IEEE BigData 2020. arXiv:1912.07145
21. Zhao, R., Morwani, D., Brandfonbrener, D., Vyas, N., & Kakade, S. (2024). Deconstructing what makes a good optimizer for language models. ICLR 2025. arXiv:2407.07972

原检索范围与尚未核验的内容

原检索词包括 LayerNorm optimization、batch normalization optimization、conditioning loss landscape、Gram matrix condition number、normalization gradient、target alignment neural tangent kernel、lazy training differentiable programming、mini-batch full-batch、weight decay loss landscape。原记录注明引用条目经 arXiv API / OpenAlex 返回信息核对，判断基于标题、作者、年份与摘要。本次文字修订未重新核验文献。未核验全文，也不构成新颖性结论：「未找到直接前作」只说明原检索没有找到直接对应的研究。

词义与对象提醒：文献主流研究的是 BatchNorm 的优化收益（Santurkar、Kohler、Wei、Lyu 等），或 LN 在 Transformer 中的位置/参数作用（Xiong、Xu、Ni 等）；D5 研究的是固定宽度、固定 head 的小 MLP上 LN 相对 noLN 的 chord 收益，并用 hidden Gram 条件数与固定初始化 Jacobian 核做中介量。因此「现象同、构造不同」被标为部分已知。尤其 Karakida et al. (2019) 明确报告 LayerNorm 不能降低病理 sharpness，与 D5「LN 降低 hidden Gram 条件数」读数构成需要进一步对齐的矛盾。D5 的结论只覆盖四个 development 函数与所列 recipe，不外推其他函数、width、优化器、小批量真实动力学或 sealed OOD（封存的分布外条件）。