D1：等效训练时间与已有研究的对照

先看结论：用标量描述训练进度、动量启动修正和谱模态分析都有已有研究。这里主要对照位移标定在什么条件下失准；部分具体阈值和反例未找到直接前作，这不等于确认了新颖性。本页是摘要级文献对照，沿用原检索记录，本次仅修改文字。

本页把 D1 报告「结论」节的每条命题逐条对照已有文献，给出「这条结论文献里是否已经讨论过」的判定。检索使用 arXiv API 与 OpenAlex（2026-10-11），判定基于论文标题、作者、年份与摘要，尚未逐篇精读全文。重要校正：D1 的 $U$（位移标定）在文献里不叫“effective / equivalent training time”——后者是 GPU 集群的运维指标（ETT%）；它的真实对应物叫 effective learning rate（ELR） 与 angular update / rotation。

「未找到直接前作」仅指原检索范围内没有找到直接对应的研究，不等于新颖性确认；扩大检索或阅读全文后，判断可能改变。D1 的对照对象是固定特征二次损失、全批量 SGD/mom0.9 的 development 实验，不外推真实网络。

哪些已有研究，哪些具体对照未找到前作

逐条说明：已有研究说了什么，本报告测了什么

Q. 核心命题：$U$ 能否预测损失进度

$U$ 的定义是沿恒定梯度方向的参数位移标定量；D1 问它能否代表“函数变化了多少”。这条主线文献已经系统讨论过，但用的是另一族标量：有效学习率。

• Liu et al. (2026)：发现 LM 预训练中 loss 动力学主要由 ELR（学习率／参数范数之比）决定；ELR 匹配时不同学习率与范数的 loss 轨迹「collapse」，平均误差约 $10^{-3}$，低于种子间波动。
• Kosson et al. (2024)：提出「旋转量」作为 ELR 代理，跨 Adam、Lion、SGD-momentum 分析，解释 AdamW 优于 Adam。
• Wan et al. (2020)：用「angular update」替代有效学习率刻画训练演化。
• Fu et al. (2023)：用 $\eta_{ef}$ 统一动量系数 $\mu$ 与 batch size 对学习率的影响。

判定：部分已知。“标量统一 loss 动力学”是被反复研究的主题；但文献用的是 ELR/rotation，而 D1 的 $U$ 是位移标定 $G\eta T$，两者不是同一个量。D1 的贡献是给出位移标定的失效边界，而不是首次提出“存在一个统一坐标”。

C1. 普通 SGD：梯度大小只改变标定

8 维单方向目标中，初始梯度 L2 范数从 0.01 改为 0.003，5/5 对照的达标步数相同，归一化损失轨迹最大差约 $3.2\times10^{-15}$，而位移标定变为 0.3 倍。

• van Laarhoven (2017)：L2 正则/权重尺度不改变正则效果，而是通过改变权重大小改变有效学习率——即“尺度改变标定量而非归一化进度”的经典陈述。
• Li, Malladi & Arora (2021)：给出 SDE 近似与线性缩放规则成立的必条件。

判定：已知（基本）。在固定特征二次损失中，整体缩放目标幅度等价于缩放梯度，对归一化损失无影响——这属于已知/平凡事实；D1 是把该事实在受控小系统里复核。

C2. 动量早期换算须扣除启动项

$\eta=0.1$、$\mu=0.9$、$q=0.9$、$h=\eta\lambda=0.0001/0.001$ 时，4/4 配对的实测与启动预测均为 62/12 步；稳态预测为 53/6 步，在 $h=0.001$ 下低估 50%。

• Polyak (1964)：重球法（动量）的经典形式，速度从零启动的二阶递推是已知解析结构。
• Shi (2021)：用 hp-dependent SDE 论证动量下学习率与 $\mu$ 共同决定线性收敛率。
• Fu et al. (2023)：动量与 batch size 通过 $\eta_{ef}$ 统一影响学习。

判定：部分已知。动量稳态缩放 $\eta T/(1-\mu)$ 与启动瞬态都是标准解析结果；D1 的新意只在“0 步误差”的受控数值复核，而非公式本身。

C3. 启动修正不能保证晚期更准

8 维单方向目标、$q=0.01$ 并持续至 $T=40000$ 时，10 个配对中有 6 个的启动预测误差更大（如 $h=0.001$：实测 217 步，稳态预测 231、启动预测 240）。

• Cohen et al. (2021)：edge of stability——学习率大到 $\eta\lambda$ 接近稳定性边界时，晚期损失震荡而非平稳下降，首次达标与持续达标分离。
• Saxe et al. (2014)：多模态下慢模态长期主导，晚期由最慢方向决定。

判定：部分已知（现象）／未找到直接前作（该对照）。“大学习率晚期震荡”已有文献；“启动修正比稳态更差”这一具体对照在原检索中未见前作。

C4. 双方向目标的公式要附占比与损失阈值

2 维、慢/快曲率 0.001/0.5、$q=0.01$ 时：$\alpha=0.02/0.1/0.5$ 两种换算各 3/3 误差≤5%；$\alpha=0.001/0.005/0.009$ 各 3/3 误差≥50%。

• Saxe et al. (2014)：给出慢模态主导的精确动力学，说明为何占比小、曲率差距大时换算会失准。

判定：未找到直接前作。慢模态主导是经典理论，但把“慢方向初始损失占比 $\alpha$ + 阈值 $q$”作为换算准确性的受控边界，原检索未找到直接前作。

C5. 较低损失阈值 $q=.001$ 的准确范围

曲率 0.001/0.05、$q=.001$ 时，$\alpha=0.005/0.009/0.02/0.1/0.5$ 的两种换算 5/5 误差≤5%（稳态 0.09%–0.68%，启动 0.87%–0.97%）。

判定：未找到直接前作。这是同一组离散条件下的阈值扫描，原检索未找到直接对应的结果。

C6. 没有通用占比临界值

曲率 0.001/0.05、$\alpha=q=.001$ 时，积累完成后换算误差 1.12%、启动换算 8.99%，推翻“$\alpha\ge q$ 就都在 5% 内”。

判定：未找到直接前作。这是对候选规则的反例，原检索未找到前作；同时它本身只在两个 $q$ 格点上成立，不能推出连续临界值。

C7. 四种自适应优化器还没有实测通过率

D1 保存的 144 个训练结果只覆盖普通 SGD 与动量 0.9；Adam、AdamW、RMSprop、Adagrad 各有 0 个训练结果。表中公式是指定更新规则下的恒定梯度解析式。

• Duchi et al. (2011)：Adagrad 原始工作。
• Tieleman & Hinton (2012)：RMSprop 课程讲义。
• Kingma & Ba (2015)：Adam 原始工作。
• Loshchilov & Hutter (2019)：AdamW 的解耦权重衰减。
• Wilson et al. (2017)：自适应方法的步长被逐坐标重标定，泛化未必更好。
• Bae et al. (2019)：Adam 的有效学习率在超过某界后无法保持靠近最优点。

判定：已知（解析）/ D1 未测。四类优化器的解析行为在文献中已有；D1 的价值是把公式与“未测”边界明确记录，而不是新增实测。

B01. 把预算/核尺度兑换成一个 $U$ 不足以解释晚期拟合

v1 B01：固定特征全批量下动量递推精确；相同 $U$ 时快模态 45 步充分拟合、慢模态 1024 步仍保留约 74% loss；Adam 坐标依赖。结论：需要目标相关谱，trace 不可替代。

• Saxe et al. (2014)；Jacot et al. (2018)；Advani et al. (2020)：固定核/模态动力学与谱-目标能量决定泛化误差是已知理论。

判定：部分已知。“进度由完整目标加权谱而非单一标量决定”与谱-模态、NTK 文献一致；B01/D1 是受控复核与边界限定。

相关文献

1. Advani, M. S., Saxe, A. M., & Sompolinsky, H. (2020). High-dimensional dynamics of generalization error in neural networks. Neural Networks, 132, 428–446. arXiv:1710.03667
2. Bae, K., Ryu, H., & Shin, H. (2019). Does Adam optimizer keep close to the optimal point? NeurIPS 2019 workshop. arXiv:1911.00289
3. Cohen, J. M., Kaur, S., Li, Y., Kolter, J. Z., & Talwalkar, A. (2021). Gradient descent on neural networks typically occurs at the edge of stability. ICLR 2021. arXiv:2103.00065
4. Duchi, J., Hazan, E., & Singer, Y. (2011). Adaptive subgradient methods for online learning and stochastic optimization. JMLR, 12, 2121–2159.
5. Fu, J., Wang, B., Zhang, H., Zhang, Z., Chen, W., & Zheng, N. (2023). When and why momentum accelerates SGD: an empirical study. arXiv:2306.09000
6. Jacot, A., Gabriel, F., & Hongler, C. (2018). Neural tangent kernel: convergence and generalization in neural networks. NeurIPS 2018. arXiv:1806.07572
7. Kingma, D. P., & Ba, J. (2015). Adam: a method for stochastic optimization. ICLR 2015. arXiv:1412.6980
8. Kosson, A., Messmer, B., & Jaggi, M. (2024). Rotational equilibrium: how weight decay balances learning across neural networks. ICML 2024. arXiv:2305.17212
9. Li, Z., Malladi, S., & Arora, S. (2021). On the validity of modeling SGD with stochastic differential equations. arXiv:2102.12470
10. Liu, Z., Zheng, R., Zhang, S., Tian, C., Chen, K., Zhang, Z., & Wu, L. (2026). Effective learning rate governs loss dynamics in language model pretraining. arXiv:2608.24814
11. Loshchilov, I., & Hutter, F. (2019). Decoupled weight decay regularization. ICLR 2019. arXiv:1711.05101
12. Polyak, B. T. (1964). Some methods of speeding up the convergence of iteration methods. USSR Computational Mathematics and Mathematical Physics, 4(5), 1–17.
13. Saxe, A. M., McClelland, J. L., & Ganguli, S. (2014). Exact solutions to the nonlinear dynamics of learning in deep linear neural networks. ICLR 2014. arXiv:1312.6120
14. Shi, B. (2021). On the hyperparameters in stochastic gradient descent with momentum. arXiv:2108.03947
15. Tieleman, T., & Hinton, G. (2012). Lecture 6.5 — rmsprop: divide the gradient by a running average of its recent magnitude. COURSERA: Neural Networks for Machine Learning.
16. van Laarhoven, T. (2017). L2 regularization versus batch and weight normalization. arXiv:1706.05350
17. Wan, R., Zhu, Z., Zhang, X., & Sun, J. (2020). Spherical motion dynamics: learning dynamics of neural network with normalization, weight decay, and SGD. arXiv:2006.08419
18. Wilson, A. C., Roelofs, R., Stern, M., Srebro, N., & Recht, B. (2017). The marginal value of adaptive gradient methods in machine learning. NeurIPS 2017. arXiv:1705.08292

原检索范围与尚未核验的内容

原检索词包括 effective learning rate、effective/equivalent training time、momentum warmup、linear scaling rule、rotation/angular update、parameter displacement、loss trajectory collapse。原记录注明引用条目经 arXiv/OpenAlex 返回信息核对，判断基于标题、作者、年份与摘要。本次文字修订未重新核验文献。未核验全文，也不构成新颖性结论：「未找到直接前作」只说明原检索没有找到直接对应的研究。

词义提醒：文献里的 “effective training time” 属于系统/HPC（训练有效时间占比），与 D1 的数学 $U$ 无关；D1 的 $U$ 应映射到 ELR / angular update 这一族。D1 的结论只覆盖固定特征二次损失、全批量 SGD/mom0.9、所列曲率谱与阈值，属 development，不外推 Adam、小批量、learned features 或非线性网络。