D9：小批量噪声与风险最低点的已有研究对照

先看结论：小批量噪声及线性模型的均值、协方差递推已有理论。本报告的重点是给出指定条件下最低点移动的数值，并保留较高学习率预测失败和逐位核验失败。各条均有相关文献，具体位移不能推出连续的批量单调律；未找到直接前作也不等于新颖性确认。本页是摘要级文献对照，沿用原检索记录，本次仅修改文字。

本页把 D9 报告「结论」节的每条命题逐条对照已有文献，给出「这条结论文献里是否已经讨论过」的判定。检索使用 arXiv API 与 OpenAlex（2026-10-11），判定基于论文标题、作者、年份与摘要，尚未逐篇精读全文。重要校正：D9 标题里的「有效时间」不是系统/HPC 的 effective training time（训练有效时间占比）；它对应的是小批量噪声（minibatch noise）与梯度噪声尺度（gradient noise scale）这一族——即噪声强度如何随批量大小、学习率与训练进程改变训练的时间标定与风险最低点位置。

D9 的对照对象是固定特征 ReLU 线性头、n=64、d=4、无动量全批量/小批量 SGD 的 development 实验。报告自己已声明：其中「固定特征线性头的均值/协方差矩递推」属于已知解析理论，不是本方向的新发现。因此本页的重点，是判断 D9 各条受控测量中，哪些是文献早已确立的规律，哪些只是本轮的数值边界。

已有噪声理论与最低点移动的具体测量

逐条对照

F1. 降低学习率不能让全部八轨迹最低点回到两倍范围

固定标签噪声、B=8/32、σ²=0.25/0.5/1、seed411–414、M=8，η 从 0.3 降到 0.1 且 $\eta T=230.4$ 不变时，同标签全批量最低点比值两档均为 22/24 落入 $[0.5,2]$；18/24 配对 cell 的偏离量 $d$ 减小；但所有配对变化的 bootstrap 区间跨零。

• McCandlish et al. (2018)：提出梯度噪声尺度预测「最大有效批量」——学习率与批量只能在有限范围内互换，超过临界批量后简单放大不再等效。
• Ziyin et al. (2022)：在局部极小附近系统研究小批量噪声，说明大学习率/小批量下噪声偏离简单标定。
• Bordelon & Pehlevan (2022)：在 MSE 下精确求解 SGD 的测试损失曲线，最优批量取决于特征相关结构，说明批量与学习率的交互是条件依赖的。

判定：部分已知。「批量与学习率不能用统一系数互换、其交互条件依赖」已有理论与实验；D9 的贡献是在固定特征线性头上给出 22/24 与跨零区间的受控边界，而非首次发现该现象。

F2. 选择不同的全批量基准，会改变最低点时间比值

η=0.1、M=8 网格中，对标签噪声取期望的分母使 20/24 落入 $[0.5,2]$，固定同一次标签噪声的分母使 22/24 通过；前一口径同时含标签噪声实现差异，不能把旧位移全部归因于小批量。

• Ziyin et al. (2022)：把 SGD 噪声分解为小批量抽样与标签噪声成分，并对线性回归给出解析。
• Liu, Ziyin & Ueda (2021)：分别刻画有限学习率下的小批量噪声与协方差，为区分两类噪声提供框架。

判定：部分已知。文献已把 SGD 噪声分解为标签噪声与小批量抽样两类，两类噪声的实现差异是已知概念；至于「用哪个分母、通过计数如何变化」属 D9 的测量约定（协议依赖），未检索到直接前作。

F3. 增加轨迹后两个反例回到两倍内

固定 η=0.1、B=8、σ²=1、seed411/412，M 从 8 补到 64 后，同标签比值由 2.142857/2.784314 变为 1.163265/0.767974；独立第二块（r=64–127）为 1.142857/1.284314，两块 95% 条件区间上界均 $<2$。

• Ziyin et al. (2022)：小批量噪声的强度与批量大小成反比，说明固定批量下有限轨迹估计的抽样误差随 M 收缩。
• Liu, Ziyin & Ueda (2021)：给出小批量噪声与固定点附近协方差的解析，支撑「有限 M 是候选解释」。

判定：部分已知。「小批量 Monte Carlo 噪声随轨迹数收缩」是已知统计性质；把具体反例归因于有限 M 并给出两块独立验证，是 D9 的受控判定与测量，两块通过本身不证明精确期望通过。

F4. 条件期望下两个最低点在两倍内（矩递推）

固定数据与标签噪声，η=0.1、B=8、T=2304 时，条件期望最低点为 50/315 步，同标签全批量为 49/306 步，比值 1.020408163/1.029411765。报告自己声明「已知线性矩递推属于解析理论，不是本方向的新发现」。

• Ziyin et al. (2022)：在线性回归中精确分析小批量噪声与波动，并给出逼近不同类型极小的噪声公式。
• Liu, Ziyin & Ueda (2021)：推导二次损失、含/不含动量的离散时间 SGD 平稳分布与协方差。
• Bordelon & Pehlevan (2022)：精确求解结构化特征下 SGD 的测试损失动力学。
• Chen, Mou & Maguluri (2021)：常步长 SGD 的平稳分布与 Lyapunov 方程协方差。

判定：已知（解析）。固定特征线性头的均值/协方差矩递推与平稳协方差是已有理论；D9 的数值只是复核，不构成新发现。

F5. B=8→4 期望最低点延后 2/9 步

同数据、标签噪声、η=0.1、σ²=1 下，最低点 50/315→52/324 步，相对同标签全批量 1.061224490/1.058823529。注册要求均值与保存 B8 逐位相等的核验在两 seed 均失败（坐标差 $\le 2.309264\times10^{-14}$），该测量保留 partial。

• Bordelon & Pehlevan (2022)：批量大小改变噪声项与测试损失曲线，最优批量依赖于数据结构。
• Ziyin et al. (2022)：噪声强度随 B 变化，改变动力学的时间标定。
• McCandlish et al. (2018)：噪声尺度随损失下降与训练进程变化，批量与学习率的有效换算随之改变。

判定：部分已知。「批量大小进入噪声协方差、改变风险曲线时间尺度」已有理论；具体的 2/9 步位移与逐位核验失败是 D9 的测量，且不构成连续 batch 单调律。

F6. 较高学习率的两项普遍预测失败

η=0.3、M=8、σ²=0.25/0.5/1 下，B=32 落入 $[0.8,1.2]$ 的通过数为 3/4、1/4、2/4；B=8 提前至少 10% 的通过数为 0/4、1/4、2/4。旧失败与原始记录继续有效。

• Ziyin et al. (2022)：明确报告线性学习率–批量缩放规律在大学习率或小批量下失效。
• Keskar et al. (2017)：大批量导致泛化差距，归因于批量决定的梯度噪声及极小点尖锐度差异。
• Sclocchi et al. (2023)：SGD 噪声在不同训练区制下可有益或有害，「噪声何时影响结果」高度依赖区制。

判定：已知。「大学习率/小批量下简单批量换算失效」是 Ziyin et al. (2022) 的明确结论；D9 的 η=0.3 失败是同一现象在受控线性头下的复核。

F7. B=4→2 期望最低点再延后 3/19 步

固定同数据与标签噪声、η=0.1、σ²=1 及 2304 步窗口，最低点 52/324→55/343 步，比值 1.122448980/1.120915033；最低风险增加 0.056821650/0.050625305。新固定 C 布局及事前容差核验通过，旧 B4 逐位核验失败仍保留。

• Ziyin et al. (2022)：有限总体/无放回小批量噪声随 B 变化。
• Liu, Ziyin & Ueda (2021)：小批量噪声协方差随批量变化，改变收敛与波动标定。
• You et al. (2020)：系统研究批量缩放的极限，指出大批量收益并非单调。

判定：部分已知。批量缩放极限与噪声标定已有系统研究；具体 3/19 步位移是 D9 的测量，报告也声明不证明连续 batch 单调律。

相关文献

1. Bordelon, B., & Pehlevan, C. (2022). Learning curves for SGD on structured features. ICLR 2022. arXiv:2106.02713
2. Chen, Z., Mou, S., & Maguluri, S. T. (2021). Stationary behavior of constant stepsize SGD type algorithms: an asymptotic characterization. arXiv:2111.06328
3. Damian, A., Ma, T., & Lee, J. D. (2021). Label noise SGD provably prefers flat global minimizers. NeurIPS 2021. arXiv:2106.06530
4. Keskar, N. S., Mudigere, D., Nocedal, J., Smelyanskiy, M., & Tang, P. T. P. (2017). On large-batch training for deep learning: generalization gap and sharp minima. ICLR 2017. arXiv:1609.04836
5. Liu, K., Ziyin, L., & Ueda, M. (2021). Noise and fluctuation of finite learning rate stochastic gradient descent. ICML 2021. arXiv:2012.03636
6. Li, S., Zhao, P., Zhang, H., Sun, X., Wu, H., Jiao, D., Wang, W., Liu, C., Fang, Z., Xue, J., Tao, Y., Cui, B., & Wang, D. (2024). Surge phenomenon in optimal learning rate and batch size scaling. arXiv:2405.14578
7. McCandlish, S., Kaplan, J., Amodei, D., & OpenAI Dota Team (2018). An empirical model of large-batch training. arXiv:1812.06162
8. Sclocchi, A., Geiger, M., & Wyart, M. (2023). Dissecting the effects of SGD noise in distinct regimes of deep learning. arXiv:2301.13703
9. You, Y., Wang, Y., Zhang, H., Zhang, Z., Demmel, J., & Hsieh, C.-J. (2020). The limit of the batch size. arXiv:2006.08517
10. Ziyin, L., Liu, K., Mori, T., & Ueda, M. (2022). Strength of minibatch noise in SGD. ICLR 2022. arXiv:2102.05375

D9 原检索范围与尚未核验的内容

原检索词包括 minibatch noise、gradient noise scale、critical batch size、optimal step size、SGD stationary distribution、noise covariance、learning curves SGD、large-batch generalization gap、label noise SGD、batch size scaling。原记录注明 arXiv API 持续返回 HTTP 429（限流），遂改用 arXiv 摘要页与 OpenAlex Works API 交叉核对；判断基于标题、作者、年份与摘要。本次文字修订未重新核验文献。未核验全文，也不构成新颖性结论：各条均列为已知或部分已知，是因为都有相关的小批量噪声/噪声尺度文献，不表示每个具体数值都已有前作，也不排除更直接的前作。

词义提醒：文献里的 critical batch size / gradient noise scale 研究的是训练算力效率（最大有效批量），与 D9 关心的「测试风险最低点位置」不是同一问题；D9 的均值/协方差矩递推对应线性回归型 SGD 理论，本身不是新发现。D9 的结论只覆盖固定特征 ReLU 线性头、n=64、d=4、SGD 无动量/weight decay、B=2/4/8/32、σ²=0.25/0.5/1、seed411–414、T=768/2304，属 development，不外推 learned features、其他优化器、连续 η/batch 临界或其他数据合同。