D2:风险回升时间与已有研究的对照

最新状态 · 2026-10-29:D2 原主张已被推翻。 被推翻的是原时间公式的跨任务、扩范围外推:即使各任务分别拟合系数,扩展条件仅 1232/2700 在两倍误差内,12/12 组均未过原 80% 门槛。泛化恶化现象和固定特征下的风险分解不因此失效。本页保留摘要级历史文献对照,不是新颖性确认;具体主张的现行判断以最新 D2 详细报告为准。

先看结论:风险随训练时间变化、早停和标签噪声的影响已有研究。本页对照原扫描中的起点预测与短段幂律;具体指数及其外推失败未找到直接前作,不等于新颖性确认。原扫描的成功不代表跨任务规律成立。本页是摘要级文献对照,沿用原检索记录,本次仅修改文字。

本页把 D2 报告「结论」节的每条命题逐条对照已有文献,给出「这条结论文献里是否已经讨论过」的判定。检索使用 arXiv API 与 OpenAlex(2026-10-11),判定基于论文标题、作者、年份与摘要,尚未逐篇精读全文。重要对应:D2 的「回升起点 / 回升支」在文献里出现于 epoch-wise double descent、early stopping 与 effective model complexity 这一族;D2 的 $\sigma^2$ 对应文献里的 label noise(标签噪声)方差,$U=\eta t$ 对应文献的累计训练时间。

「未找到直接前作」仅指原检索范围内没有找到直接对应的研究,不等于新颖性确认;扩大检索或阅读全文后,判断可能改变。D2 的对照对象是四维高斯输入、目标 $x_0+0.5x_0x_1$、宽度 128 的冻结特征、全批量梯度下降与平方损失的 development 扫描,不外推真实网络或分类任务。

判断标签:已知文献已给出相同或近乎相同的结论 · 部分已知现象或方向相同但对象、坐标或标定不同(例如文献以模型复杂度/epoch 为横轴,D2 以累计训练量 $U=\eta t$ 为横轴)· 未找到直接前作仅指原检索结果,不代表已确认新颖性 · — 需读全文才能定论

已有的风险曲线理论与本报告的具体测量

编号D2 命题(含关键数字)文献状态最近的文献
Q能否用一个标量(回升起点 $\widehat U_{\rm rise}$)由 $n/\sigma^2$ 预测风险何时回升部分已知Bodin & Macris 2021;Nakkiran et al. 2019;Viering & Loog 2021
R1回升起点随 $n/\sigma^2$ 增加;留出预测 57/60 在实测两倍内,实测 $U_{\rm rise}=2.4\text{–}166.5$部分已知Nakkiran et al. 2019;Nakkiran 2019;Xue et al. 2022
R2实测最低点即首次回升转折点;78/78 曲线最低点后下一步升高、至 16384 步无下降区间(网格分辨率 0.3)部分已知Nakkiran et al. 2019;Olmin & Lindsten 2024;Gamba et al. 2022
R3短段回升约按距起点 1.546 次方增长;$C=0.00101845\text{–}0.119553$,原扫描 54/60、其余 17/18 取样点两倍内未找到直接前作Bodin & Macris 2021;Yilmaz & Heckel 2022
R4该幂律不能覆盖整条上升支:延伸至 16384 步时 78/78 超两倍,预测为实测的 4.89–2634.75 倍未找到直接前作Viering & Loog 2021;Klug & Heckel 2022
R5$\sigma^2/n$ 不足以给统一起点系数:相同比值下跨 $n$ 极差 .0158203125→.0740625,「至少减半」被推翻部分已知Nakkiran 2019;Xue et al. 2022;Bartlett et al. 2019
R6不外推到未测协议(学到特征、非线性读出、交叉熵、小批量、其他维度)已知(边界声明)—

逐条对照:起点预测、短段拟合与外推失败

Q. 核心命题:能否用 $n/\sigma^2$ 预测回升起点 $U_{\rm rise}$

D2 的经验式为 $\widehat U_{\rm rise}=\eta\,e^{a}(n/\sigma^2)^{b}$,$b\approx1$;问「训练到什么时候风险回升」能否由样本数与标签噪声预测量化。这条主线文献已经系统讨论过,但横轴通常是模型复杂度或 epoch,而不是累计训练量 $U=\eta t$。

判定:部分已知。「存在一个统一标量刻画风险随训练时间/样本的演化」既有精确理论(Bodin & Macris 的时间路径)也有经验纲领(Nakkiran 的有效复杂度);但把回升起点写成 $(n/\sigma^2)$ 的幂律并给出通过率,未检索到直接前作。

R1. 回升起点随 $n/\sigma^2$ 增加;留出预测 57/60 在两倍内

原 $n=32/64/128$、$\sigma^2=0.25/0.5/1/2/4$ 上,用另两个样本量拟合再预测留出样本量,57/60 起点在实测两倍内,实测 $U_{\rm rise}=2.4\text{–}166.5$(换算前 8–555 步)。

判定:部分已知。「样本越多、噪声越小 ⇒ 过拟合越晚」以及「$n$ 与 $\sigma^2$ 共同决定曲线位置」均为已知;但把起点量化为 $(n/\sigma^2)$ 的幂律、并报告 57/60 的两倍内通过率,未见同构前作。

R2. 实测最低点即首次回升转折点;78/78 至 16384 步无下降

全部 78 条保存曲线都在最低点后的下一步升高,之后到第 16384 步没有下降区间;起点网格分辨率为 0.3。

判定:部分已知。「最低点即过拟合起点、其后风险上升」是 epoch-wise double descent 与早停的定义性事实;但「下一步立即升高、且到窗口末无再下降」这一普查与 double descent 的第二个 descent 形成边界对照,本轮未见同构结果。

R3. 短段回升约按距起点的 1.546 次方增长

$L_{\rm test}(U)-L_{\min}\approx C x^{p}$,$x=(U-U_{\rm rise})/U_{\rm rise}$,$p=1.545565$,$0.1\lesssim x\le1$;$C=0.00101845\text{–}0.119553$。原扫描 54/60 曲线、其余归一化与降噪 17/18 曲线,全部取样点在两倍误差内。

判定:未找到直接前作。文献有上升支的解析与叠加描述,但「距起点 $x$ 的 1.546 次方短段」这一具体指数族,原检索未找到直接前作。

R4. 幂律不能覆盖整条后期上升支(尾部 78/78 失败)

把短段幂律延伸到第 16384 步,78/78 条曲线超过两倍误差,预测回升量为实测的 4.89–2634.75 倍。

判定:未找到直接前作(针对本式)。短段幂律外推失败,限定了该式的适用范围;相关文献提醒「学习曲线形状多样、外推不可靠」,原检索未找到直接对应的尾部失败定量结果。

R5. $\sigma^2/n$ 不足以给统一起点系数

$n32/64$、相同比值格点 128/256、四 seed、共享分布标签归一化后,起点比例系数的跨 $n$ 极差由 $0.0158203125$ 增到 $0.0740625$;「至少减半」的预测被推翻。

判定:部分已知。「单一标量不充分、需谱或多参数」这一方向与 benign overfitting、noise-sample 比文献一致;但「相同 $\sigma^2/n$ 下跨 $n$ 起点系数极差反而增大」这一具体否证结果,未见前作。

R6. 不外推到未测协议

学到特征、非线性读出、交叉熵、小批量、其他目标或输入维度均未测;上升支的 1.545565 幂律只在 $x\in[0.1,1]$ 的短段内描述。

判定:已知(边界声明)。这是对适用范围的限定声明,不是新的经验发现;与「固定核 / 冻结特征」既有理论的适用边界一致。

相关文献

  1. Bartlett, P. L., Long, P. M., Lugosi, G., & Tsigler, A. (2019). Benign overfitting in linear regression. PNAS, 117(48), 30063–30070. arXiv:1906.11300 · doi:10.1073/pnas.1907378117
  2. Belkin, M., Hsu, D., & Xu, J. (2020). Two models of double descent for weak features. SIAM Journal on Mathematics of Data Science, 2(4), 1167–1180. doi:10.1137/20M1336072
  3. Bodin, A., & Macris, N. (2021). Model, sample, and epoch-wise descents: exact solution of gradient flow in the random feature model. arXiv:2110.11805
  4. d'Ascoli, S., Refinetti, M., Biroli, G., & Krzakala, F. (2020). Double trouble in double descent: bias and variance(s) in the lazy regime. arXiv:2003.01054
  5. Gamba, M., Englesson, E., Björkman, M., & Azizpour, H. (2022). Deep double descent via smooth interpolation. arXiv:2209.10080
  6. Holzmüller, D. (2020). On the universality of the double descent peak in ridgeless regression. arXiv:2010.01851
  7. Klug, T., & Heckel, R. (2022). Scaling laws for deep learning based image reconstruction. arXiv:2209.13435
  8. Liu, F., Suykens, J. A. K., & Cevher, V. (2021). On the double descent of random features models trained with SGD. arXiv:2110.06910
  9. Mei, S., & Montanari, A. (2019). The generalization error of random features regression: precise asymptotics and double descent curve. arXiv:1908.05355
  10. Nakkiran, P., Kaplun, G., Bansal, Y., Yang, T., Barak, B., & Sutskever, I. (2019). Deep double descent: where bigger models and more data hurt. arXiv:1912.02292 · doi:10.1088/1742-5468/ac3a74
  11. Nakkiran, P. (2019). More data can hurt for linear regression: sample-wise double descent. arXiv:1912.07242
  12. Olmin, A., & Lindsten, F. (2024). Towards understanding epoch-wise double descent in two-layer linear neural networks. arXiv:2407.09845
  13. Viering, T., & Loog, M. (2021). The shape of learning curves: a review. arXiv:2103.10948
  14. Xue, Y., Whitecross, K., & Mirzasoleiman, B. (2022). Investigating the impact of model width and density on generalization in presence of label noise. arXiv:2208.08003
  15. Yilmaz, F. F., & Heckel, R. (2022). Regularization-wise double descent: why it occurs and how to eliminate it. arXiv:2206.01378
  16. Zavatone-Veth, J. A., Tong, W. L., & Pehlevan, C. (2022). Contrasting random and learned features in deep Bayesian linear regression. Physical Review E, 105, 064118. arXiv:2203.00573 · doi:10.1103/PhysRevE.105.064118

原检索范围与尚未核验的内容

原检索词包括 double descent、epoch-wise double descent、sample-wise double descent、benign overfitting、label noise、early stopping、optimal stopping time、shape of learning curves、effective model complexity、noise accumulation。原记录注明引用条目经 arXiv/OpenAlex 返回信息核对,判断基于标题、作者、年份与摘要。本次文字修订未重新核验文献。未核验全文,也不构成新颖性结论:「未找到直接前作」只说明原检索没有找到直接对应的研究。

词义提醒:文献里的 double descent 通常以模型复杂度或 epoch 为横轴,D2 以累计训练量 $U=\eta t$ 为横轴、且只关注第一个回升起点与回升支的幂律;两者对象与构造不同。D2 的 $\sigma^2$ 应映射到 label noise 方差这一族。D2 结论只覆盖四维高斯输入、目标 $x_0+0.5x_0x_1$、宽度 128 的冻结特征、全批量梯度下降、平方损失与所列 $n$、$\sigma^2$ 格点,属 development,不外推 learn features、分类、交叉熵、小批量或非线性读出。

摘要级文献对照首版 2026-10-11(北京时间)· 尚未逐篇精读全文 · 网页在 prototype 仓库内维护