← 研究总览 · D7 报告 · 背景与文献 · 编辑此页

D7：训练改善与测试风险变化的已有研究对照

先看结论：训练误差更低不保证测试表现更好，这是已知问题。本报告进一步区分模型之间的差距、噪声使差距增大，以及同一模型继续训练后的风险上升；它们不能互相替代。部分具体对照未找到直接前作，不等于新颖性确认，也尚无只看训练信息的前瞻信号。本页是摘要级文献对照，沿用原检索记录，本次仅修改文字。

本页把 D7 报告「结论」节的每条命题逐条对照已有文献，给出「这条结论文献里是否已经讨论过」的判定。检索使用 arXiv API 与 OpenAlex（2026-10-11），判定基于论文标题、作者、年份与摘要，尚未逐篇精读全文。重要提醒：D7 的核心对象是两个容易混淆的量——相对损害 $H=L_{test}(\text{real})-L_{test}(\text{tangent})$（真实网络减切线模型）与 绝对损害 $C=L_{test}(512)-L_{test}(128)$（同一模型两时点的风险差）。文献里的「泛化差距」「双下降」「标签噪声鲁棒性」各自只覆盖其中一部分，不能直接等同。

「未找到直接前作」仅指原检索范围内没有找到直接对应的研究，不等于新颖性确认；扩大检索或阅读全文后，判断可能改变。D7 的对照对象是 d5 Gaussian、train32/test256、两层 hidden SiLU、全批量 SGD、CPU float64 的 development 实验，不外推真实网络、小批量或封存 OOD。

判断标签：已知文献已给出相同或近乎相同的结论 · 部分已知现象相同但对象或构造不同（例如文献报告一般泛化差距，D7 报告真实网络减切线的相对差距）· 未找到直接前作仅指原检索结果，不代表已确认新颖性 · — 需读全文才能定论

哪些泛化问题已知，哪些具体噪声对照未找到前作

编号D7 命题（含关键数字）文献状态最近的文献
Q训练误差降低不能判定继续训练是否提高 test；晚期损害 $C=L_{test}(512)-L_{test}(128)>0$ 需事后看 test，尚无 train-only 前瞻信号部分已知Zhang 2017；Keskar 2016；Nakkiran 2021；Mahsereci 2017
C1人工标签噪声不是相对损害的必因（clean 来源 8/8 单元 train 增益 >.05×初始 loss，其中 6/8 单元终点 test 差距均值为正）部分已知Zhang 2017；优化导致双下降 2023；Jacot 2018
C2H/D/G 三指标不可互相替代（$D>0$ 不等于 $H>0$，也不等于 $C>0$）未找到直接前作Chaudhari 2016；Nakkiran 2021
C3sigma=1 边界：三组条件均 4/4 单元通过正向判据；两 draw mean(D)=.287093–.800986 与 .127211–.466452；改 data7339 仍 4/4、12/12 $D>0$部分已知Zeng 2023；Xue 2022；Zhang 2017
C4sigma=.5 半强度只在 3/4 单元通过正向判据（radial×8 = −.046567，仅 1/3 为正）未找到直接前作Xue 2022；Huh & Rebeschini 2023
C5已测条件不支持连续强度缩放（$D(.5)<D(1)$ 但不能给线性/二次规律）未找到直接前作Huh & Rebeschini 2023；Xue 2022
C6较低带噪 train 误差不保证晚期 test 继续下降（sigma=1 的 12 个终点 $H_1$ 为正；$G$ 均值 .433225–.573030、12/12 $G>0$）部分已知Zhang 2017；Nakkiran 2021
C7$D>0$ 也可仅缩小真实网络原有优势（radial×32：$D$ .075103–.185840 均正，$H_1$ −.151615 至 −.047987 均负，真实 $C$ −.198348 至 −.088044 均负）未找到直接前作Jacot 2018；Advani 2020
C8更换噪声向量推翻半强度正向判据的保持预测（通过率 3/4→1/4；新四 mean D=.086687、−.008957、−.013877、.003331）部分已知Arpit 2017；Liu & Lu 2026
C9「不足 3/4 会再现」的预测被推翻（通过数 3/4、1/4、3/4；四 mean D = 0.206577/0.175632/−0.037836/0.054909）未找到直接前作—

逐条对照

Q. 核心命题：train 降低不能判定 test 是否继续改善

D7 要问的是：训练误差降低后，能否判定「继续训练还会不会提高 test」。报告回答是否定的，并给出绝对损害的判据 $C=L_{test}(512)-L_{test}(128)>0$。这条主线文献已经系统讨论过「低 train loss 不保证低 test loss」。

判定：部分已知。「train 降低不保证 test 改善」是经典；D7 的新意在于同模型两时点的风险差 $C$ 这一刻画，以及明确记录「尚未建立 train-only 前瞻信号」这一负结果，而非首次提出该现象。

C1. 人工标签噪声不是相对损害的必要原因

clean（不加人工标签噪声）来源实验已有 8/8 函数×宽度×SGD 单元的均值 train 增益 $>.05\times$ 初始 loss，其中 6/8 单元的终点 test 差距均值为正。

判定：部分已知。「损害可无噪声发生」与双下降、泛化差距文献一致；8/8 与 6/8 的受控计数是 D7 的复核，而非新机制。

C2. H/D/G 分别衡量模型差距、噪声影响与训练收益，不能互相替代

报告用三个指标：$H$ 是终点真实网络减切线的 test 误差，$D$ 是加噪后 $H$ 减不加噪 $H$，$G$ 是终点切线减真实网络的 train 误差。报告强调 $D>0$ 既不等于 $H>0$，也不等于 $C>0$。

判定：未找到直接前作。原检索未找到直接采用这套指标的前作。这里区分相对劣势（$H$）、噪声造成的差距变化与训练收益，另用绝对损害（$C$）衡量继续训练的影响；指标定义本身不是新发现。

C3. sigma=1 边界：三组条件均 4/4 通过

已测 sigma=1 边界在三组条件均通过 4/4 单元。noise733107 与 noise733123 各 4/4 单元满足 mean(D)$\ge$.02 且各 $\ge$2/3 init $D>0$；两 draw 的 mean(D) 分别 .287093–.800986 与 .127211–.466452。相同 recipe 仅改 data 为 7339 仍 4/4 通过：mean(D)=.111892–.519513、12/12 $D>0$。

判定：部分已知。「标签噪声增大 test 差距」方向性已知；但 4/4 单元、mean(D)$\ge$.02、2/3 init 的这套受控阈值判据未在检索中找到。

C4. sigma=.5 半强度只在 3/4 单元通过

固定 data7339/noise733123 与原 recipe，sigma=.5 的 $D=H(.5)-H(0)$ 在 mixed_sine×8、mixed_sine×32、radial×32 均值分别为 .125194、.229192、.060492（三单元均 3/3 init 为正）；radial×8 为 −.046567，只有 1/3 为正。预设判据通过 3/4 单元。

判定：未找到直接前作。原检索未找到在相同噪声强度下报告这些函数×宽度组合通过数的前作；它与上述理论方向一致，但结论形式不同。

C5. 已测噪声强度不足以确定连续变化规律

三个通过单元的 $D(.5)$ 都小于对应 $D(1)$，但不能据此给出线性、二次或连续强度规律。

判定：未找到直接前作。原检索未找到直接对应的讨论。这里只测了 sigma $\in\{0,.5,1\}$ 三个格点，证据不足以确定连续缩放规律；这不等于证明所有连续规律都不成立。

C6. 较低带噪 train 误差不保证晚期 test 继续下降

data7339/noise733123、sigma=1 的 12 个终点 $H_1$ 为正；真实网络对带噪 train 标签的 $G$ 均值 .433225–.573030、12/12 $G>0$。终点相对劣势仍不保证同模型晚期 test 上升。

判定：部分已知。解耦是经典结论；这里 $H_1>0$ 与 $G>0$ 的具体计数是新证据，不是新机制。

C7. $D>0$ 也可仅缩小真实网络原有优势

data7331/noise733123 的 radial×32，三 init 的 $D=.075103$–$.185840$ 均正，$H_1=-.151615$ 至 $-.047987$ 均负，真实 $C=-0.198348$ 至 $-0.088044$ 均负：噪声使真实网络相对切线更差，但它在终点仍优于切线，晚期 test 也仍下降。

判定：未找到直接前作。「正 $D$ 伴随负 $H_1$ 且负 $C$」这一具体对照在原检索中未找到直接前作。

C8. 更换噪声向量后，半强度条件未保持原通过率

固定 data7339、sigma=.5 与同一训练条件，仅把 noise733123 换为 noise733131，原「至少 3/4 单元 mean D$\ge$.01 且各至少 2/3 init $D>0$」预测通过率从 3/4 降为 1/4；新四单元 mean D 依次为 .086687、−.008957、−.013877、.003331。

判定：部分已知。「泛化对随机种子/噪声实现敏感」是已知关切；但该判据的 draw 依赖（3/4→1/4）作为记录是新证据。

C9. 「不足 3/4 会再现」的预测被推翻

仅把 noise733131 换为预指定 733139，原正向判据又有 3/4 单元通过。四均值 D 依次为 0.206577/0.175632/−0.037836/0.054909。三个半强度噪声向量的通过数为 3/4、1/4、3/4。

判定：未找到直接前作。这些结果推翻了通过数会保持的预测：同一噪声强度与训练条件下，更换噪声向量仍会改变通过数。原检索未找到直接对应的报告；结果只描述已测向量，不能估计跨噪声概率。

相关文献

  1. Advani, M. S., Saxe, A. M., & Sompolinsky, H. (2020). High-dimensional dynamics of generalization error in neural networks. Neural Networks, 132, 428–446. DOI:10.1016/j.neunet.2020.08.022（OpenAlex W2763894180）
  2. Arpit, D., et al. (2017). A Closer Look at Memorization in Deep Networks. arXiv:1706.05394（OpenAlex W2682189153）
  3. Chaudhari, P., et al. (2016). Entropy-SGD: Biasing Gradient Descent Into Wide Valleys. arXiv:1611.01838（OpenAlex W2949568260）
  4. Huh, J. E., & Rebeschini, P. (2023). Generalization Bounds for Label Noise Stochastic Gradient Descent. arXiv:2311.00274
  5. Huang, W., et al. (2025). How Does Label Noise Gradient Descent Improve Generalization in the Low SNR Regime? NeurIPS 2025. arXiv:2510.17526
  6. Jacot, A., Gabriel, F., & Hongler, C. (2018). Neural Tangent Kernel: Convergence and Generalization in Neural Networks. arXiv:1806.07572（OpenAlex W2809090039）
  7. Keskar, N. S., et al. (2016). On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima. arXiv:1609.04836（OpenAlex W2523060838）
  8. Liu, L., & Lu, P. (2026). Unveiling Memorization-Generalization Coexistence: A Case Study on Arithmetic Tasks with Label Noise. arXiv:2605.18022
  9. Mahsereci, M., et al. (2017). Early Stopping without a Validation Set. arXiv:1703.09580（OpenAlex W2605047975）
  10. Nakkiran, P., et al. (2021). Deep double descent: where bigger models and more data hurt. DOI:10.1088/1742-5468/ac3a74（OpenAlex W2994081359）
  11. On the Origin of Implicit Regularization in Stochastic Gradient Descent (2021). arXiv:2101.12176（OpenAlex W3120901154）
  12. Priebe, C. E., et al. (2022). Deep Learning is Provably Robust to Symmetric Label Noise. arXiv:2210.15083
  13. Random Label Prediction Heads for Studying Memorization in Deep Neural Networks (2026). arXiv:2607.11541（OpenAlex W7168246291）
  14. Soudry, D., et al. (2017). The Implicit Bias of Gradient Descent on Separable Data. arXiv:1710.10345（OpenAlex W2766965791）
  15. Triple descent and the two kinds of overfitting: Where & why do they appear? (2020). DOI:10.1088/1742-5468/ac3909（OpenAlex W3033802587）
  16. Understanding the Role of Optimization in Double Descent (2023). arXiv:2312.03951（OpenAlex W4389500932）
  17. Xue, Y., Whitecross, K., & Mirzasoleiman, B. (2022). Investigating the Impact of Model Width and Density on Generalization in Presence of Label Noise. arXiv:2208.08003
  18. Zeng, L., et al. (2023). Feature Noise Boosts DNN Generalization under Label Noise. arXiv:2308.01609
  19. Zhang, C., et al. (2017). Understanding deep learning requires rethinking generalization. arXiv:1611.03530（OpenAlex W2950220847）
  20. Zhang, C., et al. (2021). Understanding deep learning (still) requires rethinking generalization. Communications of the ACM. DOI:10.1145/3446776（OpenAlex W2566079294）

原检索范围与尚未核验的内容

检索词包括 optimization / generalization / gradient descent、label noise / generalization、train test gap、optimization generalization gap early stopping、implicit bias gradient descent、understanding deep learning rethinking generalization、double descent test error model size、implicit regularization label noise memorization。判定基于标题、作者、年份与摘要；引用条目均经 arXiv/OpenAlex 接口返回核对，未见虚构条目。注意两点边界：(1) arXiv 的短语检索 "train test gap" AND "deep learning" 返回 0 条，说明该字面短语不是文献惯用词，相关主题由 OpenAlex 的 generalization gap 族覆盖；(2) 本轮部分 arXiv 查询遇到 429 限流，这些主题改用 OpenAlex 覆盖。

以上是原检索记录，本次文字修订未重新核验文献。未核验全文，也不构成新颖性结论：「未找到直接前作」仅指原检索范围。D7 的结论只覆盖 d5 Gaussian、train32/test256、两层 hidden SiLU、全批量 SGD、CPU float64、所列函数/宽度/init/噪声向量与 sigma $\in\{0,.5,1\}$，属 development，不外推真实网络、小批量、其他 optimizer/归一化/深度或封存 OOD。文献里的「泛化差距」多是 train−test 的绝对差，D7 的 $H$ 是真实网络−切线的相对差、$C$ 是同模型两时点绝对差，三者不可互换。

摘要级文献对照首版 2026-10-11（北京时间）· 尚未逐篇精读全文 · 网页在 prototype 仓库内维护