← 研究总览 · D13 报告 · 背景与文献 · 编辑此页

D13：损失下降时间与有效深度的已有研究对照

先看结论：深度、初始化和学习率影响训练动力学已有研究。本报告尚未建立从曲线下降时间换算有效深度的可靠公式：部分步长与拟合初值检查通过，但不同读法的偏差和跨初始化稳定性问题仍在。具体初值检查未找到直接前作，不等于新颖性确认。本页是摘要级文献对照，沿用原检索记录，本次仅修改文字；部分条目仅有书目信息。

本页把 D13 报告「结论」节的每条命题逐条对照已有文献，给出「这条结论在文献里是否已经讨论过」的判定。检索使用 OpenAlex（2026-10-11）；本轮 arXiv API 持续返回 HTTP 429（限流），未取得结果，因此以 OpenAlex 完成检索，并用其返回的 arXiv DOI（10.48550/arxiv.*）交叉核对 arXiv 编号。判定基于论文标题、年份与书目记录，尚未逐篇精读全文。重要校正：文献里的 “phase transition” 多指 lazy-training 的插值相变（按参数/样本量计的阈值）或物理相变，与 D13 的「loss 曲线拟合中点 / 陡降位置」不是同一对象；“effective depth” 在残差网络文献里常指等效可及的浅子网络数，也非 D13 的「用相变时间换算的链深度」。两者只是同名不同物。

「未找到直接前作」仅指原检索范围内没有找到直接对应的研究，不等于新颖性确认；扩大检索或阅读全文后，判断可能改变。D13 的对照对象是固定深度 4、宽度 32、4×4 正交目标、逐 seed 固定初始矩阵、float64 全批量 GD 的无 skip 链，属 development，不外推真实网络、skip 连接或无限时间梯度流。

判断标签：已知文献已给出相同或近乎相同的结论 · 部分已知现象或方向相同但对象、构造或量纲不同（例如文献讲 $\eta T$ 式时间缩放，D13 讲统一时钟 $\tau=\eta t$ 上的相变中点）· 未找到直接前作仅指原检索结果，不代表已确认新颖性 · — 需读全文才能定论

已有的深度动力学研究与尚未建立的时间换算

编号D13 命题（含关键数字）文献状态最近的文献
Q未能建立「架构+初始化 → 相变时间 → 有效深度」的可靠标定式；lr $0.02\to0.00125$ 使 A/B 一致从 0/3 提升至 3/3，但固定时间轴比值仍 0.155–0.341，3/3 未一致部分已知Spectral Edge Dynamics 2026；Zeroth/first/second-order phase transitions 2023；Cohen 2021
C1降低学习率改善原 step 协议读数；最细学习率 A/B 比值 0.779–1.016，对数偏移减少 80.955%–99.455%部分已知Surge 2024；Random-Matrix lr/batch 2020；Time Transfer 2024
C2跨 seed 稳定性未通过：固定时间轴两档小学习率仅 2/3 达 10% 判据；三 seed 最细学习率 A 时间 CV=0.277 > 0.25部分已知Variance of NN Training 2023
C3seed22 步长稳定通过 5%：固定时钟 A 时间 .018598187 → .019403482（+4.329964%）部分已知Time Transfer 2024；Surge 2024
C4seed11 步长稳定通过 5%：.023834804503907975 → .024400284818224063（+2.372498%）部分已知Time Transfer 2024
C5seed33 步长稳定通过 5%：0.04093862880339804 → 0.04147141342752652（+1.301423%）部分已知Time Transfer 2024
C6四个斜率起点 k0=.25/.5/2/4 未使 A 时间变化超过 1%：4/4 成功，最大差 0.000006376%未找到直接前作—
C7两个中点起点 h0=1/100 未使 A 时间变化超过 1%：2/2 成功，最大差 0.000001423115398%未找到直接前作—
C8初始深度标定反例：深度 1/2/4/8 的 A 时间均值 9.197/1.161/0.926/4.593 步；线性斜率 −0.263、R²=0.044，未支持「深度越大相变越晚」部分已知Saddle-to-Saddle 2021；Deep Linear Random Init 2025；Cascading 2026

逐条对照

Q. 核心命题：能否从架构与初始化预测相变时间、再读出有效深度

D13 把「相变时间」定义为 loss 曲线的拟合中点（协议 A 的 $t_{c,A}$）或陡降位置（协议 B 的导数峰值 $t_{c,B}$），再问能否用它把一个无 skip 链换算成有效深度 $d_\mathrm{eff}=g(t_c)$。固定深度 4、宽度 32、正交目标和逐 seed 初始矩阵，只把全批量 GD 学习率 $0.02$ 降到 $0.00125$，原 step 协议 A/B 一致从 0/3 升到 3/3，但换成固定时间轴后比值仍是 0.155–0.341，3/3 都没进一致范围（0.5–2）。结论是：尚未建立可靠标定式。

判定：部分已知。「训练存在相变、且相变与学习率耦合」在文献里有系统讨论；但把「架构 + 初始化 → 相变时间」做成可靠标定式、再读出有效深度，本轮未找到直接前作。D13 的负结果（固定时间轴比值 3/3 未一致）更像对本问题边界的一次受控限定，而非首次提出「相变可被研究」。

C1. 降低学习率后，原步数轴上的两种时间读数更接近

减小步长后，原 step 协议的 A/B 读数变好：最细学习率 $0.00125$ 的 A/B 比值为 0.779–1.016，对数偏移相对最粗学习率减少 80.955%–99.455%。D13 认为这支持「减小步长的操作性预测」，但不足以把相变时间当作协议不变量。

判定：部分已知。学习率控制训练时间尺度、换 lr 后曲线读数改变，属于连续时间/线性缩放文献的主题；D13 的新意只在受控小系统里复核这一方向，且把「step 协议读数」与「固定时间轴读数」分开报告。

C2. 不同初始化之间的时间读数仍不够稳定

固定时间轴上的两档较小学习率只在 2/3 初始化达到 10% 收敛判据；三 seed 共同的最细学习率 A 时间变异系数 CV=0.277，仍超过参考门槛 0.25。因此 D13 暂不能定义有效深度换算式，也不进入 skip 组合律。

判定：部分已知。「seed/随机性造成训练结果波动」是公认现象；但把「相变时间」本身当作被测量、并报告其跨 seed CV 这一具体做法，本轮未见直接前作。这条结论的强度受限于仅 3 个已选初始化。

C3. 单个初始化的步长稳定性得到支持（seed22）

只把 seed22 的学习率再降到 $0.0003125$，固定时钟 A 时间从 $.018598187$ 增至 $.019403482$，按旧值计增加 4.329964%，通过事前 5% 判据。但 A/B 比值仍仅 $.161696$。

C4. 另一个初始化的步长稳定性也通过（seed11）

seed11 的固定时钟 A 时间从 $0.023834804503907975$ 增至 $0.024400284818224063$，变化 2.372498%，通过同一 5% 判据；A/B 仍仅 $0.20333570681853386$。

C5. 第三个初始化也通过同一判据（seed33）

seed33 的固定时钟 A 时间从 $0.04093862880339804$ 变为 $0.04147141342752652$，按旧值计变化 1.301423%。三个已选初始化均在 5% 内，但 A/B 仍为 $0.3455951118960543$，未消除协议偏移。

判定：部分已知。「小步长下累计时间 $\tau=\eta t$ 上的相变中点近似不变」与线性缩放/时间迁移的方向一致，属已知现象族；但三条记录是单 seed 的受控读数（每 seed 仅一次 4× 降步长），具体数字未见前作，且都不能替代跨 seed 稳健性检验。

C6. 四个斜率起点未使 A 时间变化超过 1%

复用同一条最细步长曲线，只把拟合初始斜率 k0 改为 .25/.5/2/4，4/4 成功，时间相对原读数的最大差 0.000006376%，通过事前 1% 判据。D13 明说这只支持该初始化对四个斜率起点的读数稳定性，未证明全局最优。

判定：未找到直接前作。这是拟合器的初值敏感性检查，原检索未找到直接对应的报告。结果仅覆盖一个参数、四个取值；检查通过不代表找到全局最优，也不构成新颖性确认。

C7. 两个中点起点也未使 A 时间变化超过 1%

同一保存曲线固定初始斜率 1，仅把拟合中点初值 h0 从参考时钟的 10 改为 1 与 100，2/2 成功，最大差 0.000001423115398%，通过事前 1% 判据。D13 明说这只排除两个指定中点起点造成超过 1% 偏差，A/B 偏移与跨 seed 稳健性失败仍未解决。

判定：未找到直接前作。与 C6 同类，是拟合初值敏感性检查；原检索未找到直接前作。这里只检查两个取值，未检验能否从曲线唯一确定拟合参数。

C8. 初始深度标定的反例仍保留

在 $\sigma=0.8$、$\eta=0.02$ 的无 skip 链上，深度 1、2、4、8 的 A 时间均值为 9.197、1.161、0.926、4.593 步；线性斜率 −0.263、R²=0.044，未支持「深度越大相变越晚」。D13 明说这限定当前时间读出方法，不否定「固定数据与更新规则下完整初始矩阵决定动力学」。

判定：部分已知。深度改变深线性网络的动力学与学习次序，已有成熟理论（saddle-to-saddle、层级相变）；但 D13 给出的是反例：在已测设置下，加深网络并不单调推迟曲线读出的相变时间（斜率 −0.263、R²=0.044）。原检索未找到直接前作来对应这些具体读数，不能据此确认新颖性。

相关文献

  1. Cascading Through the Hierarchy: Regularizer-Induced Feature Detection as Phase Transitions in Deep Linear Neural Networks (2026). arXiv:2608.06597 · DOI 10.48550/arxiv.2608.06597（OpenAlex W7202147690）
  2. Catapults in SGD: spikes in the training loss and their impact on generalization through feature learning (2023). arXiv:2306.04815 · DOI 10.48550/arxiv.2306.04815（OpenAlex W4380136152）
  3. Deep Linear Network Training Dynamics from Random Initialization: Data, Width, Depth, and Hyperparameter Transfer (2025). arXiv:2502.02531 · DOI 10.48550/arxiv.2502.02531（OpenAlex W4407186888）
  4. Gradient Descent on Neural Networks Typically Occurs at the Edge of Stability (2021). arXiv:2103.00065 · DOI 10.48550/arxiv.2103.00065（OpenAlex W3132026801）
  5. Identity Mappings in Deep Residual Networks (2016). arXiv:1603.05027 · DOI 10.48550/arxiv.1603.05027（OpenAlex W2949427019）
  6. The interpolation phase transition in neural networks: Memorization and generalization under lazy training (2022). DOI 10.1214/22-aos2211（OpenAlex W3044937292）
  7. Landscape and training regimes in deep learning (2021). Physics Reports. DOI 10.1016/j.physrep.2021.04.001（OpenAlex W3153303803）
  8. The Shape of Learning Curves: A Review (2022). IEEE TPAMI. DOI 10.1109/tpami.2022.3220744（OpenAlex W3136016591）
  9. Zeroth, first, and second-order phase transitions in deep neural networks (2023). Phys. Rev. Research 5, 043243. DOI 10.1103/physrevresearch.5.043243（OpenAlex W4389763667）
  10. Learning Rates as a Function of Batch Size: A Random Matrix Theory Approach to Neural Network Training (2020). arXiv:2006.09092 · DOI 10.48550/arxiv.2006.09092（OpenAlex W3103622152）
  11. Saddle-to-Saddle Dynamics in Diagonal Linear Networks (2023). arXiv:2304.00488 · DOI 10.48550/arxiv.2304.00488（OpenAlex W4362598441）
  12. Saddle-to-Saddle Dynamics in Deep Linear Networks: Small Initialization Training, Symmetry, and Sparsity (2021). arXiv:2106.15933 · DOI 10.48550/arxiv.2106.15933（OpenAlex W4286795904）
  13. Stochastic Gradient Descent in the Saddle-to-Saddle Regime of Deep Linear Networks (2026). arXiv:2604.06366 · DOI 10.48550/arxiv.2604.06366（OpenAlex W7152708613）
  14. Is the Skip Connection Provable to Reform the Neural Network Loss Landscape? (2020). arXiv:2006.05939 · IJCAI 2020, DOI 10.24963/ijcai.2020/387（OpenAlex W3034243911）
  15. Skip Connections Eliminate Singularities (2017). arXiv:1701.09175 · DOI 10.48550/arxiv.1701.09175（OpenAlex W2623790698）
  16. Spectral Edge Dynamics: An Analytical-Empirical Study of Phase Transitions in Neural Network Training (2026). arXiv:2603.28964 · DOI 10.48550/arxiv.2603.28964（OpenAlex W7147016776）
  17. Surge Phenomenon in Optimal Learning Rate and Batch Size Scaling (2024). arXiv:2405.14578 · DOI 10.48550/arxiv.2405.14578（OpenAlex W4398836280）
  18. Time Transfer: On Optimal Learning Rate and Batch Size In The Infinite Data Limit (2024). arXiv:2410.05838 · DOI 10.48550/arxiv.2410.05838（OpenAlex W4403347080）
  19. On the Variance of Neural Network Training with respect to Test Sets and Distributions (2023). arXiv:2304.01910 · DOI 10.48550/arxiv.2304.01910（OpenAlex W4362656047）

原检索范围与尚未核验的内容

原检索词包括 phase transition training time、effective depth、skip connection、residual network dynamics、catapult mechanism、linear network flow，以及 deep linear network dynamics、saddle-to-saddle、linear scaling rule learning rate batch size、seed variability、loss curve。原记录注明 arXiv API（export.arxiv.org/api/query）反复返回 HTTP 429，未能取得任何条目；引用来自 api.openalex.org/works 的返回信息，并保留其 OpenAlex ID 与 arXiv/DOI 编号。本次文字修订未重新核验文献。判断基于标题、年份与书目记录，未核验全文，也不构成新颖性结论：「未找到直接前作」只说明原检索没有找到直接对应的研究。

词义提醒：文献里的 “phase transition” 常指 lazy-training 的插值相变（按参数/样本量计的阈值）或物理相变；“effective depth” 在残差网络文献里指等效可及的浅子网络数。两者与 D13 的「loss 曲线拟合中点 $t_c$」和「由 $t_c$ 换算的链深度」同名不同物，不能直接互引。D13 的结论只覆盖无 skip、$L\in\{1,2,4,8\}$、width 32、$\sigma=0.8$、4×4 正交目标、固定 128×4 高斯输入、float64 全批量 GD，学习率配对仅 L4、seed 11/22/33、$\eta\in\{0.02,0.005,0.00125,0.0003125\}$、$\tau\le60$；属 development，不外推 skip、其他宽度/$\sigma$/目标谱、优化器、泛化或无限时间梯度流。

摘要级文献对照首版 2026-10-11（北京时间）· 尚未逐篇精读全文 · 原检索 arXiv API 限流（HTTP 429），以 OpenAlex 完成 · 网页在 prototype 仓库内维护