D10：网络深度与训练时间的已有研究对照

先看结论：各层核相加、用固定核预测训练进度是已有理论。本报告比较最慢参数组与全核两种时间预测，前者系统性高估，后者在部分条件通过但仍有反例。具体通过率及反例未找到直接前作，不等于新颖性确认，也未单独解释层间耦合或核漂移。本页是摘要级文献对照，沿用原检索记录，本次仅修改文字。

本页把 D10 报告「结论」节的每条命题逐条对照已有文献，给出「这条结论文献里是否已经讨论过」的判定。检索使用 OpenAlex 与 arXiv（2026-10-11），判定基于论文标题、作者、年份与摘要，尚未逐篇精读全文。检索过程中 arXiv API 持续返回 HTTP 429（限流），多次重试无效，故文献条目主要来自 OpenAlex，并用 arXiv 摘要页对若干关键条目逐条复核。

D10 研究的对象是非线性网络（SiLU，无 bias/LN/残差，全批量 SGD，momentum0）：把网络在初始化处线性化，按层算冻结切线核（Jacobian 外积）的半损失时间，再比较「最慢单层」与「各层核之和」能否在两倍内预测实际半损失时间 $T_{50}$。相关文献包括 NTK／冻结核动力学、深度线性网络的精确动力学、kernel 与 rich 两种训练状态与 saddle-to-saddle 平台。「未找到直接前作」仅指原检索没有找到直接对应的研究，不等于新颖性确认。D10 结论只覆盖 development 中的固定目标、d3/n32、width16/32、depth1/2/4/6，不外推。

判断标签：已知文献已给出相同或近乎相同的结论 · 部分已知现象相同但对象或构造不同（例如文献用无限宽冻结 NTK，D10 用小宽度逐层冻结切线）· 未找到直接前作仅指原检索结果，不代表已确认新颖性 · — 需读全文才能定论

已知的核预测方法与本报告的通过、失败条件

编号	D10 命题（含关键数字）	文献状态	最近的文献
Q	冻结切线核能否在两倍内预测早期半损失时间	部分已知	Jacot et al. 2018；Saxe et al. 2014；Geiger et al. 2020
C1	最慢参数组候选无法在两倍内描述实际半损失时间（width16 比值 4.73–2053，12/12 高估超两倍）	部分已知（机理）/ 未找到直接前作（该受控反例）	Jacot et al. 2018；Saxe et al. 2014
C2	相加全核达到注册判据（10/12、12/12 在两倍内），仍保留 width16 两个反例	已知（核相加解析）/ 部分已知（反例边界）	Jacot et al. 2018；Li & Sompolinsky 2021；Bordelon & Pehlevan 2025
C3	实测时间不随深度单调增加（init1129 相邻深度差 −7/50/127；width32 相对 width16 有 10/12 加快、2/12 变慢）	部分已知	Saxe et al. 2014；Jacot et al. 2021
C4	学习率配对保留候选通过边界（降 eta 时间增长 2–4 倍，全核仍 10/12 或 12/12 在两倍内）	部分已知	Jacot et al. 2018；Bordelon & Pehlevan 2025

逐条对照

Q. 核心命题：冻结核能否预测早期半损失时间

D10 在初始化处线性化网络，得到逐层核 $K_{\ell,0}=J_{\ell,0}J_{\ell,0}^{\top}/n$ 与全核 $K_0=\sum_\ell K_{\ell,0}$，并用 $S_K(t)$（冻结切线模型的损失比）定义半损失时间 $\tau(K)$，再问 $\tau$ 能否预测实际 $T_{50}$。这条主线文献已经系统讨论过：训练可以用一个（近似）冻结的核在函数空间里描述。

Jacot et al. (2018)：证明梯度下降时网络函数沿 NTK 的核梯度演化；无限宽极限下核收敛为显式常量核并训练中保持不变；最小二乘回归中训练服从线性微分方程，收敛最快沿输入数据对核的最大主成分——这正是「用冻结核谱预测训练进度」。
Saxe et al. (2014)：给出深度线性网络非线性动力学（权重）的精确解，展现长平台后快速过渡，并说明慢模态长期主导。
Geiger et al. (2020)：区分 lazy（核近乎不变）与 feature（核随时间演化）两个区制，识别出线性动力学的时标 $t_1\sim\sqrt{h}\,\alpha$。
Corlouer et al. (2026)、St-Arnaud et al. (2025)：分别在深度线性网络的 saddle-to-saddle 区制、以及宽度/深度对 NTK 的影响上给出新近分析。

判定：部分已知。「用一个核的谱刻画训练时间」是 NTK/lazy 文献的核心命题；但 D10 的具体对象是小宽度非线性网络的逐层冻结切线（最慢单层 vs 核之和），并把「两倍内」写成受控判据，这一设定在检索中未见完全同构者。

C1. 最慢参数组候选无法在两倍内描述实际半损失时间

width16、eta=.02/.005 时最慢组/实际比值分别为 4.727273–2053.176796 和 5.097561–2067.454798，各 12/12 高估超过两倍；width32 对应 16.6–73 与 18.333333–60.562500，同样 12/12 超过两倍。报告还指出「最慢层」没有固定位置（深度1/2 多为输入层，深度6 多为 head）。

Jacot et al. (2018)：NTK 是各参数（含各层）贡献的和，整体输出变化由核之和决定，而不是单层时间的最大值——「最慢单层」不是正确对象。
Saxe et al. (2014)：多模态时慢模态主导整网收敛，单层/单方向时间不能代表整体进度。
Bordelon & Pehlevan (2025)：深度线性网络 GD 动力学随 data/width/depth 共同变化，层间不可简单分离。

判定：部分已知（机理）／未找到直接前作（该受控反例）。核相加说明整体更新不能只由最慢层代表，这是已知结构；但「逐层冻结切线的最慢时间在这些条件下系统性高估真实半损失时间、且 12/12 超两倍」这一具体受控结果，原检索未找到直接前作。

C2. 相加全核达到注册判据，仍保留 width16 反例

width16、eta=.02/.005 的全核/实际比值分别为 .333333–3.320442 和 .328638–3.339360，各 10/12 在 [.5,2] 内；width32 对应 eta=.005/.02/.04 的比值分别为 .666667–1.052632、.75–1、.75–1，三个学习率族均 12/12 在 [.5,2] 内。报告明确：核求和是已知解析关系；这些结果未单独证明层间耦合或核漂移的机制。

Jacot et al. (2018)：冻结 NTK（= 各层核之和）在宽极限下训练中不变，训练可由函数空间线性方程刻画——核之和预测训练动力学是标准结果。
Li & Sompolinsky (2021)：深度线性网络的 backpropagating kernel renormalization，给出逐层核的结构化处理。
Bordelon & Pehlevan (2025)：深度线性网络在宽度/深度下的训练动力学与超参迁移。

判定：已知（核相加＋冻结谱是标准解析关系）／部分已知（通过率与反例边界）。「把各层核相加得到全核并用它预测」已有成熟理论；D10 的贡献是把通过率（10/12、12/12）与两个 width16 反例作为受控边界记录，而非提出新的核分解。

C3. 实测时间不随深度单调增加

width16、eta=.02 下，初始化 1129 的相邻深度（1→2、2→4、4→6）步数差为 −7/50/127；eta=.005 下 width32 相对 width16 有 10/12 加快、2/12 变慢。报告强调宽度改变同时改参数形状、参数量与初始函数，不能单独归因宽度机制。

Saxe et al. (2014)：深度→∞时学习速度可保持有限——对一类特殊初始化，极深网络相对浅网只多出与深度无关的有限延迟；且存在长平台后快速过渡。
Jacot et al. (2021)：初始化方差控制深度线性网络的相变；小初始化下呈 saddle-to-saddle，训练依次经过对应 rank 递增的鞍点附近（平台结构随深度改变）。
Abbe et al. (2023)：leap complexity 与 saddle-to-saddle 动力学。

判定：部分已知。「深度不单调决定训练时间」有经典理论支撑（Saxe：深度无关学习时间与平台）；但「实测半损失时间随深度非单调、并给出逐初始化的相邻深度差」的具体受控数值未见同构前作。宽度对照又混杂了形状/参数量/初始函数，故只能算部分已知。

C4. 改变学习率后，两种时间预测的通过情况保持不变

width16 从 eta=.02 降至 .005，实际时间增长 2.000000–4.000000 倍，全核仍 10/12 在两倍内；width32 从 eta=.005 升至 .02（固定全部初始参数），全核仍 12/12 在两倍内，新/旧时间比值 .166667–.294118；再由 .02 升至 .04，全核仍 12/12 在两倍内，最慢组仍 12/12 超过两倍。

Jacot et al. (2018)：收敛最快沿核的最大主成分，时间尺度由 $\eta\lambda$ 决定——降低 $\eta$ 按比例拉长半损失时间，是解析事实。
Bordelon & Pehlevan (2025)：最优学习率随宽度变化（超参迁移），学习率与网络结构共同决定动力学。

判定：部分已知。冻结核半衰时间对 $\eta$ 的依赖与「学习率×特征值」时标是已知解析关系；但「学习率配对后候选的通过/不通过边界保持不变」这一受控对照未检索到直接前作。

原检索范围与尚未核验的内容

检索词包括 deep linear network training time、depth dynamics、layerwise timescale、sum of neural tangent kernels layers、frozen tangent kernel half loss time、kernel regime rich regime depth、saddle to saddle deep linear network、width depth trade-off training time、deep bootstrap。本次 arXiv API 全程返回 HTTP 429（限流），多次重试无效，改用 OpenAlex 检索，并用 arXiv 摘要页对 Saxe 2014、Jacot 2018、Geiger 2020、Jacot 2021、Bordelon 2025、Woodworth 2020 等关键条目复核。所有条目均来自实际发起的接口／摘要页返回，未见虚构条目。注意 OpenAlex 返回的 Kernel and Rich Regimes（旧号 arXiv:1906.05827）已被作者撤回，本页引用其更新版 arXiv:2002.09277。

词义提醒：文献中的 “training time” 有时指 wall-clock/HPC 训练时长，与 D10 的「更新步半损失时间 $T_{50}$」不是同一量；D10 的时间是优化步数，对应核收敛速率 $(1-\eta\lambda)^{2t}$。以上沿用原检索记录，本次文字修订未重新核验文献。判断基于标题、作者、年份与摘要，未核验全文，也不构成新颖性结论：「未找到直接前作」仅指原检索范围。D10 结论只覆盖固定目标 $x_0+.5x_0x_1$、d3/n32、SiLU、无 bias/LN/残差、全批量 SGD/momentum0、width16/32、depth1/2/4/6、eta .005/.02/.04 的 development 实验；不外推其他宽度/深度、优化器、mini-batch、泛化或封存 OOD。

摘要级文献对照首版 2026-10-11（北京时间）· 尚未逐篇精读全文 · 网页在 prototype 仓库内维护