研究背景：13 个方向在问什么，已有研究说了什么

本页介绍 13 个研究方向的问题、已有理论背景和当前证据范围，每个方向列出 2–4 篇入门论文。引用采用作者-年份，完整条目见相关文献。原记录注明曾核对 arXiv 的标题、作者与年份；本次仅修订语言，未新增检索或重新核验文献。各方向的文献对照属于摘要级文献对照，不是全文综述；具体数字以各方向 report.md 和保存产物为准。

先看结论：这些方向大多在已有的谱分析、核动力学、曲线拟合和泛化研究中检验具体预测。读到「已知」时，要区分已有原理与本报告的数值复核；读到「未找到直接前作」时，只能理解为原检索没有找到直接对应的研究，不等于新颖性确认。适用范围、失败和未测条件与成功结果同样重要。

读这些报告需要的共同背景

这 13 个方向围绕同一主题：小网络与固定特征模型在全批量/小批量梯度下降下的训练过程——损失如何随时间下降、测试风险何时回升，以及哪些量能预测这些变化。下面六个概念会在各报告中反复出现。

1. 学习率乘以步数，何时能代表训练进度

在二次损失、恒定梯度这类可解析的情形下，训练进度近似只取决于「学习率 × 步数」（$\eta T$）；动量把它缩放成 $\eta T/(1-\mu)$。但真实训练里学习率一旦大到越过稳定性边界（曲率 $\eta\lambda$ 接近 2），晚期损失会震荡而非平稳下降（Cohen et al., 2021）。自适应方法（Adam 等）还会逐坐标重标定步长，使「时间」不再是一个与坐标无关的标量（Wilson et al., 2017; Loshchilov & Hutter, 2019）。这就是 D1 要划定的边界。

2. 测试风险为什么可能先降、再升、再降

经典偏差-方差理论预测「模型越复杂、越多数据，风险越低」。但过参数化模型上出现了双下降：测试风险随模型/训练量先降、再升、再降，中间存在一个回升区（Belkin et al., 2019; Nakkiran et al., 2020）。线性回归在高维极限下也被完整刻画（Hastie et al., 2022），并出现「benign overfitting」——完美插值仍可泛化（Bartlett et al., 2020）。D2、D7 研究回升起点能否预测、以及训练好是否等于测试好。

3. 固定核近似与特征学习：lazy 和 rich 的区别

在相应的无限宽极限与参数化条件下，梯度下降训练可由固定核（NTK）描述，特征学习的作用消失（Jacot et al., 2018; Lee et al., 2019）。网络足够宽或初始化尺度足够大时，可能接近这种线性化训练状态，称为 lazy training（Chizat et al., 2019）；特征随训练明显变化的状态则称为 rich（Woodworth et al., 2020）。D6 检验早期核变化能否预测晚期读数。D11 的长期问题涉及两种状态的边界，但当前只测了固定特征维数与训练预算。

4. 不同特征方向为什么学得有快有慢

在固定特征或深度线性网络里，损失沿损失 Hessian 的特征方向（模态）逐条指数衰减，慢模态长期主导（Saxe et al., 2014）。高维极限下，泛化误差曲线可由谱与目标能量分布解析给出（Advani et al., 2020）。这条「谱-模态」视角是 D3（容量如何测量）与 D10、D11（深度/宽度的动力学传播与标度）的共同语言。

5. 模型、数据与训练预算扩大后，误差怎样变化

经验上，损失随模型规模、数据量、算力呈幂律下降（Hestness et al., 2017; Kaplan et al., 2020），并有理论解释把指数与数据/任务的谱性质联系起来（Bahri et al., 2024）。D11、D13 检验具体的预算-维数幂律与相变时间是否可标定。

6. 训练误差降低，为什么不保证测试表现改善

训练误差降到零并不意味泛化好，网络可以记住随机标签（Zhang et al., 2017）；而 SGD 的稳定性控制着泛化差距（Hardt et al., 2016）。批量大小改变梯度噪声尺度，从而移动最优点与最终风险（Mandt et al., 2017; Smith et al., 2018; McCandlish et al., 2018; Keskar et al., 2017）。D7、D9 分别在「train 好≠test 好」和「小批量噪声怎样移动最低点」上证伪或确认这些图景。

逐方向阅读：问题、当前结果与入门文献

D1：等效训练时间 $U$

问题：能否用一个标量「有效训练时间」概括不同优化器的训练进度？背景是 $\eta T$ 式的位移/时间标定（见共同背景 1）。本方向在受控条件下复核普通 SGD 的标定，并检验动量启动修正；但「启动换算比稳态更准」在晚期被 6/10 配对推翻，四类自适应优化器也尚未实测。位移标定成立不等于能预测损失进度。逐条对照见 D1：等效训练时间与已有研究的对照。

Wilson et al. (2017)：自适应方法的泛化未必更好，步长被逐坐标重标定。
Loshchilov & Hutter (2019)：AdamW 的解耦权重衰减，说明「时间」需考虑参数衰减。
Cohen et al. (2021)：edge of stability，说明大学习率会改变晚期动力学。

D2：风险何时回升、能否预测最低点

问题：在受控回归里，能否用样本数 $n$ 与标签噪声 $\sigma^2$ 预测测试风险最低点，以及之后的回升幅度？这与早停、双下降中的风险回升有关（见共同背景 2）。原扫描用 $n/\sigma^2$ 预测最低点，留出 57/60 在两倍内；但扩大范围后，统一的跨任务指数不成立。原扫描的成功不能当作普适规律。

Belkin et al. (2019)：双下降现象的提出。
Nakkiran et al. (2020)：模型更大、数据更多反而变差的现象学。
Hastie et al. (2022)：高维无岭回归插值的精确风险曲线。
Bartlett et al. (2020)：benign overfitting 的线性回归理论。

D3：容量与分辨率如何测量

问题：少量标量（参数数、有效秩、条件数、Rayleigh 商）够不够决定一个任务的学习预算？本方向给出否证：匹配这些量后 1% 阈值仍相差约 2.9–8.9 倍，说明需要完整的目标加权谱（含高阶矩）。（「有效秩」作为低维摘要，源自 Roy & Vetterli 2007 的可读性直觉；本方向直接检验它在动力学上的充分性。）

Saxe et al. (2014)：深度线性网络的模态/谱动力学。
Advani et al. (2020)：高维下谱与目标能量决定泛化误差。
Bartlett et al. (2020)：容量/谱与泛化的理论联系。

D4：单 sigmoid 拟合何时成功、何时失败

问题：单条训练曲线在 log 时间上常近似 S 形，单 sigmoid 在什么条件下够用？本方向把成败归结为谱比、慢能量占比 $\alpha$ 与选解协议，谱比 1/3/10 通过、30/100 失败。训练曲线呈阶段性是多时间尺度的表现（Nakkiran et al., 2021）。

Jastrzębski et al. (2020)：优化轨迹存在「break-even point」，前后阶段动力学不同。
Power et al. (2022)：grokking——延迟很久才发生的跃迁。
Hestness et al. (2017)：训练曲线的经验规律与拟合。

D5：同样宽度下，什么能解释 LayerNorm 的训练收益

问题：LayerNorm 带来的训练收益，能否用条件数或损失几何的变化解释？本方向在已测条件下观察到收益，但 Gram 条件数、目标 Rayleigh 商与收益的相关性均未达到预注册判据。归一化收益已有研究；这里的具体机制仍未确定。原文「共享背景 8」并无对应章节，相关背景见下列论文。

Ba et al. (2016)：LayerNorm 原始工作。
Santurkar et al. (2018)：batch norm 的收益主要来自优化而非内部协变量偏移——本方向把同样的因果检查搬到 LayerNorm。

D6：早期核漂移能预测晚期吗

问题：有限宽网络的核（NTK）随训练变化，早期变化的方向和幅度能否预测晚期读数？本方向的早期方向判据在 3/4 单元通过，但原数据抽样上的预测收益没有在指定新抽样上保持。这里预测的是核读数，尚不能据此预测测试表现。

Jacot et al. (2018)：NTK，无限宽极限的固定核图景。
Fort et al. (2020)：NTK 随训练演化（kernel learning），早期核与晚期核不同。
Domingos (2020)：梯度下降得到的模型近似是核机器。

D7：训练误差改善，何时仍伴随测试风险受损

问题：训练误差持续下降时，测试风险何时开始受损？本方向用「真实网络相对初始切线」的干净 test 差距，测得噪声会放大该差距（4/4 单元），但差距为正不等于继续训练有害。

Zhang et al. (2017)：训练可记住随机标签——训练好不等于泛化好。
Hardt et al. (2016)：SGD 稳定性给出泛化差距的界。
Nakkiran et al. (2020)：更多训练/数据可能变差。

D8：偏置怎样改变奇偶特征，小尺度规律何时失效

问题：在对称输入、固定加性 bias 与单层激活下，Taylor 展开的哪些项决定奇偶特征的能量比？本方向在小尺度测得偶/奇能量比按 $a^2$（b=0/1）与 $a^6$（二阶导零点）变化；偏离零点后，需要考虑不同阶项及其交叉项，有限尺度下也有精度失败。这里的输入反射奇偶分解与「parity 学习」相关，但不是同一个问题（Barak et al., 2022）。

Barak et al. (2022)：SGD 学习 parity 的隐式进展与计算极限。
Power et al. (2022)：parity/模运算上的 grokking。

D9：小批量噪声怎样改变最低点

问题：把批量从 B=8 降到 4、再降到 2，风险最低点怎样移动？背景是小批量梯度噪声与「噪声尺度」（见共享背景 6）。本方向测得期望最低点分别延后 2/9、3/19 步，较高学习率的两项普遍预测失败。

Mandt et al. (2017)：SGD 近似贝叶斯推断，噪声决定后验协方差。
Smith et al. (2018)：固定噪声尺度时「降学习率≈增批量」。
McCandlish et al. (2018)：大批量训练的经验模型与临界批量。
Keskar et al. (2017)：大批量导致尖锐极小值与泛化差距。

D10：网络加深后，哪种预测能估计训练时间

问题：增加深度时，哪种方法能预测损失减半所需的时间？本方向比较「最慢参数组」与「各层核相加得到的全核」：所列对照中，前者 12/12 高估超过两倍，后者 10/12 在两倍内。实际训练时间不随深度单调增加，不能只凭层数判断训练快慢。

Lee et al. (2019)：任意深度宽网络的线性化演化（层间时间尺度的理论起点）。
Saxe et al. (2014)：深度线性网络的分层/分模态学习时间。

D11：固定特征维数增大，达标步数怎样变化

问题：学习预算随固定特征维数如何变化，仅知道 Rayleigh 商是否足够？在已测谱与目标下，1% 预算约 $\approx d^{1.00}$，但同 Rayleigh 商的两目标仍有 1.94–2.0 倍预算差。这里的维数不是真实网络宽度，也未测 lazy→rich 转变；两种训练状态的背景见共同背景 3。

Chizat et al. (2019)：lazy training 区制。
Woodworth et al. (2020)：核区制与 rich 区制之间的过渡。
Kaplan et al. (2020)：规模标度律的经验形式。
Bahri et al. (2024)：从数据/任务性质解释标度指数。

D12：单段 sigmoid 不够准确时，双段近似是否更好

问题：单 sigmoid 不够准确时，用快、慢两个时间尺度的双段 logistic 近似是否更好？原概览将谱比范围简写为 12/25，双段拟合通过数为 12/12；其中单 sigmoid 在谱比 20/25 条件失败。具体格点见该方向逐条对照。双段拟合通过不代表无拟合公式总能通过，也不是延迟泛化的证据。

Jastrzębski et al. (2020)：优化轨迹的分阶段结构。
Nakkiran et al. (2021)：deep bootstrap 的在线/离线两时间尺度。
Power et al. (2022)：延迟跃迁（grokking）。

D13：能否用损失下降时间换算网络的有效深度

问题：能否从架构与初始化预测相变时间，再换算出「有效深度」？本方向在线性流世界里发现无 skip 的时间轴标定失败；只把学习率从 .02 降到 .00125（保持 $\eta T$）就让 A/B 一致性 0/3→3/3，但固定时间轴后仍 0/3。

Saxe et al. (2014)：深度线性网络的精确动力学与时间标度。
Lee et al. (2019)：深度方向上的线性化演化。
Nakkiran et al. (2021)：相变/前沿的时间尺度视角。