← 研究总览 · D11 报告 · 背景与文献 · 编辑此页

D11：固定特征维数与训练预算的已有研究对照

先看结论：谱尺度与目标能量分布影响学习进度，已有理论支持。本报告测的是固定特征维数，不是真实网络宽度；同 Rayleigh 商仍有预算差的具体反例未找到直接前作，不等于新颖性确认。真实特征学习的 lazy↔rich 边界尚未测量。本页是摘要级文献对照，沿用原检索记录，本次仅修改文字。

本页把 D11 报告「结论」节的每条命题逐条对照已有文献，给出「这条结论文献里是否已经讨论过」的判定。检索使用 arXiv API 与 OpenAlex（2026-10-11），判定基于论文标题、作者、年份与摘要，尚未逐篇精读全文。

关键校正：D11 的方向名含 width scaling 与 lazy→rich，但报告自述其被测对象是固定特征（结构化 $n\times d$ 线性系统、零初始化、全批量 SGD），$d$ 是固定特征参数数而非真实网络宽度。固定特征没有核漂移（训练期间特征内积结构的变化），因此 D11 的命题落在核/惰性（lazy）一侧，不能识别真实特征学习的 lazy↔rich 边界。本页只对「已测命题」做文献定位，不把「宽度标度」「lazy→rich」当作 D11 已证结论。

「未找到直接前作」仅指原检索范围内没有找到直接对应的研究，不等于新颖性确认；扩大检索或阅读全文后，判断可能改变。D11 的结果是固定特征、全批量、无动量、无衰减、所列谱与阈值下的 development 复核，不外推真实网络。

判断标签：已知文献已给出相同或近乎相同的结论 · 部分已知机理或现象相同但对象/构造不同（例如文献给的是泛化误差谱-目标对齐，D11 给的是预算 $T$ 的受控反例）· 未找到直接前作仅指原检索结果，不代表已确认新颖性 · — 需读全文才能定论

已知的谱规律与相同平均指标下的预算反例

编号D11 命题（含关键数字）文献状态最近的文献
Q预算标度依赖谱尺度；单一 Rayleigh 商不能决定预算；增大维数不消除两目标预算差部分已知Canatar et al. 2021；Ghorbani et al. 2021；Advani et al. 2020
P1$\lambda_i=i^{-1}$ 下 1% 预算接近 $d$ 一次幂：中间 $2.249735\,d^{1.003161}$（误差 0.868262%），首尾 $4.438350\,d^{1.005095}$（误差 2.528432%）；$n=d$ 与 $n=8192$ 零填充相同部分已知Velikanov & Yarotsky 2022；Li et al. 2023；Wortsman & Loureiro 2025
P2同 Rayleigh 商不足以决定预算：两目标 $m_1$ 均 $2/d$、$L_0$ 均 0.5；33 配对预算比 1.944444–2.000000；单 Rayleigh 单指数对首尾低估 48.571429%–50.000000%，对中间全准；增大维数不消除反例部分已知（机理）/ 未找到直接前作（该受控反例）Canatar et al. 2021；Ghorbani et al. 2021
P3固定 $n$ 零填充排除预算依赖 $n=d$ 记账：66 配对 $\Delta T$ 全 0 步，曲线最大差 ≤4.440892e−16，非零样本数仍为 $d$已知（基本）Richards et al. 2021；Velikanov & Yarotsky 2022
P4标度依赖谱整体尺度：trace=1（除 $h_d$）后 1% 预算按 $d h_d$ 缩放；系数误差 2.126802%/4.124214%；Rayleigh 比 1.959184–1.999956；首尾单 Rayleigh 仍低估 48.958333%–49.998894%部分已知Li et al. 2023；Wortsman & Loureiro 2025；Velikanov & Yarotsky 2022
P5trace=1 下 2%、5% 离散阈值满足原注册边界（2%：1.244504%/4.771486%；5%：1.743710%/4.814219%）；只读保存曲线；三点不支持连续 $\varepsilon$ 外推未找到直接前作（边界/注册陈述）—
P6同 Rayleigh 预算差不依赖原首尾目标中随 $d$ 消失的快模态权重：改为 $d/4$、$d$ 模态各 1/3、2/3 后 1% 预算为中间 1.823860–1.857143 倍，单 Rayleigh 低估 45.171233%–46.153846%；两模态均随 $d$ 缩放、权重固定部分已知（机理）/ 未找到直接前作（该受控对照）Canatar et al. 2021

逐条对照

Q. 核心命题：预算由完整谱-目标对齐决定，单标量不够

D11 反复测到：预算 $T_{1\%}$ 依赖谱的整体尺度与目标在各模态上的能量分布；仅匹配「目标加权的平均特征值」（Rayleigh 商 $m_1$）不足以决定预算，且增大 $d$ 不会消除两目标的差。这族论断在文献里已经系统讨论过，但主要以泛化/损失为载体，而非 D11 的「达标预算 $T$」。

判定：部分已知。「谱-目标对齐而非单标量决定学习」是被反复研究的主题；D11 的新意在于把该原则落到固定特征 SGD 的达标预算，并给出同 $m_1$ 而预算可差的受控反例，而非首次提出该原则。

P1. 原谱 $i^{-1}$ 下预算接近 $d$ 的一次幂

$d=8$–$8192$ 二倍网格上，1% 预算拟合为 $2.249735\,d^{1.003161}$（中间，最大相对拟合误差 0.868262%）与 $4.438350\,d^{1.005095}$（首尾，2.528432%）；$n=d$ 与 $n=8192$ 零填充结果相同。

判定：部分已知。「幂律谱（$i^{-1}$）给出对 $d$ 近似线性/对数缩放的预算」属已知谱理论；D11 的贡献是网格内受控复核（指数 1.003/1.005、系数与误差），而不是新标度律。

P2. 同 Rayleigh 商不足以决定预算

原谱下两目标的 $m_1$ 均为 $2/d$、初始损失均为 0.5；33 个同坐标配对的首尾/中间预算比为 1.944444–2.000000。单 Rayleigh 的单指数近似 $T_R$ 对中间目标全部准确，却对首尾目标低估 48.571429%–50.000000%，$d$ 增大不消除反例。

判定：部分已知（机理）／未找到直接前作（该受控反例）。「单一谱标量不够」已有研究；但「同 $m_1$、同 $L_0$ 下达标预算可相差近 2 倍」这一具体受控反例，在原检索中未找到直接前作。

P3. 零填充对照：改变名义样本数 $n=d$，达标步数不变

把 $n=d$ 改为 $n=8192$（前 $d$ 个非零样本按 $\sqrt{n}$ 缩放、其余置零）后，66 个新旧预算配对差 $\Delta T$ 全为 0 步，归一化损失曲线最大差 ≤4.440892e−16；非零样本数仍为 $d$。

判定：已知（基本）。加零行不改变归一化 Gram 矩阵 $XX^\top/n$ 及其谱，因此不改变达标预算——这属线性代数/谱收敛的平凡事实；D11 是在受控小系统里复核，并排除「预算只是记账用样本数造成的」这一替代解释。

P4. trace 归一化后预算按 $d\,h_d$ 缩放

固定 $n=8192$，仅把非零谱除以调和和 $h_d=\sum_{i\le d}1/i$ 使 $\operatorname{tr}H=1$ 后，1% 预算按 $d h_d$ 缩放；中间/首尾全网格最大系数误差 2.126802%/4.124214%；同 Rayleigh 的 33 个预算比仍为 1.959184–1.999956，首尾单 Rayleigh 仍低估 48.958333%–49.998894%。

判定：部分已知。调和和 $h_d\approx\ln d$ 带来的 $d\log d$ 标度、以及「整体缩放谱同时改标度」都是已知谱行为的受控实例；D11 是把它从已知递推里推导并数值核验，而非新理论。

P5. 只检查了离散损失阈值 $\varepsilon$，不能推到连续范围

trace=1 下，2% 与 5% 两个离散阈值均满足原注册误差边界（2%：1.244504%/4.771486%；5%：1.743710%/4.814219%）；两次评价只读保存曲线，未改特征或参数更新；报告明确 1%/2%/5% 三点不能支持连续 $\varepsilon$ 外推。

判定：未找到直接前作（边界/注册陈述）。这是本方向预注册的评价范围与「不外推」声明，本身不是新发现。原检索未找到讨论同一预算定义下离散阈值外推问题的直接前作；这不构成新颖性结论。

P6. 预算差不依赖随 $d$ 消失的快模态权重

固定 trace=1 谱，把目标改为 $d/4$ 与 $d$ 模态各占 1/3、2/3 能量后，33 个同坐标配对的 1% 预算为中间目标的 1.823860–1.857143 倍，单 Rayleigh 预测低估 45.171233%–46.153846%；两个占用模态均随 $d$ 缩放、权重保持固定。这仍是固定特征结果。

判定：部分已知（机理）／未找到直接前作（该受控对照）。「对齐结构决定轨迹」是已知原则；这个受控 $q$ 对照进一步说明，反例不必依赖不缩放的极快模态或随 $d$ 消失的快模态权重。原检索未找到直接对应的前作。

相关文献

  1. Advani, M. S., Saxe, A. M., & Sompolinsky, H. (2020). High-dimensional dynamics of generalization error in neural networks. Neural Networks, 132, 428–446. doi:10.1016/j.neunet.2020.08.022
  2. Atanasov, A., Bordelon, B., Sainathan, S., & Pehlevan, C. (2022). The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes. arXiv:2212.12147
  3. Canatar, A., Bordelon, B., & Pehlevan, C. (2021). Spectral bias and task-model alignment explain generalization in kernel regression and infinitely wide neural networks. Nature Communications, 12. doi:10.1038/s41467-021-23103-1
  4. Chizat, L., Oyallon, E., & Bach, F. (2019). On Lazy Training in Differentiable Programming. arXiv:1812.07956
  5. Ding, S., Zhang, H., Zhao, H., & Fang, C. (2025). Scaling Law for Stochastic Gradient Descent in Quadratically Parameterized Linear Regression. arXiv:2502.09106
  6. Geiger, M., Spigler, S., Jacot, A., & Wyart, M. (2020). Disentangling feature and lazy training in deep neural networks. Journal of Statistical Mechanics. doi:10.1088/1742-5468/abc4de
  7. Ghorbani, B., Mei, S., Misiakiewicz, T., & Montanari, A. (2021). When do neural networks outperform kernel methods? Journal of Statistical Mechanics. doi:10.1088/1742-5468/ac3a81
  8. Hanin, B., & Nica, M. (2019). Finite Depth and Width Corrections to the Neural Tangent Kernel. arXiv:1909.05989
  9. Jacot, A., Gabriel, F., & Hongler, C. (2018). Neural Tangent Kernel: Convergence and Generalization in Neural Networks. arXiv:1806.07572
  10. Karkada, D. (2024). The lazy (NTK) and rich ($\mu$P) regimes: a gentle tutorial. arXiv:2404.19719
  11. Kumar, T., Bordelon, B., Gershman, S. J., & Pehlevan, C. (2024). Grokking as the Transition from Lazy to Rich Training Dynamics. arXiv:2310.06110
  12. Li, Y., Zhang, H., & Lin, Q. (2023). On the Asymptotic Learning Curves of Kernel Ridge Regression under Power-law Decay. arXiv:2309.13337
  13. Lin, L., Wu, J., Kakade, S. M., Bartlett, P. L., & Lee, J. D. (2024). Scaling Laws in Linear Regression: Compute, Parameters, and Data. arXiv:2406.08466
  14. Richards, D., Dobriban, E., & Rebeschini, P. (2021). Comparing Classes of Estimators: When does Gradient Descent Beat Ridge Regression in Linear Models? arXiv:2108.11872
  15. Saxe, A. M., McClelland, J. L., & Ganguli, S. (2014). Exact solutions to the nonlinear dynamics of learning in deep linear neural networks. ICLR 2014. arXiv:1312.6120
  16. Velikanov, M., & Yarotsky, D. (2022). Tight Convergence Rate Bounds for Optimization Under Power Law Spectral Conditions. arXiv:2202.00992
  17. Woodworth, B., Gunasekar, S., Savarese, P., Moroshko, E., Golan, I., Lee, J. D., Soudry, D., & Srebro, N. (2020). Kernel and Rich Regimes in Overparametrized Models. arXiv:1906.05827
  18. Wortsman, A., & Loureiro, B. (2025). Kernel ridge regression under power-law data: spectrum and generalization. arXiv:2510.04780

原检索范围与尚未核验的内容

原检索词包括 lazy training、rich regime、lazy to rich transition、width scaling、NTK width、sample complexity width、kernel ridge power-law、power-law spectral convergence、task-model alignment、scaling laws linear regression。原记录注明 arXiv API 多次返回 HTTP 429（限流），故引用条目主要经 OpenAlex 返回信息核对；每条均在返回结果中带 DOI（arXiv 预印本以 10.48550/arxiv.* 形式含 arXiv ID）。本次文字修订未重新核验文献。未核验全文，也不构成新颖性结论：「未找到直接前作」只说明原检索没有找到直接对应的研究。

词义提醒：D11 的 d 是固定特征参数数（$d=8$–$8192$），不是网络宽度；其 $T_{1\%}$ 是「首次达到相对损失阈值 $\varepsilon$」的更新步数，在文献里对应的概念族是固定核/幂律谱下的收敛率与学习曲线，而非「宽度标度律」本身。D11 的结论只覆盖固定特征、全批量、$\eta=0.5$、无动量无衰减、所列谱（$\lambda_i=i^{-1}$ 与除 $h_d$ 归一）与阈值（$1\%/2\%/5\%$），属 development，不外推 Adam、小批量、随机特征集中、learned features、真实网络宽度或网格外维数。固定特征没有核漂移，无法识别 lazy↔rich 边界；能谈边界的是随宽度变化的核漂移类工作（Chizat et al. 2019；Woodworth et al. 2020；Geiger et al. 2020；Atanasov et al. 2022；Kumar et al. 2024；Karkada 2024；NTK 有限宽修正 Hanin & Nica 2019），这些是 D11 尚未触及的对照面。

摘要级文献对照首版 2026-10-11（北京时间）· 尚未逐篇精读全文 · 网页在 prototype 仓库内维护