← 研究总览 · D3 报告 · 背景与文献 · 编辑此页

D3：拟合预算与谱指标的已有研究对照

先看结论：固定特征下的损失谱分解和零空间残余是已知解析结果。本报告用配对反例说明：几个谱指标相同，达到损失阈值所需的步数仍可不同。匹配高阶谱矩后的具体反例未找到直接前作，不等于新颖性确认。本页是摘要级文献对照，沿用原检索记录，本次仅修改文字。

本页把 D3 报告「结论」节的每条命题逐条对照已有文献，给出「这条结论文献里是否已经讨论过」的判定。检索使用 arXiv API 与 OpenAlex（2026-10-11），判定基于论文标题、作者、年份与摘要，尚未逐篇精读全文。重要校正：D3 的 $R$ 是「训练到 $U$ 步的残余损失比例」，不是文献里的 capacity / effective rank 本身；文献里确有一族描述量叫 effective rank（有效秩）与 learning capacity，而 D3 的命题恰恰是：这些标量（连同 Rayleigh 商、trace、参数数）不足以唯一确定拟合预算。

「未找到直接前作」仅指原检索范围内没有找到直接对应的研究，不等于新颖性确认；扩大检索或阅读全文后，判断可能改变。D3 的对照对象是固定特征、零初始化、全批量 SGD、$n=d=9$ 的 development 实验与保存数据事后核验，不外推真实网络。零特征值项与无限训练公式是解析结果，未在含零特征值的模型上实测。

判断标签：已知文献已给出相同或近乎相同的结论 · 部分已知现象相同但对象或构造不同（例如文献用 effective rank / 随机特征谱，D3 用受控 $n=d=9$ 的整数步预算）· 未找到直接前作仅指原检索结果，不代表已确认新颖性 · — 需读全文才能定论

已知谱公式与少量指标不足的反例

编号D3 命题（含关键数字）文献状态最近的文献
P1拟合阈值不是停止点：有限预算残余是精确谱级数，36 曲线/32,232 点最大绝对误差 2.584738e−16已知（解析）Defilippis et al. 2024；Liao & Couillet 2018；Dandi et al. 2024
P2相同阈值之后尾部仍可差多个数量级：快 1.783342e−18 vs 慢 2.256357e−7，1% 阈值 103/138、0.1% 阈值 160/322部分已知Paquette et al. 2026；Rizzi et al. 2026；Roy & Vetterli 2007
P3无限训练残余只留不可学分量：满秩 $R_\infty=0$，36/36 曲线不可学能量为 0已知Defilippis et al. 2024；Ahsan et al. 2026
P4匹配 Rayleigh 商、参数数、trace、有效秩、初始损失与梯度范数仍不能定预算（13/38 vs 41/364）部分已知Nakis et al. 2026；Chen et al. 2023；Roy & Vetterli 2007
P5再匹配前三阶谱矩与插值参数范数仍不能定预算（103/138 vs 160/322，比 1.34–2.01）未找到直接前作Defilippis et al. 2024；Rizzi et al. 2026

逐条对照：剩余损失与达标步数

P1. 拟合阈值不是停止点：有限预算残余是精确谱级数

固定特征、零初始化、稳定全批量 GD（$0<\eta\lambda_i<2$）下，残余比例为

\[ R_U^{\rm exact}=\sum_{\lambda_i=0}w_i+\sum_{\lambda_i>0}w_i(1-\eta\lambda_i)^{2U}. \]

报告在 36 条保存曲线、1% 阈值后的 32,232 个点上核验该级数，最大绝对误差 2.584738e−16，全曲线误差 1.665335e−15。

判定：已知（解析）。二次损失上 GD 的逐特征方向几何衰减因子 $(1-\eta\lambda_i)$ 是标准解析事实，有限预算残余等于各模态之和属同一定理；D3 的价值是把该级数在受控小系统里复核并给出 $10^{-16}$ 量级的数值验证，而非新增公式。

P2. 相同阈值之后，尾部仍可相差多个数量级

同一六方向配对：快目标在 1000 步的残余为 1.783342e−18–1.783343e−18，慢目标为 2.256357e−7；两者 1% 阈值分别 103/138 步，0.1% 阈值 160/322 步。达到同一相对阈值并不锁定后续尾部。

判定：部分已知。「长期尾部由最慢模态主导、幂律谱下衰减速度差异巨大」在谱-模态与随机特征渐近文献中反复出现；但把「达到同一损失阈值后残余仍可差多个数量级」作为分辨率描述量的受控陈述，本轮未见与之同构的直接前作。D3 的贡献是受控复核与整数步端点的显式记录。

P3. 无限训练残余只留不可学分量

$\lambda_i=0$ 的方向残余保持原值，故 $R_\infty^{\rm exact}=\sum_{\lambda_i=0}w_i$。报告的例子谱满秩，36/36 曲线不可学能量为 0，解析无限训练残余为零。

判定：已知。「目标在算子零空间上的投影永远保留」是最小二乘/核回归的标准结论；满秩（过参数化插值可达）时残余为零也属推论。D3 只是把该边界与实测「36/36 满秩」并置记录。

P4. 预先选定的指标全部匹配，仍不能确定达标步数

同谱匹配 Rayleigh 商（$m_1$）、参数数、trace、有效秩、初始损失与初始梯度范数时，$p=1/2$ 的 1% 预算仍为 13/38 与 41/364 步，$p=0$ 均为 4 步。再匹配 $m_2$ 与首步下降仍为 41/319 步（比 7.780488）。

判定：部分已知。「秩/一步曲率/有效维数等标量不足以表征容量与拟合」是 2023–2026 年的一组活跃主张（Rank Is Not Capacity；One-Step Curvature Probes）；D3 与之方向一致，但把该主张落成匹配到具体标量后整数步预算仍分离的受控反例（13/38 vs 41/364），本轮未见同构数字。

P5. 再匹配高阶谱矩与插值参数范数仍不能确定预算

范数匹配使预算变为 68/135 步（比 1.985294）；前三阶谱矩 $m_1,m_2,m_3$ 与插值参数范数全部匹配的六模态配对，1% 预算 103/138 步（比 1.339806）、0.1% 预算 160/322 步（比 2.0125）。三对照的共同矩值各不相同，完整目标加权谱递推才与实测整数步一致。

判定：未找到直接前作。匹配到前三阶目标加权谱矩与插值参数范数后，达标步数仍相差 1.3–2.0 倍，这是一个具体的受控反例，原检索未找到直接前作。高阶矩与慢模态能量仍共同改变，不能独立归因；跨 $p$ 的 trace 不同，结论只取同 $p$ 内配对。

相关文献

  1. Abbas, A., Sutter, D., Figalli, A., & Woerner, S. (2021). Effective dimension of machine learning models. arXiv:2112.04807
  2. Ahsan, A. S.-A. M. M.-I. A., Shihab, I. F., & Swaqeeb, M. N. (2026). One-step curvature probes miss the fitting operator: retained capacity and terminal null-space correction for continual learning. arXiv:2610.03952
  3. Chen, D., Chang, W.-K., & Chaudhari, P. (2023). Learning capacity: a measure of the effective dimensionality of a model. arXiv:2305.17332
  4. Chen, H., Long, J., & Wu, L. (2023). A duality framework for analyzing random feature and two-layer neural networks. arXiv:2305.05642
  5. Dandi, Y., Pesce, L., Cui, H., Krzakala, F., Lu, Y. M., & Loureiro, B. (2024). A random matrix theory perspective on the spectrum of learned features and asymptotic generalization capabilities. arXiv:2410.18938
  6. Defilippis, L., Loureiro, B., & Misiakiewicz, T. (2024). Dimension-free deterministic equivalents and scaling laws for random feature regression. NeurIPS 2024. arXiv:2405.15699
  7. Hashemi, A., Schaeffer, H., Shi, R., Topcu, U., Tran, G., & Ward, R. (2021). Generalization bounds for sparse random feature expansions. arXiv:2103.03191
  8. Kam, C.-F., Bessafi, M., & Cadet, F. (2026). Structured features overfit where random features grok. arXiv:2609.15047
  9. Liao, Z., & Couillet, R. (2018). On the spectrum of random features maps of high dimensional data. ICML 2018. arXiv:1805.11916
  10. Nakis, N., Promponas, P., Tsirkas, K., Mamali, K., Makri, E., Tassiulas, L., & Christakis, N. A. (2026). Rank is not capacity: spectral occupancy for latent graph models. arXiv:2605.11142
  11. Paquette, E., Xiao, K. L., & Zhu, Y. (2026). Power-law spectrum of the random feature model. arXiv:2603.14578
  12. Rizzi, L., Wortsman, A., & Loureiro, B. (2026). Learning between the peaks: sharp asymptotics for kernel ridge regression under power-law anisotropy. arXiv:2608.28564
  13. Robin, D. A. R., Scaman, K., & Lelarge, M. (2023). Convergence beyond the over-parameterized regime using Rayleigh quotients. arXiv:2301.08117
  14. Roy, O., & Vetterli, M. (2007). The effective rank: a measure of effective dimensionality. DOI:10.5281/zenodo.40328

原检索范围与尚未核验的内容

原检索词包括 effective rank、Rayleigh quotient、condition number、target weighted spectrum、capacity of linear model、learning budget、random features regression spectrum、spectral decay least squares、null space interpolation。原记录注明引用条目经 arXiv API 或 OpenAlex 返回信息核对，判断基于标题、作者、年份与摘要。本次文字修订未重新核验文献。未核验全文，也不构成新颖性结论：「未找到直接前作」只说明原检索没有找到直接对应的研究。

词义提醒：文献里的 effective rank / learning capacity / effective dimension 是「模型或谱的有效维数」这一族描述量（Roy & Vetterli 2007；Chen et al. 2023），与 D3 的 $R_U$（残余损失比例）不是同一个量；2026 年已有工作明确主张「rank 不等于 capacity」「一步曲率探针抓不住拟合算子」，与 D3 的标量不足结论同向。D3 的结论只覆盖固定特征、平方损失、零初始化、稳定全批量 SGD、$n=d=9$、谱 $\lambda_i=i^{-p}$（$p=0/1/2$）、所列表阈值与 1000 步窗口，属 development，不外推 Adam、小批量、learned features、非线性网络或空间分辨率；含零特征值模型与数值平台出现时间仍是未测边界。

摘要级文献对照首版 2026-10-11（北京时间）· 尚未逐篇精读全文 · 网页在 prototype 仓库内维护