← 研究总览 · D4 报告 · 背景与文献 · 编辑此页

D4：单 sigmoid 拟合与已有研究的对照

先看结论：多时间尺度会影响曲线形状，拟合参数也不等于真实动力学参数，这些都有已有研究。本报告具体测量单 sigmoid 在哪些谱比、损失占比和拟合准则下不够准确；这些受控对照未找到直接前作，不等于新颖性确认。本页是摘要级文献对照，沿用原检索记录，本次仅修改文字。

下面按 D4 报告的结论逐条说明与已有研究的关系。原检索使用 arXiv API 与 OpenAlex（2026-10-11），判断依据是论文标题、作者、年份与摘要，尚未逐篇精读全文；标签表示这次摘要级对照的判断。

D4 的对照对象是固定特征、样本数与参数数均为 2、全批量 SGD（$\eta=0.1$、无动量与权重衰减）、对数时间轴上单段 sigmoid 的 development 实验；下列文献多数针对真实深度网络或大模型，对照时须注意对象与构造的差异。「未找到直接前作」仅指原检索没有找到直接对应的研究，不等于新颖性确认；扩大检索或阅读全文后，判断可能改变。

判断标签：已知文献已给出相同或近乎相同的结论 · 部分已知现象相同但对象或构造不同（例如文献用真实网络/saddle-to-saddle 的损失曲线，D4 用固定特征二次损失上的单段 logistic）· 未找到直接前作仅指原检索结果，不代表已确认新颖性 · — 需读全文才能定论

已知的拟合局限与本报告测得的误差边界

编号D4 命题（含关键数字）文献状态最近的文献
(a)单 sigmoid 是否通过取决于谱比、慢占比 α 与选解协议；最小二乘在谱比 1/3/10 各通过 3/3、30/100 各失败 3/3；谱比 100 九点 α 设计仅 α=0.99/1 各 3/3；补充格点 15 通过 3/3、20 失败 3/3部分已知Saddle-to-Saddle 2021；Naidu et al. 2025；Qiu et al. 2025；Bifurcations and loss jumps 2023
(b)谱比 100、两时间尺度均占初始损失时，单段形状不足以同时覆盖快降与慢尾；最差点误差不能靠换选解协议消除，min-maxabs 下界 0.08338322414783761/0.08268412546021864/0.09797454939689487 均 >0.05部分已知Saddle-to-Saddle 2021；SGD in the Saddle-to-Saddle Regime 2026；Spectral Bias 综述 2022
(c)min-maxabs 压低局部误差峰值，代价是 RMSE 增大与拟合中点偏移；α=0/0.01 由 0/3 变 3/3，RMSE 增 0.00249738653/0.00205599340，中点提前 0.16274563882/0.13411860236 步部分已知The Shape of Learning Curves 2022；LCDB 1.1 2025；Exponential curve fitting 2024
(d)拟合中点与拟合斜率不能直接读作真实半衰期与半高处局部斜率；谱比 1→100 中点偏差 −8.99%→+72.40%，斜率偏差 +4.36%→+86.73%已知（基本）The Shape of Learning Curves 2022；The power law repealed 2000；LCDB 1.1 2025

逐条对照：单段何时不够，换拟合准则有何代价

(a) 单 sigmoid 能否达标，取决于谱比、慢损失占比 α 与拟合准则

谱比是快、慢方向曲率之比；比值大时快模态迅速下降、慢模态长期主导，损失曲线呈「快降 + 慢尾」两阶段。单 sigmoid（对数时间轴上的 logistic）要一段形状同时覆盖两段。D4 的判定映射：等初始损失下最小二乘在谱比 1/3/10 各通过 3/3、30/100 各失败 3/3；谱比 100 的九点 α 设计仅 α=0.99/1 各通过 3/3，其余七点各失败 3/3；同条件补充格点在谱比 15 通过 3/3、20 失败 3/3，均方根/最差点误差分别为 0.027550353/0.047113104 与 0.032733550/0.052902145。

判定：部分已知。「谱比大 → 多时间尺度 → 两阶段损失、单段形状难覆盖」与已知的多阶段 / saddle-to-saddle 与谱偏置（spectral bias）理论一致；但把「单 sigmoid 在注册 log 时间网格上是否通过」整理成谱比 × α × 选解协议的受控判定映射，本轮检索未找到直接前作。

(b) 谱比 100、两时间尺度均占一定初始损失时，单段形状不足

α=0.25/0.5/0.75 的最小二乘最差点误差为 0.17433681/0.08556858/0.11474926；改用 min-maxabs（选最差点误差最小的参数）后，参数域内最大误差的数值下界仍为 0.08338322414783761/0.08268412546021864/0.09797454939689487，均 >0.05，各 3/3 坐标核验支持注册网格与参数域内不存在达标参数。

判定：部分已知。「时间尺度分离下，单段形状不足以同时覆盖快降与慢尾」是已知多模态/多阶段理论的直接后果；但给出「注册有限网格 + 有界参数域内 maxabs 下界 >0.05、且换选解协议也消除不掉」的不可达证书，本轮检索未找到直接前作。

(c) min-maxabs 压低局部误差峰值，代价是 RMSE 增大与拟合中点偏移

α=0/0.01 各由最小二乘的 0/3 通过变为 3/3 通过；降峰后均方根/最差点误差为 0.01437779613/0.03702806721 与 0.01227958828/0.03337965078，均方根误差分别增加 0.00249738653/0.00205599340（低于 ≥0.003 的预测，该配对预测被推翻），拟合中点分别提前 0.16274563882/0.13411860236 步（3.18633600430→3.02359036549、3.21456987380→3.08045127144 步）。

判定：部分已知。「用最大误差最小化（L∞，minimax）压低最差点误差、代价是均方误差（L2）增大」是逼近论中最小二乘与 Chebyshev 逼近的基本取舍；D4 的新意是把它作为「选解协议代价」在受控曲线族上测量，并记录中点偏移与配对增幅预测被推翻，这一具体对照本轮检索未找到直接前作（且未引用具体逼近论条目，取舍仅作一般陈述）。

(d) 拟合中点与拟合斜率不能直接读作真实半衰期与半高处局部斜率

等初始损失的谱比 1/3/10/30/100 下，拟合中点相对真实半衰期的偏差依次为 −8.99%/−6.53%/+3.95%/+21.96%/+72.40%，拟合斜率相对半高处局部斜率的偏差为 +4.36%/+4.15%/+8.39%/+26.28%/+86.73%；偏差随谱比单调增大。

判定：已知（基本）。「拟合得到的曲线参数（指数/中点/斜率）不等于底层动力学的真实参数」在学习曲线与 scaling law 拟合文献中已被反复强调（函数形式歧义、曲线不守规矩）；D4 的贡献是在已知谱递推的受控系统里把偏差量化到具体百分比，而不是首次提出该告诫。

相关文献

  1. The Shape of Learning Curves: A Review (2022). TPAMI. arXiv:2103.10948 · DOI:10.1109/TPAMI.2022.3220744
  2. LCDB 1.1: A Database Illustrating Learning Curves Are More Ill-Behaved Than Previously Thought (2025). DOI:10.52202/085713-0487
  3. Analysis of learning curves in predictive modeling using exponential curve fitting with an asymptotic approach (2024). PLOS ONE. DOI:10.1371/journal.pone.0299811
  4. The power law repealed: The case for an exponential law of practice (2000). Psychonomic Bulletin & Review. DOI:10.3758/BF03212979
  5. Saddle-to-Saddle Dynamics in Deep Linear Networks: Small Initialization Training, Symmetry, and Sparsity (2021). arXiv:2106.15933
  6. Stochastic Gradient Descent in the Saddle-to-Saddle Regime of Deep Linear Networks (2026). arXiv:2604.06366
  7. Overview Frequency Principle / Spectral Bias in Deep Learning (2022). arXiv:2201.07395
  8. A Solvable Model of Neural Scaling Laws (2022). arXiv:2210.16859
  9. Broken Neural Scaling Laws (2022). arXiv:2210.14891
  10. Naidu, P., Wang, Z., Bergen, L., & Paturi, R. (2025). Quiet Feature Learning in Algorithmic Tasks. arXiv:2505.03997
  11. Qiu, S., Xiao, L., Wilson, A. G., Pennington, J., & Agarwala, A. (2025). Scaling Collapse Reveals Universal Dynamics in Compute-Optimally Trained Neural Networks. arXiv:2507.02119
  12. Bifurcations and loss jumps in RNN training (2023). arXiv:2310.17561
  13. Bigelow, E., Wurgaft, D., Wang, Y., Goodman, N., Ullman, T., Tanaka, H., & Lubana, E. S. (2025). Belief Dynamics Reveal the Dual Nature of In-Context Learning and Activation Steering. arXiv:2511.00617
  14. Akavarapu, V. S. D. S. M., Daniel, M., & Jäger, G. (2026). Hard to Be Heard: Phoneme-Level ASR Analysis of Phonologically Complex, Low-Resource Endangered Languages. arXiv:2604.18204
  15. Luo, K., Wen, H., Hu, S., Sun, Z., Liu, Z., Sun, M., Lyu, K., & Chen, W. (2025). A Multi-Power Law for Loss Curve Prediction Across Learning Rate Schedules. arXiv:2503.12811
  16. Tissue, H., Wang, V., & Wang, L. (2024). Scaling Law with Learning Rate Annealing. arXiv:2408.11029

原检索范围与尚未核验的内容

原检索词包括 learning curve sigmoid、loss curve power law、saddle-to-saddle、spectral bias / frequency principle、timescale separation、loss curve prediction/extrapolation、learning curve fitting model selection。原记录注明引用条目经 arXiv / OpenAlex 返回信息核对，判断基于标题、作者、年份与摘要。本次文字修订未重新核验文献。未核验全文，也不构成新颖性结论：「未找到直接前作」只说明原检索没有找到直接对应的研究。

对象提醒：D4 的结论只覆盖固定特征二次损失、$n=d=2$、全批量 SGD（$\eta=0.1$、无动量/衰减）、对数时间轴单 sigmoid、所列曲率谱与阈值，属 development，不外推 Adam、小批量、learned features 或非线性网络；上列文献多数是真实网络/大模型，故「部分已知」主要指「现象相同但对象或构造不同」。

接口边界：arXiv API 在检索后期返回 HTTP 429（速率限制），部分 arXiv 查询未返回结果；受影响的主题（如 saddle-to-saddle）改由 OpenAlex 返回条目核对，其 arXiv ID 取自 OpenAlex 记录的 DOI。本页所有 arXiv ID / DOI 均来自实际返回的 API 响应，未发生成引用。

摘要级文献对照首版 2026-10-11（北京时间）· 尚未逐篇精读全文 · 网页在 prototype 仓库内维护