← 研究总览 · D12 报告 · 背景与文献 · 编辑此页

D12：双段 sigmoid 近似与已有研究的对照

先看结论：双模态损失的精确解与半衰期计算属于已知解析方法。本报告检验由谱量直接给出的双段近似在哪些条件下足够准确；具体通过格点及不等权反例未找到直接前作，不等于新颖性确认。对数时间上的拟合成功也不证明发生了延迟泛化。本页是摘要级文献对照，沿用原检索记录，本次仅修改文字。

本页把 D12 报告「结论」节的每条命题逐条对照已有文献，给出「这条结论文献里是否已经讨论过」的判定。检索使用 arXiv API 与 OpenAlex（2026-10-11）；arXiv API 本轮持续返回 HTTP 429（限流），故实际引用条目全部来自 OpenAlex 接口的返回，判定基于论文标题、年份与摘要，尚未逐篇精读全文。

D12 的对象是固定特征的双模态二次损失（$n=d=2$、float64、half-MSE、全批量 SGD、$\eta=0.1$、momentum=0、无 weight decay、$\lambda_s=0.01$、$\lambda_f=r\lambda_s$、平台 1/0），它问的是：谱分离时损失曲线能否分解为「两段 logistic 在 log 时间上的级联」。因此与文献对照的关键词是 timescale separation、two-stage learning curve、grokking / delayed generalization、exact solutions of deep linear networks。报告自己已声明：对数时间上的双段近似不能当作原时间轴 S 形或 grokking 延迟泛化的证据。

「未找到直接前作」仅指原检索范围内没有找到直接对应的研究，不等于新颖性确认；扩大检索或阅读全文后，判断可能改变。D12 的结论只覆盖上述受控双模态训练配置与所列离散谱比/占比格点，不外推 learned features、momentum、小批量、非线性网络或真实任务。

判断标签：已知文献已给出相同或近乎相同的结论 · 部分已知现象相同但对象或构造不同（例如文献用真实网络的延迟泛化，D12 用固定特征双模态的 log-时间双段）· 未找到直接前作仅指原检索结果，不代表已确认新颖性 · — 需读全文才能定论

已知的双模态公式与双段近似的适用边界

编号D12 命题（含关键数字）文献状态最近的文献
P1逐模态时间标度 $h_i=\log2/[-2\log(1-\eta\lambda_i)]$ 与陡度 $b=2\log2$ 由局部半幅度/斜率匹配给出已知（基本）Saxe et al. 2014；Jacot et al. 2018
P2不等初始损失时精确递推 $f_\alpha=\alpha e^{-a_s t}+(1-\alpha)e^{-a_f t}$，$\alpha=L_s(0)/L(0)$已知Saxe et al. 2014；Exact learning dynamics … prior knowledge 2023
P3等权双段 logistic 拟合在 $r=12/15/20/25$ 均通过（RMSE 0.013446–0.015873，max 0.021608–0.031214），且比单段更准部分已知Power et al. 2022；The complexity dynamics of grokking 2025
P4单段 logistic 在 $r=12/15$ 通过、$r=20/25$ 失败；边界只在 15 与 20 两格点之间，无连续临界值部分已知（现象）／未找到直接前作（该对照）Grokking phase transitions … 2022；Liu et al. 2022
P5无拟合双段公式在 $r=3/10/12/15/20/25/30/100$ 八个离散格点均通过（最小余量 0.000403300/0.000638477）未找到直接前作Saxe et al. 2014；Power et al. 2022
P6等权通过不可推广到 $\alpha=0.25$：$r=100$ 时 RMSE=0.022740946$\le$0.03 但 max=0.053989623>0.05，3/3 未通过未找到直接前作Liu et al. 2022（Omnigrok）；Saxe et al. 2014
P7$\alpha=0.75$ 时同公式 RMSE=0.027824997、max=0.049822548，3/3 通过，余量仅 0.000177452；两项注册预测被推翻未找到直接前作Liu et al. 2022（Omnigrok）
P8「接近纯模态即可通过」失败：$r=100$、慢损失占比 0.01 原单段拟合 max=0.06476095；纯快模态 max=0.07462910未找到直接前作（负结果）Liu et al. 2022（Omnigrok）
P9「多段公式总更好」反例：$r=3/10/12$ 的双段公式两项误差均高于原单段拟合部分已知（模型选择常识）Power et al. 2022
P10真实正权双指数在原时间轴严格凸；log 时间上的双段近似不能作为原时间轴 S 形或延迟泛化证据已知（解析）Saxe et al. 2014

注：$r$ 为快、慢特征值之比；$\alpha$ 为慢模态初始损失占比；「通过」是 D12 的注册定义，指 RMSE$\le$0.03 且最大误差$\le$0.05。定义本身是约定，不是文献发现。

逐条对照

P1. 各模态的半衰时间与曲线陡度可由公式计算

$h_i=\log2/[-2\log(1-\eta\lambda_i)]$、$b=2\log2$ 由「指数模态在半幅度点的值与斜率」做局部匹配得到。

判定：已知（基本）。逐模态指数衰减与半衰期是 Saxe 等 2014 的经典结果；把指数衰减在 $\log$ 时间上做一阶局部匹配、从而得到 S 曲线的陡度 $b=2\log2$，是标准解析操作。报告也自述这是「已知解析工具」，P1 只是复核而非新发现。

P2. 不等初始损失的双指数精确解

初始模态损失不等时 $f_\alpha(t)=\alpha e^{-a_s t}+(1-\alpha)e^{-a_f t}$ 是精确归一化损失，$C_\alpha$ 是其加权描述候选，$\alpha=L_s(0)/L(0)$ 为慢模态初始损失占比。

判定：已知。带初始条件的多模态线性动力学精确解（各模态独立指数衰减、按初始系数加权）是既有理论；$\alpha$ 就是慢模态初始损失占比。但「这个精确解能否用一个不含校准的两段 logistic 近似到 0.03/0.05」是描述性问题，不在这一条里（见 P5）。

P3. 等权双段 logistic 拟合（r=12/15/20/25）均通过且优于单段

双段拟合的 RMSE=0.013446–0.015873，最大误差=0.021608–0.031214；四个条件双段都比单段更准；单段失败的两个条件经双段后同时通过；三个坐标 seed 判定一致。

判定：部分已知。「两阶段 / 多时间尺度的损失下降」在 grokking 与快慢时间尺度文献里已被广泛描述；但「用两条 $\log$ 时间 logistic 之和对固定特征双模态窗口逐谱比拟合，并与单段拟合配对比较误差」这一受控构造未见直接前作。提醒：双段 4 个自由参数对单段 2 个，「更准」部分来自表达能力，不能独立归因于「存在两个物理阶段」。

P4. 单段 logistic 的通过/失败边界

等初始损失的单段 logistic 在 $r=12/15$ 通过、在 $r=20/25$ 失败；判定只在 15 与 20 两个格点之间改变，尚未得到连续临界值。

判定：部分已知（现象）／未找到直接前作（该对照）。时间尺度分离时单 sigmoid 可能不足以描述，与相变/延迟泛化文献的讨论方向一致；但 $r=15\!\to\!20$ 的具体离散格点对照，原检索未找到直接前作。这里只有通过与失败的格点，不能把它们外推为连续临界值。

P5. 无拟合双段公式在八个离散谱比格点通过

用谱量直接给出的无拟合公式在 $r=3/10/12/15/20/25/30/100$ 八个已保存离散格点均通过；$r=20/25$ 的 RMSE=0.027321–0.027379，最大误差=0.049278–0.049362；最小通过余量 0.000403300/0.000638477。

判定：未找到直接前作。直接用谱量确定两段 logistic 参数、不再校准，却在八个离散谱比上同时通过 0.03/0.05，原检索未找到直接对应的结果。它只覆盖这八个离散格点与单一训练配置，余量很小（最小 max 余量约 $6.4\times10^{-4}$），不能外推连续区间。

P6. 等权通过不可推广到 α=0.25

$r=100$、$\alpha=0.25$ 时加权双段公式 RMSE=0.022740946$\le$0.03，但最大误差=0.053989623>0.05，三个坐标 seed 均未同时通过（0/3）。保持 $h/b$ 不变、只按保存初始损失改幅度后，同谱比仍不足以保证通过。

判定：未找到直接前作。「仅改初始损失分配就让 $\alpha=0.25$ 在 $r=100$ 失败、而 $\alpha=0.5$ 通过」这一受控反例在原检索中未找到直接前作。它不能确定连续 $\alpha$ 临界值，也不改变等权八个格点的原判定。

P7. α=0.75 通过且距阈值极近；两项注册预测被推翻

同一公式在 $r=100$、$\alpha=0.75$ 时 RMSE=0.027824997、最大误差=0.049822548，3/3 通过，最大误差距阈值仅 0.000177452；此前注册的两项预测（max>0.05、max$\in$[0.050,0.060]）均被 3/3 推翻。

判定：未找到直接前作。「$\alpha=0.75$ 通过且余量仅约 $1.8\times10^{-4}$，而 $\alpha=0.25$ 失败」这一具体对照在原检索中未找到直接前作。它只说明两个不等权格点不同，不能推出连续规律、单调性或唯一临界值。

P8. 「接近纯模态即可通过」失败

固定 $r=100$、慢损失占比 0.01 时，原单段拟合最大误差 0.06476095；纯快模态 0.07462910，两者均超 0.05。

判定：未找到直接前作（负结果）。「越接近单时间尺度越容易被单 sigmoid 描述」的预期没有通过检验，纯模态下单段误差反而更大。原检索未找到直接对应的反例；报告也明确不能仅用谱比判断拟合能力。

P9. 「多段公式总更好」的反例

$r=3/10/12$ 的双段公式两项误差均高于原单段拟合（如 $r=12$ 相对单段差 +0.003130356/+0.003204821）。

判定：部分已知（模型选择常识）。「参数更多不保证在给定窗口/判据下更优」属一般模型选择事实；此处的价值是受控复核对「多段公式总更好」这一未注册泛化说法给出反例，而非新机制。

P10. 正权双指数原时间轴严格凸；log 时间双段≠原时间轴 S 形/延迟泛化证据

真实正权双指数和 $f_\alpha$ 在原时间轴上严格凸（斜率随时间递增）。

判定：已知（解析）。正权衰减指数之和是严格凸的递减函数，是初等解析性质。报告据此提醒：$\log$ 时间上呈 S 形的两段近似不构成原时间轴上 S 形或 grokking 延迟泛化的证据。这条是把已知解析性质用作边界声明，不是新现象。

相关文献

  1. Saxe, A. M., McClelland, J. L., & Ganguli, S. (2014). Exact solutions to the nonlinear dynamics of learning in deep linear neural networks. arXiv:1312.6120（OpenAlex W2125930537）
  2. Power, A., Burda, Y., Edwards, H., Babuschkin, I., & Misra, V. (2022). Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets. arXiv:2201.02177（OpenAlex W4226434736）
  3. Liu, Z., Michaud, E. J., & Tegmark, M. (2022). Omnigrok: Grokking Beyond Algorithmic Data. arXiv:2210.01117（OpenAlex W4302013344）
  4. Grokking phase transitions in learning local rules with gradient descent (2022). arXiv:2210.15435（OpenAlex W4307537005）
  5. Progress Measures for Grokking on Real-world Tasks (2024). arXiv:2405.12755（OpenAlex W4398230769）
  6. The complexity dynamics of grokking (2025). Physica D. DOI:10.1016/j.physd.2025.134859（OpenAlex W4413243258）
  7. Grokking as a Falsifiable Finite-Size Transition (2026). arXiv:2603.24746（OpenAlex W7141734836）
  8. Quantifying the Memorization-to-Generalization Transition: Scaling Laws and Phase Structure in Grokking (2026). arXiv:2609.10657（OpenAlex W7212269809）
  9. A Solvable Model of Neural Scaling Laws (2022). arXiv:2210.16859（OpenAlex W4307929880）
  10. Learning Slow and Fast System Dynamics via Automatic Separation of Time Scales (2023). KDD. DOI:10.1145/3580305.3599858（OpenAlex W4385568105）
  11. Exact learning dynamics of deep linear networks with prior knowledge (2023). J. Stat. Mech. DOI:10.1088/1742-5468/ad01b8（OpenAlex W4388706387）
  12. Exact Solutions of a Deep Linear Network (2022). arXiv:2202.04777（OpenAlex W4225834566）
  13. Cohen, J. M., Kaur, S., Li, Y., Kolter, J. Z., & Talwalkar, A. (2021). Gradient Descent on Neural Networks Typically Occurs at the Edge of Stability. arXiv:2103.00065（OpenAlex W3132026801）
  14. Understanding Gradient Descent on Edge of Stability in Deep Learning (2022). arXiv:2205.09745（OpenAlex W4281251260）
  15. Jacot, A., Gabriel, F., & Hongler, C. (2018). Neural Tangent Kernel: Convergence and Generalization in Neural Networks. arXiv:1806.07572（OpenAlex W2809090039）
  16. Rosenfeld, J. S., Rosenfeld, A., Belinkov, Y., & Shavit, N. (2019). A Constructive Prediction of the Generalization Error Across Scales. arXiv:1909.12673（OpenAlex W2996151541）
  17. Advani, M. S., Saxe, A. M., & Sompolinsky, H. (2020). High-dimensional dynamics of generalization error in neural networks. Neural Networks, 132, 428–446. DOI:10.1016/j.neunet.2020.08.022（OpenAlex W2763894180）

原检索范围与尚未核验的内容

原检索词包括 cascade sigmoid、multi-timescale loss、two-stage learning curve、piecewise logistic、grokking、phase transition、delayed generalization、exact solutions deep linear networks、timescale separation。原记录注明 arXiv API 查询持续返回 HTTP 429（限流），引用条目来自 OpenAlex 返回信息（含各条的 arXiv ID 或 DOI 与 OpenAlex work id）。本次文字修订未重新核验文献。判断基于标题、年份与摘要；未核验全文，也不构成新颖性结论：「未找到直接前作」只说明原检索没有找到直接对应的研究。

边界与对象提醒：D12 的结论只覆盖固定特征的双模态二次损失——$n=d=2$、float64、half-MSE、全批量 SGD、$\eta=0.1$、momentum=0、无 weight decay、平台 1/0，以及所列的离散谱比 $r$ 与初始损失占比 $\alpha$ 格点。它是 development 实验，不外推 learned features、momentum、小批量、非线性网络或真实任务。报告明确：$\log$ 时间上的双段近似不等于原时间轴的 S 形，也不构成 grokking 式延迟泛化的证据；「无 learned-features 延迟跃迁证据」是范围声明。通过判据（RMSE$\le$0.03 且 max$\le$0.05）是 D12 的注册定义，属约定而非文献发现。

摘要级文献对照首版 2026-10-11（北京时间）· 尚未逐篇精读全文 · 网页在 prototype 仓库内维护