← 研究总览 · D6 报告 · 背景与文献 · 编辑此页

D6：核漂移预测与已有研究的对照

先看结论：经验核会随训练变化，早期核与目标的关系也已有研究。本报告中的预测公式在原数据抽样上有效，换抽样后收益未保持；具体预注册反例未找到直接前作，不等于新颖性确认。核读数的预测也不能直接当作泛化预测。本页是摘要级文献对照，沿用原检索记录，本次仅修改文字。

本页把 D6 报告「结论」节的每条命题逐条对照已有文献，给出「这条结论文献里是否已经讨论过」的判定。检索使用 arXiv API 与 OpenAlex（2026-10-11），判定基于论文标题、作者、年份与摘要，尚未逐篇精读全文。需要先分清两件事：D6 的“核漂移”是有限宽网络训练中经验核（empirical NTK）随时间变化——这一现象在文献里确有专门研究（kernel evolution / kernel learning / silent alignment）；D6 的贡献不在“发现核会漂移”，而在用固定 $r_0$、做 trace 匹配后检验早期漂移方向能否预测晚期幅度，并给出对输入 draw 敏感的受控反例。

「未找到直接前作」仅指原检索范围内没有找到直接对应的研究，不等于新颖性确认；扩大检索或阅读全文后，判断可能改变。D6 的对照对象是 $d=3$、$n=32$ 高斯输入、product/mixed_sine、width 8/32、两层 SiLU、全批量 SGD（$\eta=0.05$，momentum/weight decay 为 0）的 development 实验，不外推真实网络或其他优化器。

判断标签：已知文献已给出相同或近乎相同的结论 · 部分已知现象相同但对象或构造不同（例如文献在真实网络/分类任务上研究 NTK 演化，D6 在受控小回归上做 trace 匹配的幅度预测）· 未找到直接前作仅指原检索结果，不代表已确认新颖性 · — 需读全文才能定论

已知的核变化现象与跨数据抽样的预测失败

编号D6 命题（含关键数字）文献状态最近的文献
Q加入标签早期核读数不改善晚期预测（$\Delta<0$ 再现，260610 $\Delta=-0.029842999$），但点预期 $-0.20$ 未实现、四 recipe 区间均跨零部分已知Jacot et al. 2018；Loo et al. 2022；Hanin & Nica 2019；2608.03709
C1trace 匹配 + 固定 $r_0$ 后，早期核漂移方向在 3/4 recipe 持续（product×8、product×32、mixed_sine×32 各 2/3；mixed_sine×8 为 0/3 反例）部分已知Atanasov et al. 2021；Paccolat et al. 2020；Hanin & Nica 2019
C2固定标签早期读数在原 draw 降低晚期预测误差（260606 T MAE 0.441188817 vs E 0.550345073，改善 0.109156256，过 ≤0.70/≥0.08；W 改善 0.052337126）部分已知2105.14301；2608.19497；Paccolat et al. 2020
C3该收益不迁移：三个新 draw 相对改善为负（−0.383048543、−0.152998507、−0.045043418，260610 亦 −0.029842999），对输入 draw 敏感部分已知2608.19497；2203.14577
C4260607/260608 的预注册预测被推翻（≤0.70/≥0.08 联合失败；失效再现的 MAE>0.70 项被否证）未找到直接前作—
C5仅换 data_seed 同时改变输入、clean 目标与居中/RMS 归一化，不能将失效独立归因于其中一项未找到直接前作—
C6标签读数 $Q$ 的负系数是关联，不证明目标对齐越高越坏部分已知2105.14301；2311.18817
C7固定 $r_0$ 的方向持续不保证晚期残差 $r_t$ 拟合收益或 test 改善部分已知2507.12837；Atanasov et al. 2021
C8trace 匹配排除整体核尺度差异；固定 $r_0$ 排除残差旋转（方法控制）已知Atanasov et al. 2021；Hanin & Nica 2019

逐条对照

Q. 核心命题：早期核读数能否预测晚期幅度

D6 问：把早期（第 32 步）核读数 $E,Q$ 冻结成公式后，能否预测晚期（第 256 步）固定 $r_0$ 下的核读数 $L$。核心符号判据是 $\Delta=\mathrm{MAE}_E-\mathrm{MAE}_T<0$，即“加了标签读数 $Q$ 的 T 模型并不比只用 $E$ 的 E 模型更准”。260610 给出 $\Delta=-0.029842999$，符号再现；但点预期 $-0.20$ 与实测相差 $+0.170157001$，T 仅 5/12 cell 更好，四 recipe 三初始化区间均跨零。

判定：部分已知。“用核/早期读数刻画并预测训练演化”是已被反复研究的主题（NTK、kernel evolution、early telemetry）；但文献多在真实网络的分类/鲁棒性场景或系统级遥测上做相关性预测，D6 给的是受控小回归下的符号判据反例（$\Delta<0$ 再现但幅度不实现），并非首次提出“早期读数可预测晚期”。

C1. 早期核变化方向在 3/4 组训练条件下保持到晚期

排除整体核尺度（trace 匹配）并固定初始残差 $r_0$ 后，D6 要求同一 recipe 至少 2/3 seed 在第 32 步与第 256 步保留同一非零方向（超过 5% deadband）。product×8、product×32、mixed_sine×32 各 2/3 通过；mixed_sine×8 为 0/3，是反例。

判定：部分已知。“早期核方向/谱结构演化并趋于稳定”在 silent alignment 与 NTK 演化文献中已有；D6 的新意只在特定判据——trace 匹配 + 固定 $r_0$ 后在步 32/256 之间的方向持续性检验与 3/4 通过/1 反例的受控计数，而非现象本身。

C2. 加入早期核与标签的关系，在原数据抽样上降低预测误差

在 data_seed260606、新初始化（init701/719/737）上，冻结 T 模型（$E$ 读数 + 标签读数 $Q$）的 MAE 为 0.441188817，相对 E 的 0.550345073 改善 0.109156256，通过事前 ≤0.70/≥0.08 判据；W（$E$ + 宽度指示）改善 0.052337126。

判定：部分已知。“核-标签对齐是训练/泛化的预测性诊断量”已有理论与实证；D6 的价值是把该诊断落到固定早期读数 → 晚期幅度的回归、并给出单 draw 通过的具体数字，而非首次提出对齐量。

C3. 换一批数据抽样后，预测收益没有保持

同一冻结 T 公式在 260607/260608/260609/260610 上的相对 E 改善分别为 $-0.383048543$、$-0.152998507$、$-0.045043418$、$-0.029842999$，全部为负；T 逐 cell 更优数从 7/12 降到 2–5/12，四 recipe 区间跨零。

判定：部分已知。“早期/单指标诊断在跨设定下不稳健、不单调”已有文献明确指出；D6 的贡献是把它做成冻结公式在指定 draw 上的受控负迁移反例（带配对区间），而非首次发现 NTK 诊断不可靠。

C4. 260607/260608 的预注册预测被推翻

260607 推翻“T MAE≤0.70 且改善≥0.08”的联合预测（T MAE 升至 1.265316394）与“W 改善<0.08”预测；260608 又推翻“MAE>0.70 且改善<0.08”的失效再现预测（绝对误差回到 0.70 内）。两批均为事先注册的联合阈值判据的证伪。

判定：未找到直接前作。这是对具体预注册联合阈值的逐批检验，结果推翻了预测。原 arXiv/OpenAlex 检索未找到在相同受控条件下检验“早期核读数能否跨抽样预测”的直接前作。这是本团队实验协议下的反例，不是一般性理论命题。

C5. 更换数据种子同时改变多项因素，无法单独确定失效原因

D6 明确：换 data_seed 会同时改变输入 draw、clean（无噪声）目标与样本居中/RMS 归一化，因而不把失效独立归因于其中任何一项。这是一个受控但多因子联动的边界声明。

判定：未找到直接前作。原检索未找到直接对应的说明。这一条记录的是实验限制：数据种子同时改变输入、目标与归一化，不能单独归因，不应把范围声明当作新发现。相关但不同的方向是数据对称性/初始化对特征学习的影响（如 Breaking Data Symmetry, 2026）。

C6. 标签读数 $Q$ 的负系数是关联而非因果

D6 的 $Q=\log\!\big((y^\top K_{32} y)/(a_{32}\,y^\top K_0 y)\big)$ 在 T 公式中系数为负，报告强调这描述关联，不证明“目标对齐越高越坏”。

判定：部分已知。把核-标签对齐处理成相关/影响的量是标准做法，D6 的措辞与之一致；其新意在提醒不要在受控回归外把 $Q$ 读成因果机制。

C7. 固定 $r_0$ 方向持续不保证晚期 $r_t$ 拟合或 test

D6 强调：预测目标是固定 $r_0$ 下的晚期核读数，而非移动残差 $r_t$ 的拟合速度；方向持续不保证 $r_t$ 拟合收益或测试集改善。

判定：部分已知。“早期核方向/对齐不自动保证晚期拟合或泛化”与 NTK 演化、EoS 文献一致；D6 是在固定 $r_0$ 幅度的受控检验里复述并限定该边界。

C8. trace 匹配与固定 $r_0$ 的方法控制

trace 匹配（$a_t=\mathrm{trace}(K_t)/\mathrm{trace}(K_0)$）排除读数中的整体核尺度差异；固定 $r_0$ 排除读数中的残差旋转，使 $\rho_t=R(r_0,K_t)/R(r_0,a_tK_0)$ 只反映方向变化。

判定：已知。把核演化拆成尺度与方向、并用 Rayleigh 商取固定方向上的作用是标准构造；D6 是把该控制显式写进受控协议，而非新增理论。

相关文献

  1. A Theory of Neural Tangent Kernel Alignment and Its Influence on Training (2021). arXiv:2105.14301（OpenAlex W4287163837）
  2. Atanasov, A., Bordelon, B., & Pehlevan, C. (2021). Neural networks as kernel learners: the silent alignment effect. ICLR 2022. arXiv:2111.00034
  3. Demystifying the neural tangent kernel from a practical perspective: can it be trusted for neural architecture search without training? (2022). arXiv:2203.14577（OpenAlex W4221145570）
  4. Jiang, K., Cohen, J., & Li, Y. (2025). Understanding the evolution of the neural tangent kernel at the edge of stability. arXiv:2507.12837
  5. Dichotomy of early and late phase implicit biases can provably induce grokking (2023). arXiv:2311.18817（OpenAlex W4389261629）
  6. Guo, E., & Draper, D. (2021). Neural tangent kernel of matrix product states: convergence and applications. arXiv:2111.14046
  7. Hanin, B., & Nica, M. (2019). Finite depth and width corrections to the neural tangent kernel. arXiv:1909.05989
  8. Jacot, A., Gabriel, F., & Hongler, C. (2018). Neural tangent kernel: convergence and generalization in neural networks. NeurIPS 2018. arXiv:1806.07572
  9. Kumar, T., Bordelon, B., Gershman, S. J., & Pehlevan, C. (2023). Grokking as the transition from lazy to rich training dynamics. arXiv:2310.06110
  10. Li, G., Qiu, H., Guo, S., Li, J., & Zhang, T. (2023). Rethinking adversarial training with neural tangent kernel. arXiv:2312.02236
  11. Loo, N., Hasani, R., Amini, A., & Rus, D. (2022). Evolution of neural tangent kernels under benign and adversarial training. NeurIPS 2022. arXiv:2210.12030
  12. Paccolat, J., Petrini, L., Geiger, M., Tyloo, K., & Wyart, M. (2020/2021). Geometric compression of invariant manifolds in neural nets. J. Stat. Mech. arXiv:2007.11471
  13. Juárez-Osorio, S. L., Hernandez-Martinez, J. I., Ruiz-Martinez, J. I., Mendez-Vazquez, A., & Rodriguez-Tello, E. (2026). Empirical characterization of learning geometry in hybrid quantum forecasting models. arXiv:2608.19497
  14. Seleznova, M., Weitzner, D., Giryes, R., Kutyniok, G., & Chou, H.-H. (2023). Neural (tangent kernel) collapse. NeurIPS 2023. arXiv:2305.16427
  15. Breaking data symmetry is needed for generalization in feature learning kernels (2026). arXiv:2604.00316（OpenAlex W7148405216）
  16. Predicting deep neural network training outcomes from early training telemetry (2026). arXiv:2608.03709（OpenAlex W7172513183）
  17. The early phase of neural network training (2020). arXiv:2002.10365（OpenAlex W2996309822）
  18. Zhang, C., Cheng, Y., Ding, C., Wang, S., Lei, J., Yu, R., Wu, Y.-C., & Wong, N. (2026). Model evolution under zeroth-order optimization: a neural tangent kernel perspective. arXiv:2603.21169

原检索范围与尚未核验的内容

原检索词包括 neural tangent kernel evolution、kernel drift、kernel learning、lazy to rich、feature learning、early training predicts late、kernel target alignment、NTK finite width。原记录注明引用条目经 arXiv/OpenAlex 返回信息核对，判断基于标题、作者、年份与摘要。原检索中 arXiv API 对部分后续查询返回 429（限流），故部分条目仅以 OpenAlex 返回的 DOI/arXiv 编号核对。本次文字修订未重新核验文献；未核验全文，也不构成新颖性结论：「未找到直接前作」只说明原检索没有找到直接对应的研究。

词义提醒：D6 的“核漂移（kernel drift）”指训练中经验 NTK 的方向变化（已排除整体尺度）；它不等于概念漂移（concept drift / distribution shift）或量子模型里的 quantum kernel drift。D6 的结论只覆盖 $d=3$、$n=32$ 高斯输入、product/mixed_sine×width8/32、两层 SiLU、全批量 SGD $\eta=0.05$/mom0/wd0、step32→256，属 development，不外推真实网络、其他优化器、层归一化、更深网络或泛化性能。

摘要级文献对照首版 2026-10-11（北京时间）· 尚未逐篇精读全文 · 网页在 prototype 仓库内维护