训练动力学与架构选择：研究方向与当前结论
实验线2把宽泛问题拆成可检验的小问题。这里记录 14 个研究方向：模型学得有多快、何时开始过拟合、哪些指标能解释训练过程，以及固定训练条件下怎样选择架构。AI 研究程序（Sol 6.1 Ultra）先记录预测，再用本机小规模实验检验。目前主要得到的是简化模型中的规律、适用范围和反例，尚未建立通用训练理论或新的解题收益。研究自 2026-10-06 启动，已于 2026-10-08 暂停；D2 补充实验截至 2026-10-28，主张状态于 2026-10-29 更新；D14 的条件架构选择、文献对照与实验核验材料更新至 2026-10-28，于 2026-10-29 整合到本站。研究背景与文献 · 10 月 7 日阶段记录 · 新旧实验项目的历史总览
先读每项的“问题”和“目前结果”，点击标题查看实验方法、公式与证据。常用符号：U 训练量（各报告分别定义）· n 训练样本数 · σ² 标签噪声方差 · η 学习率。下方标签沿用旧知识库的记录数：实测 有证据支持的记录 · 推翻 预测失败的记录 · 混合 仅部分条件成立的记录。这些不是独立发现的数量，也不包含最新 D2 补充实验的重新计数。D14 为后续材料整合，单独标注为条件规则与实验核验，不并入旧知识库计数。
- 训练步数怎样比较
- D1：等效训练时间的适用范围 问题：换算后的“训练量”能代表损失下降了多少吗？ 目前结果：还不能通用。5/5 对照表明，参数走了多远的换算不等于损失进度；动量启动修正在早期有用，晚期却有 6/10 配对比简单换算更差。Adam 等自适应优化器尚未实测。
- D9：小批量噪声对风险最低点的影响 问题：小批量训练的随机性，会怎样改变最佳停止时间？ 目前结果：在两个固定条件下，每步样本数从 8 减到 4、再减到 2，平均风险最低点依次推迟。只平均少量随机训练曲线会误判最低点；这两个条件还不足以给出通用换算公式。
- 风险回升与泛化
- D2：为什么继续训练会让泛化变差？ · 历史实验对照 原主张：能否用样本数和标签噪声的比例，跨任务预测最佳停止时间？ 目前结果：原 $n/\sigma^2$ 时间公式的跨任务、扩范围外推已被推翻。即使每个任务单独拟合系数，扩展条件也只有 1232/2700 在两倍误差内，12/12 组均未过原 80% 门槛。原窄范围的 57/60 仍保留，但不能支撑普适规律。后续保留 5% 交叉项的 12/12 达标属于另一项风险计算压缩检验，没有恢复原主张，也未建立泛化恶化的完整因果解释。
- D7：训练误差改善与泛化损害 问题：让网络继续学习特征，何时反而损害泛化？ 目前结果：与初始化处的线性近似相比，真实网络在指定无噪声条件下有 6/8 个单元的终点测试误差差距均值为正。终点表现更差不等于继续训练会变差；目前还不能只看训练误差决定何时停止。
- 怎样描述训练曲线
- D3：谱指标能否预测训练步数 问题：初始状态看起来相同的模型，会以相同速度学会目标吗？ 目前结果：不一定。即使匹配多个谱统计量和参数范数，两个目标达到初始损失 1% 仍分别需要 103、138 步。这说明已测指标不足以确定训练步数，不说明模型的最终表示容量不同。
- D4：什么时候训练曲线是sigmoid函数 问题：把损失画在对数时间轴上，单个 sigmoid 何时拟合得好？ 目前结果：在快慢两部分初始损失相等的实验中，学习速度比为 1、3、10 时各 3/3 通过，变为 30、100 时各 0/3 通过。换拟合方法能修复部分失败，但不能消除全部误差。
- D12：双段 sigmoid 近似的效果与局限 问题：分别描述快、慢两部分，能否补上单 sigmoid 的不足？ 目前结果：两段公式在指定的 8 个学习速度比上都通过，但改变快慢部分的初始损失占比后仍会失败。它修复了部分反例，还不是通用训练曲线公式。
- 模型大小与训练速度
- D10：网络深度与损失减半时间 问题：整体训练速度由最慢一层决定，还是要合看所有层？ 目前结果：已测网络并非越深越慢。只看最慢参数组的预测，在指定条件族中 12/12 超出两倍误差；合看所有参数的预测更准确，但宽度 16 的条件仍有反例。
- D11：固定特征维数与训练步数的标度关系 问题：维数和平均学习速率，能预测达到指定误差要多少步吗？ 目前结果：在指定构造中，步数近似随特征维数成正比；但平均学习速率相同的两个目标，仍相差 1.94–2.0 倍。这里改变的是固定特征维数，尚未测真实网络宽度或特征学习的转变。
- D13：用相变时间估计线性网络的有效深度 问题：在线性网络中，快速下降发生的时间能否代表“有效深度”？ 目前结果：还不能。时间读数依赖测量方式；不含跳跃连接的深度 1、2、4、8 网络也没有呈现深度越大、下降越晚的关系。需要先稳定测量方法，跳跃连接的组合规律尚未测试。
- 哪些结构变化影响训练
- D5：层归一化的收益与机制检验 问题：加入层归一化（LN）后的收益，能用初始特征的几何性质解释吗？ 目前结果：指定实验中，20/20 配对的训练收益指标改善；但已测的条件数、平均学习速率和固定初始核，都没有解释这一收益。现象有证据，原因还未确定。
- D6：早期核漂移对后期训练的预测能力 问题：早期各样本之间的学习关系发生变化，能否提供可靠预兆？ 目前结果：这种变化的方向在 3/4 种配置中持续到后期；但早期读数带来的预测优势没有稳定迁移到新数据抽样。方向相似，不等于能准确预测后期结果。
- D8：偏置对 SiLU 奇偶通路的影响 问题：把输入取反时不变的部分与变号的部分，其强弱怎样随输入尺度变化？ 目前结果：SiLU 的偶、奇能量比在普通偏置附近按输入尺度的平方变化，在特定偏置附近按六次方变化。小尺度检验 36/36 通过，扩大尺度后原精度标准失效；这些变化是否改善学习尚未验证。
- 固定训练条件下怎样选择架构
- D14：条件架构选择的经验规则与边界 · 文献深度确认 · 实验检验 问题：给定任务和完整训练配方，深度、宽度、归一化、残差与激活怎样影响最终表现？ 目前结果：六族任务的已有材料显示，架构偏好随训练条件变化，不能用一套固定加分规则通用排序。例如原报告中 tabular 的 Adam 3e-4、d2 对照，残差仅在 1/4 数据集改善，平均 CE 反而增加约 0.010。当前是有边界的条件经验规则集，尚未形成统一解释或预测规律；原始证据附件未随三份 HTML 提供。 候选下一问：什么因素决定残差收益由正转负，能否在新条件下提前预测？尚未检验。
目录更新于 2026-10-29 · 各方向报告保留原实验与同步时间