动量启动过程能解释早期的步数差异
在只沿一种速度方向拟合的线性问题中，loss下降10%时，计入动量启动过程的换算准确预测了62步或12步。假定动量从一开始就稳定，预测只有53步或6步。
原始条目、完整条件与来源 · 测量支持
固定8维线性特征、全批量SGD、学习率0.1，比较动量0与0.9。换算需要先测得无动量步数，只验证了四组较慢条件。
同样的初始表现，训练时间仍可相差7.78倍
初始loss、梯度范数和第一步下降相同，两个目标仍需41步与319步才能达到相同的loss阈值。
- 研究模型 gpt-6.1-sol · ultra
- 实验 固定特征与小网络
- 计算 本机 CPU
- 证据 开发条件下的受控测量
初始表现相同，训练时间仍差7.78倍
两个目标使用同一特征矩阵，初始 loss、梯度范数和第一步下降相同。它们还匹配了目标加权谱的前两阶矩：以各方向的初始loss占比为权重，分别对特征值和特征值的平方加权求和。达到初始 loss 的1%，两者仍分别需要41步和319步。这些初始统计不足以描述后续训练预算。
曲线来自保存的训练结果。三次参数坐标旋转都得到同样端点，因此不画独立样本置信区间。
已知递推解释了差异，但还不能称为容量定律
固定特征、平方loss、无动量的全批量SGD，在各学习方向上分别衰减。完整的目标加权谱可以预测曲线。
L(t)是第t步的loss。t（更新步数）、wᵢ（第i方向的初始loss占比）、η（学习率）和λᵢ（该方向的特征值）代入：
L(t) / L(0) = ∑ᵢ wᵢ · (1 − ηλᵢ)²ᵗ
这是已知递推。新增证据是：即使匹配前两阶矩和真实第一步下降，训练预算仍能分离。实验为9样本、9参数，第i个方向的特征值为i⁻²（i从1到9），学习率0.5、零初始化和1%阈值。两个目标都能最终拟合，目标参数范数和更高阶矩尚未匹配。它没有测永久表示容量、空间分辨率或泛化。
动量换算需要知道目标的慢方向占比
等效训练时间U（把不同优化器的更新步数换算成相同拟合进度）不能只看动量系数。在固定快慢两方向的系统中，把慢方向的初始loss占比设为0.1%、0.5%或0.9%，两种步数换算的误差都超过50%；占比为2%、10%或50%时，误差都在5%内。
两种换算与适用边界
稳态换算把无动量的实测步数除以10。启动修正再补偿最初累积动量的滞后。两者都需要无动量的实测阈值步数，不是从零预测。
系统固定为两方向特征值0.001和0.5，学习率0.1，动量0或0.9，初始loss为1，最多40,000步。端点定义为达到1% loss后，在余下预算内持续达标。低占比下，首次达标与持续达标不同。
占比1%和1.1%只作描述测量，不能把1%当临界点，也不能把“慢占比超过阈值”当充分条件。目标变化同时改变其他初始量，尚不能独立归因于慢方向能量。
一条S形曲线的拟合边界也取决于目标
sigmoid（单一S形函数）在对数时间轴上能否描述loss，不由快慢方向的特征值比单独决定。固定该比值为100，慢方向占比99%时拟合通过，1%时失败。失败条件的最大误差约为0.06476，超过实验前登记的误差上限0.05。拟合中点也不能直接当成真实半衰期。
这里只比较同一拟合合同的选解
上下平台固定为1和0，使用150个等权对数时间点，学习率0.1，无动量、无衰减，固定特征值0.01和1。以6个起点做最小二乘，取误差最小的成功解。
RMSE（均方根误差）须不超过0.03，最大绝对误差须不超过0.05，两项同时满足才通过。纯快方向也在最大误差上失败，所以不能把失败都归因于两阶段下降。评价网格和拟合目标仍是竞争解释。
当前选解不足不证明所有sigmoid参数都无法通过。实验没有保证全局最优，也没有测试自由平台、多层网络或训练前段外推。
一个精确偏置把通路的尺度指数从2改为6
把输入反射前后保持不变的部分称为偶通路，变号的部分称为奇通路。冻结单层SiLU特征时，普通偏置下的偶／奇能量比随激活前输入尺度a（偏置相加之前的缩放系数）近似按a²增长。把偏置设在SiLU二阶导数的零点（约2.39935728）后，增长改为a⁶。尺度从0.025加倍到0.05，实测增长从约4倍变为约64倍。
Taylor展开给出机制，容差与训练价值仍待测
普通偏置下，奇通路从输入一次项开始，去均值后的偶通路从二次项开始。二阶导数为零时，偶通路领先项变为四次项，因此能量比的领先指数从2变为6。
数据为4维对称Gaussian，128个样本，64宽冻结单层SiLU，偏置固定。实测使用完整精度零点2.3993572805154675。六个seed的增长范围为：偏置0，3.984159–3.991788倍；偏置1，4.002060–4.003272倍；精确零点，63.953437–63.985564倍。图中范围带只表示seed范围。
原理是已知Taylor展开，实测贡献是有限尺度的预测验证。只测了精确零点，没有测附近容差、非对称输入、多层网络或可学习特征。偶通路能量也不能直接替代目标拟合速度或架构排序。
其余四个方向也保留了反例与未决机制
- 样本量／噪声方差能做粗略预测，不能严格折叠最低点。风险最低点（干净评估数据上误差最小的训练步数）的57/60次留出样本量预测落在两倍内，但同一样本量／噪声方差的44次配对中有4个反例。统一标签归一化后，反例仍为62对201步。最低点仍使用干净标签，尚不是只靠训练数据的早停方法。
- LayerNorm改善了条件数，收益机制仍未确定。条件数（居中隐藏特征内积矩阵的最大与最小特征值之比）在12/12个函数与标签偏移单元达到实验前登记的下降判据，但下降与收益的相关系数为0.421，未达到0.5。初始化已经更好，不能把终点差异解释成训练改善了谱。
- 早期特征变化方向在3/4个条件中延续。训练第32步与第256步的目标相关作用方向一致，但一个8宽的混合正弦网络在3个初始化中全部失败。早期方向尚不能直接预测晚期收益幅度。
- 终点泛化差距不能直接判断继续训练是否有害。固定一份标签噪声，在4/4个函数与宽度条件中扩大了真实网络相对初始线性化网络的干净评估误差差距。但部分真实网络继续训练后，误差仍下降。尚未完成跨噪声抽样检验。
24条知识保留了适用条件和4条失败预测
知识库KB（带适用条件、测量证据和反例的判断规则）已经记录24条。下面按方向保留每条判断的结论。原始条目、完整条件和来源按需展开。所有结果来自开发条件，尚无预先封存的新条件验证。
展开全部知识，按方向或关键词查找
24条知识
计入启动过程，仍会在晚期预测得更差
在loss降至初始值1%的晚期端点，启动换算在10组条件中的6组比稳态换算更差。三个较慢方向的步数误差为18–23步，稳态换算为9–14步。
原始条目、完整条件与来源 · 预测被推翻
与上一条相同的固定线性问题，持续到40000步。三个参数坐标旋转得到相同结果，不能当作独立数据重复。
初始梯度的大小不能单独代表相对训练速度
只把目标幅度缩小，使初始梯度范数从0.01变为0.003，归一化loss曲线仍重合。达到初始loss的90%、10%和1%所需步数全部相同。
原始条目、完整条件与来源 · 测量支持
固定8维线性特征、五种目标方向、全批量SGD。两组初始绝对loss不同，这条结果只比较相对下降进度。
快慢方向的特征值相近时，一条S形曲线能达到规定精度
两个方向各承担一半初始loss时，快慢方向的特征值比为1、3或10，一条S形曲线都通过误差判据。判据要求整体均方根误差不超过0.03，任一点误差不超过0.05。
原始条目、完整条件与来源 · 测量支持
固定二维线性特征、无动量全批量SGD。S形曲线的横轴是步数的对数，起止平台固定为1和0，按150个采样点拟合。
快慢方向的特征值相差30倍或100倍时，单条S形拟合失败
两个方向仍各承担一半初始loss，把特征值比改为30或100，两组都超过整体误差0.03和最大误差0.05。三个坐标旋转得到同样判断。
原始条目、完整条件与来源 · 测量支持
沿用上一条的采样和拟合方法。未测特征值比10到30之间的条件，也未证明所选拟合参数达到全局最优。
半衰期和局部斜率，不能代替整条曲线的拟合
即使两个方向速度相同，用真实半衰期和曲线中点斜率生成S形曲线，误差仍为0.0334和0.0664，超过两项判据。用全曲线拟合则能通过。
原始条目、完整条件与来源 · 测量支持
同一固定二维线性问题与150点采样。结果只区分这两种参数确定方法，不检验只看前段能否预测后段。
相同样本量与噪声方差之比，最低点仍会不同
冻结ReLU特征后，相同“样本量÷噪声方差”的44组配对中，40组的最佳步数相差不超过两倍。其余4组超过两倍，推翻了所有条件都能折叠的预测。
原始条目、完整条件与来源 · 预测被推翻
四维对称高斯输入、混合线性与交互目标、宽度128，样本量32、64或128。各样本量重新抽输入，最佳步数使用无噪声标签测量。
样本量与噪声强度仍能粗略预测最低点
用其中两种样本量的结果拟合步数关系，再预测第三种样本量，60次预测中有57次落在真实最佳步数的两倍以内。每种被留出的样本量都是19/20次通过。
原始条目、完整条件与来源 · 测量支持
沿用冻结ReLU问题。预测关系由其他开发条件的真实最低点拟合，尚不是只用训练loss确定停止时间的方法。
同谱和同初始梯度，训练预算仍可相差近三倍
在同一9维线性特征上，两个目标匹配初始loss与初始梯度范数，达到1%loss仍需13步和38步。参数量、谱总量和有效秩也相同。
原始条目、完整条件与来源 · 测量支持
特征谱随序号倒数下降，零初始化、无动量全批量SGD。目标参数范数与第一步实际下降未匹配，三个重复只旋转参数坐标。
谱衰减更快时，同类预算差距扩大到近九倍
把同谱配对中的谱改为随序号平方倒数下降，两个目标仍匹配初始loss与初始梯度，1%loss端点变为41步和364步，相差8.88倍。
原始条目、完整条件与来源 · 测量支持
固定9维线性特征、零初始化、无动量全批量SGD。第一步实际下降和目标参数范数仍未匹配，这一条是后续更严格对照之前的结果。
LayerNorm降低了特征条件数，但差异多在初始化时出现
四个函数与三种标签平移的12组条件中，每组至少3/5个初始化显示，LayerNorm降低了终点特征条件数。合计54/60次配对下降，但初始化时60/60次已更低。
原始条目、完整条件与来源 · 测量支持
宽度64的GELU网络，输出层固定，训练256步。此处条件数是居中隐藏特征内积矩阵的最大与最小特征值之比，不是参数梯度矩阵的条件数。
条件数下降，尚不足以解释LayerNorm的收益大小
终点条件数改善与标签平移收益的相关系数为0.421，未达到预先规定的0.5。已有几何差异不能据此当作收益的因果解释。
原始条目、完整条件与来源 · 预测被推翻
沿用四个函数、每函数五个初始化。收益指标签平移后，去均值的预测误差变化，不等于所有任务上的通用性能提升。
早期拟合关系的变化通常延续，但窄网络有反例
核是由参数梯度描述样本间拟合关系的矩阵。第32步出现的核变化方向，到第256步在4组函数与宽度条件中的3组达到持续判据，宽度8的混合正弦网络在3个初始化中全部失败。
原始条目、完整条件与来源 · 测量支持
三维高斯输入、32个样本、两层SiLU网络，宽度8或32。比较固定初始残差方向，并匹配核总尺度，不能直接解释晚期残差的拟合速度。
固定标签噪声扩大了真实网络与初始线性化模型的差距
初始线性化模型用初始化时的参数梯度，近似真实网络。固定一份标签噪声后，4组函数与宽度条件都扩大了真实网络相对该模型的终点干净评估误差差距，12个初始化的差距增量均为正。
原始条目、完整条件与来源 · 测量支持
五维高斯输入、32个训练样本、两层SiLU网络，训练512步。只测一份数据与噪声抽样，两个窄网络条件的初始化区间仍跨零。
终点落后于线性化模型，不等于继续训练会更差
保存结果中的两个样本，在终点仍比初始线性化模型误差高，但真实网络从第128步继续到第512步，干净评估误差仍下降。终点差距与继续训练的趋势需要分别判断。
原始条目、完整条件与来源 · 测量支持
沿用上一条的固定数据与噪声。两个样本是描述性反例，不提供只看训练loss的停止规则。
普通偏置下，偶／奇特征能量比随尺度平方增长
偶成分指输入取反后不变的部分，奇成分指取反后变号的部分。在偏置0或1的冻结SiLU层中，激活前输入尺度从0.025加倍到0.05，偶／奇能量比增长约4倍。
原始条目、完整条件与来源 · 测量支持
四维对称高斯输入、128个样本、宽度64。六个重复的增长范围为3.984–4.003倍，能量比不等于目标拟合速度。
在一个精确偏置上，能量比改为随尺度六次方增长
把偏置设在SiLU二阶导数的零点（约2.39935728），激活前输入尺度加倍时，偶／奇能量比增长63.953–63.986倍。有限尺度测量符合六次方增长的预先规定范围。
原始条目、完整条件与来源 · 测量支持
与上一条相同的冻结单层SiLU问题。只测这一精确偏置，未测附近偏置的容差，也未检验多层或可训练特征。
慢方向占比很低时，动量步数换算误差很大
两个方向的特征值相差500倍时，慢方向只占初始loss的0.1%、0.5%或0.9%，动量换算的误差达到74%–89%。计入启动过程后，误差仍超过50%。
原始条目、完整条件与来源 · 测量支持
固定二维线性特征、学习率0.1、动量0与0.9，比较持续降至1%loss的步数。换算先使用实测无动量步数，目标的其他初始统计没有匹配。
慢方向占比更高时，同样的换算可以很准确
沿用快慢方向的特征值相差500倍的两个方向，把慢方向初始loss占比设为2%、10%或50%，启动与稳态两种换算的误差都不超过5%。
原始条目、完整条件与来源 · 测量支持
只验证这三种占比与固定的1%端点。1%和1.1%占比另有描述性测量，但尚不能确定连续的临界占比。
慢方向仅占1%时，整体拟合误差小仍会局部失准
快慢方向的特征值相差100倍、慢方向占初始loss的1%时，所选S形拟合的整体误差只有0.0102。但最大局部误差为0.0648，超过0.05，推翻了这组条件能通过的预测。
原始条目、完整条件与来源 · 预测被推翻
固定二维线性特征，沿用150点对数步数采样和固定平台。仅评价六起点最小二乘选出的曲线，不证明所有S形参数都无法通过。
慢方向占99%时，所选单条S形曲线通过两项判据
在相同的100倍特征值比下，把慢方向初始loss占比设为99%，所选S形拟合的整体误差为0.0291，最大误差为0.0494，均通过判据。
原始条目、完整条件与来源 · 测量支持
与上一条相同的采样和选解方法。未建立连续占比区间，也未证明可用早期曲线外推后段。
快慢方向都占明显份额时，单条S形曲线不足
快慢方向的特征值相差100倍、慢方向占初始loss的25%、50%或75%时，三种所选拟合全部失败。整体误差为0.0409–0.0697，最大误差为0.0856–0.1743。
原始条目、完整条件与来源 · 测量支持
与前两条相同的固定二维问题和拟合方法。三个参数坐标旋转得到同样判断，只检验这些离散占比。
统一标签归一化，仍没有消除最佳步数的反例
对同一组样本量32与64的配对，只改用总体标签均值和尺度归一化，一个重复的最佳步数由64/180变成62/201。两者仍相差3.24倍，原先超过两倍的反例保留。
原始条目、完整条件与来源 · 测量支持
冻结ReLU宽度128、四维对称高斯输入，噪声方差分别0.25与0.5。各配对内固定输入、特征和噪声，跨样本量输入仍不同，不能独立归因于谱或输入变化。
连第一步下降也相同，后续训练仍相差7.78倍
在同一9维线性特征上，两个目标匹配初始loss、初始梯度范数及第一步实际loss下降，降至1%仍需41步和319步。前三项初始统计无法概括这组目标的完整训练过程。
原始条目、完整条件与来源 · 测量支持
谱随序号平方倒数下降，零初始化、学习率0.5的无动量SGD。目标参数范数与更高阶谱统计未匹配，两目标最终都能完全拟合。
已有受控区分，强模型的新增收益仍待验证
截至第20次研究尝试，第二版完成12项实际测量，覆盖470个不重复实验单元。研究仍在继续。旧异步知识库实验中，sol使用KB与不使用KB的平均排序得分为70.08%对65.87%，差值4.21±2.37个百分点（题级配对1个标准误）。它来自105道研发排序题的3次重复，本次没有新增解题评测。
当前进展是排除了几个过强概括，并验证了局部预测。要判断这些知识是否能让强模型涨分，还需在新隔离题池上，固定模型、推理强度和读取预算，比较使用与不使用知识的结果。
八个方向的完整技术报告原文
原文保留公式、失败记录、竞争解释和证据索引。按时间追加的历史段落须结合后面的恢复结果阅读。