自然学习已能分项预测，长期主导仍需检验

四种理论已进入同一比较：自然文本实验定位了独立曝光与固定表示的遗漏项，受限自然模型也量出了温度误差的晚期接管；完整自然预训练的长期主导仍未定论。

• 模型 Pythia70M
• 数据 FineWeb 真标签
• 评价 128篇 × 224标签
• 完整词表 50304

Liu 把长期慢误差归因于越来越尖锐的注意力

Scaling law 描述模型误差随训练时间、参数规模或数据规模降低的规律。这三个轴需要分别检验。我们主要研究训练时间轴：误差为什么慢慢下降，哪些学习过程决定下降速度。主攻论文是 Liu、Kangaslahti、Gore 的 Emergent One-Third Scaling Law as Attention Tries to Concentrate，本项目核对的是 v1（第一版预印本）。

Attention 用 softmax 在多个 key 位置之间分配概率。把它的 scores 整体放大，会使选择更尖锐。β（逆温度）表示这个放大尺度，a（归一化形状）表示各位置分数的相对结构。Liu 的简化图像是 a 逐渐固定，训练主要增加 β。这里的前两名是两个 key 位置，并不直接对应正确答案。

δ（归一化 gap）是最高和次高 score 之差除以该行标准差。若零附近存在非零连续密度，即小区间的概率约等于密度乘带宽，那么放大 β 后，仍然难以选定的输入落在宽度约 1/β 的边界附近。若两种选择对任务仍有非零影响，最终可约损失就有机会按 1/β 下降。

B（温度限制留下的任务误差）还要通过实际优化时钟变成时间规律。C（边界系数）由任务和数据决定。g（温度方向的参数度量）描述同样的尺度位移需要多少参数运动。β₀（起点逆温度）保留初始时间修正。在常数 g 的标量梯度流中，β 的增长与 B 的下降共同给出 t 的负三分之一次幂。

这条推理需要任务边界可观测、其他参数足够补偿，以及实际动力学近似闭合。有限 teacher 的结论还要求存在“已经很冷、尚未接近目标”的中间区。接近有限目标后出现更快收敛，并不自动违反原条件推导。

四种解释可以描述同一个学习过程的不同层面

数据／曝光理论研究哪些输入何时被学到；NTK（神经切线核）理论研究参数运动怎样改变输出；分辨率理论研究有限容量和采样怎样限制可学习结构；Liu 的边界理论研究越来越尖锐的注意力怎样留下慢误差。四派存在交集，名称不能直接成为四个互不重叠的正损失项。

在固定评价对象上，wⱼ（训练输入 j 的曝光权重）、M（把梯度转成参数运动的对称半正定迁移率）和 Γᵢⱼ（训练输入 j 对评价输入 i 的损失影响）连接这些解释。ℓᵢ 是第 i 个输入的 CE，Σⱼ 表示对训练输入求和。无约束、无 momentum、无 decay 的确定性梯度流满足下面的精确身份。

数据改变 w，核和表示决定参数响应，任务边界决定哪些响应难以消失，容量与采样限制可达误差。这里 Γ 是 loss 梯度的 Gram 矩阵，包含真实 CE 残差，不能与裸 logit NTK 互换。离散 SGD、Adam 和球面投影还须保留各自更新方程。

我们已经构造出 logits 永远线性、完整 logit 核永久固定的普通 CE／概率平方损失模型，它同时产生 Liu 型 1/3 时间律。核甚至只有一个非零特征值。因此 1/3 本身不能区分冷边界与固定核，也不要求核谱有幂律尾。这个模型还产生重尾的概率跨阈值时间，但阈值时间并不是数据论文定义的主要下降事件中心。核／谱分辨率也有同模型重合构造。可判别的对象是各派提前冻结的干预预测。

最直接的反例改变了最终任务的幂次

项目先拆开论文里的量词，再用解析构造、普通损失、真实优化和新未来预测逐步检验。最强证据针对三个不同环节。

第二个反例最贴近核心机制：两种注意力选项越接近平局，它们提供的任务信息也越相同。Gate 的不确定性继续存在，任务错误却消失得更快。这改变了指数，已经超出只修正常数的程度。随机 generic values 下的逆一次正例仍保留。

不同任务可以有离散指数类，微小扰动会改变接管时间

c（困难边界的余维）表示必须同时接近几个边界条件。m（任务响应消失阶）表示两个 route 的输出差在边界附近以几次幂趋零。在非退化密度、普通平方损失或非退化 Fisher KL 下，静态阶数 p（误差对逆温度的幂次）可为 c+2m。若参数度量按 βʳ 变化、p+r+2>0，且导数与多参数动力学都闭合，时间指数才是下面这个值。

对于一条普通边界、常数度量，输出差不消失、一阶消失、二阶消失分别对应 1/3、3/5、5/7。我们已有普通最终损失构造、可学习 value 分支和固定学生架构的交叉实验。它们支持指定结构族的离散端点。中间有限窗口的斜率仍可以连续变化。

λ（低阶扰动幅度）可以很小，却把最终尾部拉回 1/3。一个受控交叉任务保留 β⁻¹、β⁻³、β⁻⁵ 三项，提前计算完整系数和时钟。把 λ 除以 4，并保持注册的缩放初态，接管时间预言增加 128 倍，实测为 127.77–127.98 倍。慢项占一半剩余误差时，只承担约 20.77% 的当前下降；达到一半下降还需要约 12 倍的缩放时钟。固定架构、只改 teacher 的后续实验补上了表示变化的混淆。

这些结果适合发展成“任务边界类与扰动交叉”的文章。边界渐近积分和普适类思想已有前作，候选贡献在于普通最终任务、可训练参数、稳定条件与未见接管预测的结合。另一方面，同一几何和固定核中的目标谱可以给连续数据指数。不能据此宣称所有任务指数都量子化。

三张账本分别回答响应、当前贡献和剩余误差

Teacher forcing（用同样的真实前缀预测同样的下一 token）固定评价对象。它使不同状态可以直接配对，但没有给出自然文本真实条件概率，也没有给出不可约熵。我们借鉴 RGI（不同模型逐 token loss 差近似保留的现象）工作，把大背景与小学习响应分开，再记录每项的绝对量级、符号、波动和交互。

输出账本解释一次 loss 为什么改变。p₀ 和 pₜ 是起终点输出概率，z₀ 和 zₜ 是相应 logits，eᵧ 是真实标签向量。I（完整 logit 位移的有符号一阶作用）与 Q（输出 KL 曲率代价）满足精确恒等式。Q 为正，不自动等于 Liu 的温度剩余。

来源账本沿声明路径积分，回答哪些参数动作提供了当前收益。它区分 score 尺度、归一化形状和固定 scores 后的参数作用。后者包含 attention value 与输出投影，不能称为全部“非 attention”。这些分项带符号，并且依赖路径与坐标。

存量账本则先允许其他参数充分补偿。F（真实标签 CE）依赖温度 b 与允许变化的其他参数 φ。U（固定温度后的最小 CE）是这个补偿问题的最优值。F*（共同 floor）是同一模型集合中的最低 CE。B 是温度剩余，O 是其他参数尚未补偿好的剩余。

长期主导还要证明 O/B 趋零、路径交互余项相对 B 消失，并用实际时钟预报新未来。一次收益中的小份额、剩余误差中的大份额、无限时间的主导是不同命题。RGI 侧线还发现，共同冻结参考能解释约 96.657%–97.582% 的 raw loss 方差，但更强的优化器差和跨前缀恒定差检验仍有失败。背景相关性不能替代对小机制项的核验。

自然语言短窗的收益主要来自一阶作用和分数形状学习

这一组使用 Pythia70M 官方 143000 状态，在 FineWeb 64 篇训练文档上更新全部 76 个参数张量，八步 SGD 的步长为 2×10⁻⁷。在固定 128 篇评价文档上，每篇使用 224 个真实标签与完整 50304 词表。起点 CE 为 3.960422449 nats/label，实测下降 54.928387 微nats/label，按配对文档计算的 95% 区间为 34.5888–75.2680。一个微nats等于 10⁻⁶ nats。

A₁（参数一阶作用）、Q_F（正 Fisher 二阶曲率）、R₂（有符号的 logit 二阶表示响应）、E≥3（三阶以上实测余项）沿起终点参数直线计算。下面的比例以实际平均收益为分母，正贡献表示降低 CE。

表示二阶的文档标准差约 5.051 微nats，均值区间跨零。高阶余项的文档均方根为 0.518 微nats，约为平均收益的 0.944%。因此小均值不意味着每篇文档都可忽略。这个短窗的分阶很准确，跨官方 checkpoint 的大位移中，固定起点近似已经失效。

来源积分中，形状学习占 51.951%，固定 scores 后参数作用占 47.980%，变暖占 0.449%，锐化净作用为 −0.381%。所有有利锐化累计约 7.169%，有害部分更多。固定近打平集合以起点 δ≤0.25 定义，覆盖约 49.02% 的常规行，按交互平均分摊的有限归因规则占约 51.35% 的收益，其中 shape 工作远大于径向尺度工作。近打平有任务作用，并不能单独证明纯锐化主导。

小温度干预可以量出每阶，但更尖锐并不总是更好

在同一个 143000 自然状态附近冻结模型，用 b（score 乘数）作小幅干预，b=1 是自然尺度。全六层同时改变 ±0.5%，分别得到下面的响应。表中负号表示 CE 降低，单位为微nats/label。

在 ±0.25% 与 ±0.5% 中，二阶近似的平均余项约占净响应 0.072%–0.519%。仅最后层 ±2% 时，变暖改善约 39.431 微nats，锐化恶化约 38.672 微nats。全层变暖的改善区间仍跨零，不能直接宣布总体有益。

小温度区是看到原 ±1%/2% 失败后另登记的补充，不能称完全盲选。它量出冻结状态的局部敏感度，没有将人工温度收益当成真实训练占比，也没有提供长期剩余误差。

自然文本横向干预暴露了独立曝光和固定表示的遗漏项

另一条实验使用官方 32000 状态，开放完整 70,426,624 参数、76 个张量，FineWeb 训练池和评价池各 128 篇、每篇 224 个标签。改变训练文档权重，在相同起点执行 27 个独立 SGD 单步。步长为 2×10⁻⁴、10⁻⁴、5×10⁻⁵，曝光倍率在 0.5–1.5 内。评价池不参加本步梯度，但此前已用于导数与报告，不是 untouched test。没有人工温度放大或读出补偿。

E（独立曝光预测）只按每篇文档自己的曝光倍率缩放原参考学习曲线；J（固定一阶预测）冻结完整参数到 logits 的起点 Jacobian，但保留普通 CE 的全部输出非线性；H（完整二阶预测）再加入表示二阶。h（按输入 hash 固定的正负权重）和 z（去掉平均一阶效用的权重）提供两个不同干预方向。正负分支相减得到奇响应，相加再减零分支得到偶响应；后者消去一阶，使二阶差异可见。

训练与评价同权时，梯度 Gram 对称使 E 的平均一阶下降与真实下降精确相同，逐 token 却不相同。E 的 12 个奇响应向量也全部拒绝；最大步长两个方向的误差是实际响应均方根的约 2.63 倍。这迫使独立曝光版本加入跨输入迁移，不能用平均 loss 成功证明它足够，也没有否定一般数据事件理论。

最大步长、正负倍率 0.5 时，评价池两个方向的 J 误差为响应 RMS（均方根）的 93.060%／93.930%，H 为 0.870%／0.878%。把提前冻结的表示二阶加回 J，可消除约 99% 的残差。训练池也有相近有限误差，但其文档条件同时区间跨零，保持未识别。图中的有限误差比不能替代这些统计状态。

大的一阶学习收益可以与表示二阶的函数作用共存

同一个自然横向实验，最大步长 uniform 的整体分阶如下，单位为微nats/label，负号降低 CE。A₁、Q_F、R₂ 和 E≥3 沿前述定义，评价池与训练池分别计算。

平均收益主要由一阶提供；表示项的 token RMS 却为训练池 0.926055、评价池 0.791982 微nats，远大于其均值。对消去一阶的偶响应，表示项平方占实际响应第二矩的 86.7%–91.6%。这个分母是特定干预的平方响应，不是 loss 收益、attention 份额或剩余误差。全部交互按下面的身份量出，不能把 RMS 直接相加。

q、r、e 分别表示偶响应中的 Fisher、表示二阶和实测高阶。高阶保存值未超过全部责任预算的 100 倍，不能认证显示的极小符号，也没有置零。

受限自然模型已量出共同最低值，温度份额随补偿与时钟改变

另一组使用官方 32000 状态、FineWeb 128 篇训练文档和相同标签数、完整词表。允许最后层八个 head 的 K weight/bias 沿官方射线改变尺度，完整读出层在官方中心的 5% 范数球内补偿，其他参数冻结。温度范围为 0.5–2。这是声明过的有限模型集合，其 floor 不等于整网最优或自然文本熵。

共同 floor 已收紧到 2.129327063–2.129590128 nats/label，区间宽度约 0.000263。较早的未补偿读出实验末态中，温度剩余 B 约为 0.008726–0.009046，其他剩余 O 约为 1.879800–1.879857；B 份额不超过 0.479%。预补偿读出的后续实验使用不同初始化，不能把两个起点拼成一次训练的库存接管。下面另用同一条已完成轨迹检验它。

原生欧氏几何下，温度尺度的参数度量约为 147534.322，读出度量为 1。在一个共同日历的联合短窗里，温度只移动约 2.06×10⁻⁸，工作小于登记数值预算。显式加速温度相对运动约 590137 倍的对照里，score 尺度只增加 0.9833%，温度工作却达到当前收益的 66.406%。这证明时钟改变贡献，不能把显式加速叫原生预训练。

在该显式时钟路径，实际收益为 160.287 微nats，温度工作为 106.440，读出工作为 53.847。温度 profile（每个温度下充分补偿的最优 CE）改善为 175.359–177.319 微nats，读出滞后反而增长 15.052–17.051 微nats。来源工作与存量减少之间的差已直接量出，不能令它们相等。

同一自然有限轨迹中，温度工作在晚期接管

新轨迹保持上述受限模型集合及原生度量，未加速温度。实际起点把在 b=1 上用同一训练池补偿的读出，与早先末态 b₀=1.187340569 配对，没有在新 b₀ 重新补偿。它来自自然模型，但不是未经干预的官方状态。BE（后向欧拉法）同时推进温度与读出，full 与 half（每个日历步细分两次）到 τ=16384；τ 是该算法的原生累计步长。

97.267% 的总收益在第一个晚窗之前发生，因此全窗的小份额掩盖了晚期接管。两个晚窗中，温度份额按原数值预算的区间分别为 99.5392%–100.4586%、99.7672%–100.2286%；固定池的文档重采样区间约为 92%–108%。份额可以超过100%，因为读出工作允许为负。晚期读出净均值的正号未识别，其文档标准差仍为 3.005776／5.994330 微nats，约49.2%的文档为负。

终点 b=1.189038215，仅比起点增长0.14298%。完整端点分阶为 A₁=−943.222068、Q_F=+234.739027、R₂=−6.523116、E≥3=+0.454782 微nats，合计下降714.551376。这里测到的是有限算法路径，没有覆盖冷极限或完整自然预训练。

共同最低值把温度剩余与当前下降连到同一本账

在该轨迹四个状态，固定 b 的读出优化是凸问题。新登记的方法只认证最优平均 CE 的上下界，不冒称原优化器状态或残差资格通过。共同 floor 沿用同一连续温度范围，以下 B、O 都以它为参照。

温度库存起点已占约88%。全程却只有约3.64%的实际收益来自温度库存减少。G（实际收益）、S_b（温度路径工作）、S_W（读出路径工作）、ΔB／ΔO（两类剩余减少量）和 E_bridge（来源与库存之间的桥）满足两个同时闭合的身份式。共同 floor 在 ΔB 中消去，不重复计入两端误差。

冻结一阶模型预测了总收益，却漏掉晚期约44%的收益

六条自主预测在实际未来执行前完成并冻结。J 在这条受限轨迹中冻结完整起点 logit Jacobian。Q_model（含表示二阶的预测器）保留 hidden 二阶及温度／读出混合响应，仍用完整普通 CE。Q_model 与输出 KL 项 Q 是不同量，也不同于全参数单步实验的 H。

half 分支复现同一判断，full／half 的两个晚窗收益控制误差为0.6184%／0.3116%，通过原2%门槛。这支持有限离散未来的预测，不等于连续梯度流获证。原连续误差包络在 full 的 τ=8、half 的 τ=16 之后无法通过冻结预算；quarter（每步细分四次）分支另有无穷包络的保存失败。它们表示现有认证不足，没有证明真实连续流偏离，更不是模型 CE 变成无穷。GF（连续梯度流全路径资格）仍为假。

固定一阶的晚期失准已拆成混合响应与自主状态漂移

在上述已知四个实际状态，额外计算固定 J 漏掉什么。W（当前读出矩阵）、W₀（起点读出矩阵）给出 ΔW=W−W₀。d=b−b₀ 是温度位移，h(b) 是当前 hidden，h₀（起点 hidden）、h₁（起点 hidden 对温度的导数）描述其局部响应。z_J 是固定一阶 logits，z_m 是温度／读出混合响应，z_c 是 hidden 的高阶曲率，z_A 是实际 logits。

终点用四角 CE 逐项相减，混合响应降低6.535829微nats，hidden 曲率增加0.057693微nats，合成同状态差−6.478136微nats。固定 J 自主递推还产生−4.786359微nats的状态漂移差，两者合计实际减 J 预测为−11.264495微nats。极小交互与输出 KL 均保存，但低于独立分项预算，未认证其小数符号。

两个晚窗中，同状态漏项分别占实际收益24.893%／24.925%，自主状态漂移再占18.548%／18.415%。终点真实温度偏导为−0.015284997 nats/label；混合响应对它贡献−0.003849923，约为真实有符号温度力的25.19%，hidden 曲率抵消约0.444%。很小的 CE 漏项可以产生可见的动力学偏差。

这是结果已知后的代数诊断，104项 producer、228项共享缓存模型复演与独立保存算术通过。它定位失准来源，没有增加一次盲未来，也不是唯一的因果归因或剩余 B 的分解。

较早的独立窗口和候选对诊断保留了机制边界

J（冻结起点的完整 Jacobian）预测只保留 logits 对参数的一阶响应。完整参数二阶预测增加表示二阶和温度/读出混合响应。二者在实际未来执行前封存，用自己的状态递推。受限自然模型的两个较宽温度窗口中，固定 J 与局部逆温度预测失败；加入二阶后，下一个新窗口的收益误差约 1.63%，通过 5% 门槛。

较小的联合窗口里，J 误差约 2.48%，二阶误差约 0.0346%，两者都通过。这说明所需状态随窗口改变。它没有把 J 宣判永久失效，也没有把二阶成功称作已经解释原 1/3 渐近。原 raw-score 独立二阶 AD 有失败，后续等价 score 平移的稳定化复核通过，两种资格分开保留。

最新静态诊断在同一个 b≈1.18734 上，把允许读出补偿后的温度导数分到候选对。Near（近打平行）由起点 δ≤0.25 冻结，top2（起点固定前两名候选对）只是全部 pair 的一项。经精化与条件 FP64 区间认证，near 占总改善方向导数 50.478%–51.208%，top2 只占总量 1.640%–1.729%；其余 near pair 承担主要净响应。完整响应包含真实标签、value、后续 norm 和读出。这里没有将当前 argmax 充当正确 teacher。

这些 near 行中，前两名之外平均仍有35.076%的注意力质量，只有3.068%的行把这部分压到1%以内。所以 near 不等于只有两个候选参与。Top2 的配对文档区间还跨零，固定池的数值区间不能替代语料总体确认。

同一 score 几何下，读出补偿甚至会使固定 top2 的 signed 温度作用反号。因此 gap 密度、候选内容差和真实任务边界之间的桥必须直接计算。上述百分比是固定温度的局部 profile 导数份额，不是 SGD 工作、B 存量或长期指数份额。1098项独立梯度与几何检查支持向球内收缩的证书见证；原端点约−2.13×10⁻¹²的严格球内余量失败保留，不能覆盖。原宽导数界、精化超时和保存错误也未回填。

四个流派需要交出同一干预下的不同预测

这些流派存在重叠。一次幂律拟合不能给它们投票。我们已把每派改成具体的、能失败的预测：先冻结它需要的状态、坐标和时钟，再检验同任务的新干预。

分辨率支线有更扎实的区分：同一圆周、核和有界正则类内，密集目标谱改变，独立样本数轴的长期对数指数可连续经过 4–4.5，随机参数轴仍为三次量级。另一个非线性全交互解析任务只需有限条一维 ridge，就能达到参数规模的负四次方误差。它否定无条件维数必要律，但仍是非 generic 结构，不能宣布整个分辨率流派死亡。比上界收敛更快也不会违反上界。

条件正例已能预测接管，最终目标是在自然语言中完成同等解释

项目同时保留对 Liu 有利的证据。完整 18 参数 K/V 的受控平方损失任务，在任务边界可观测、形状稳定、value 快弛豫和原生度量明确时，提前计算的曲线通过了新未来门槛，硬 teacher 的晚期指数接近 1/3。同一个任务里，完整有限初始核存在正 floor，真实非线性模型继续下降到它以下。

另一个普通二分类 CE 任务给定完整 teacher 概率，四个 key/value 参数都自由更新。真实不可约熵为 0.365333855 nats，起点温度剩余为 0.006943927、其他剩余为 0.000140616，边界系数为 0.113352676、原生温度度量为 2。起点 B 占可约剩余 98.02%，key 只占当前下降 0.698%；后续其他剩余消退后，key 接管几乎全部下降。冻结有限温度 profile 和时钟的未来 KL 最大相对误差约 2.277×10⁻⁶。

这个例子让“当前贡献小，但未来可能主导”成为可以预测的命题。它的二候选 normalized gap 恒为 2，不覆盖原文零-gap 密度条件。它不是自然语言结果。两种条件正例验证各自任务，不能把数字拼成自然模型的完整解释。

我们预期最终交付一个可以复算的自然语言机制模型：固定评价前缀和真实标签，逐项给出绝对量级、符号、逐文档波动、交互和余项；在同一训练轨迹上，量准温度剩余与其他剩余的共同 floor；再用冻结的系数与原生时钟预测未见的 loss、温度运动和接管时刻。若温度项未接管，也要明确指出它缺少任务响应、被别的慢项压过，还是优化几何使它不可见。

自然主线现已完成一条受限有限轨迹的新未来、来源、剩余与桥，定位了固定 J 的晚期漏项。仍缺完整连续时钟资格、任务加权边界的主导系数、更多自由参数下的共同 floor，以及独立语料的新未来。它支持“温度慢项可在指定自然对象中接管”，尚未证明“自然语言大模型长期由 Liu 的 top2 机制主导”。文章级已有内容包括任务边界类、可预测扰动交叉、自然横向预测器区分，以及同轨迹来源／存量桥。