# 文献路线：Σ_opt 里的候选（2026-10-31）

本路线只看研究库里的论文，不看 KB 路线，也不看主线的推导，以便三条路线做捕获–再捕获估计。

结果在 [`data/cands_lit.json`](../data/cands_lit.json)，由 [`scripts/sci_lit_route.py`](../scripts/sci_lit_route.py) 生成：

- 关键词筛选由脚本计算；
- 相关性判断和候选记录是读论文后写进脚本的数据，每条都注明论文章节。

## 子系统与判据

**Σ_opt。** 两个训练配置共用数据集、模型、损失、batch 和预算 T，只在优化器设置上不同：

- 类型：SGD、Adam、AdamW、RMSprop、Adagrad，均为 PyTorch 默认实现；
- 设置：学习率、动量（0 或 0.9）、权重衰减（0 到 1e-3）、betas。

问题是哪个配置的最终测试指标更低（10 种子均值）。

**层次。** 按 SAI 定义 §3：

- **K**：只在少数设定上观察到。
- **L**：沿条件轴系统扩展过。
- **S**：从显式前提推出，且每条前提都能脱离所预测的关系单独检验。

只讲渐近收敛或 regret、不涉及有限 T 终点比较的结果，不算 Σ_opt 预测，但可以提供前提。

**映射状态（`mapping` 字段）。**

| 值 | 含义 |
|---|---|
| testable | 能在我们的数据上核对：对 S 是前提，对 K/L 是把结论外推到 Σ_opt 后检验 |
| open | 前提或适用条件要用我们没有的量（如 Hessian、梯度统计），或原文设定与 Σ_opt 相差太远 |
| fails | 前提在 Σ_opt 中已知不成立，Σ_opt 内的声明域为空 |
| n/a | 只提供前提，不作预测 |

## 漏斗

| 阶段 | 预训练目录 | RL 目录 | 可解释性目录 | 其他 |
|---|---:|---:|---:|---|
| 条目 | 344 | 271 | 317 | 锚点注释 13；pilot 82 条主张（13 篇） |
| 关键词命中 | 86 | 49 | 7 | 锚点 5；pilot 36 |
| 读后补入（关键词漏掉） | 5 | 0 | 0 | 笔记中 2 节新内容（另 3 节与目录重复） |
| 与优化器或训练进程有关 | 52 | 1 | 1 | pilot 22 条，并入对应论文 |
| 给出 Σ_opt 预测 | 14 篇 | 0 | 0 | 18 条预测 |
| 只提供前提 | 15 篇 | 0 | 0 | |
| 都不是 | 23 篇 | 1 | 1 | |

**相关的判据。** 主张的主体是以下两类之一：

- 优化算法或它的超参数（类型、学习率、动量、betas、权重衰减、batch、日程、warmup、裁剪）；
- 给定优化器下训练随时间的进程（损失随步数、稳定阈值、稳态、隐式偏置、训练时长对泛化的影响）。

架构、初始化和归一化方法即使让训练更容易，也不算，因为它们在 Σ_opt 的一对配置里是固定的。

**关键词命中后被排除的 93 条**（脚本按条目给出理由）：

| 理由 | 条数 |
|---|---:|
| RL 学习规则的收敛或步长理论 | 48 |
| 模型、系统或数据论文，优化器只在训练配方里出现 | 12 |
| 其他学习规则（感知机、Hebb、对比散度等） | 9 |
| 自监督的“动量编码器” | 7 |
| 架构、初始化或归一化 | 6 |
| 可解释性工具里的梯度或优化器 | 6 |
| 统计学习理论 | 3 |
| 泛化度量 | 2 |

**读后补入的 5 篇。** 目录中文描述里没有关键词，读后补入：

- Chinchilla：附录 G 有 Adam 对 AdamW 的比较；
- Pascanu 等：梯度裁剪；
- 神经坍缩；
- Arpit 等：记忆；
- Flat Minima。

这说明关键词筛选会漏，相关集是“关键词 ∪ 人工补入”，不是穷尽。

## 给出 Σ_opt 预测的 18 条

“关系”一列是统一的关系键，供与其他路线对齐。

| 编号 | 来源 | 关系 | 预测（简述） | 层次 | 映射 |
|---|---|---|---|---|---|
| LIT-SAXE-1 | Saxe 等，式 (2)(11)(12) | 同类型学习率（过渡期） | 深线性网络、小 λ：轨迹只依赖 λt，固定步数时较大 λ 更低 | S | fails |
| LIT-EOS-2 | Edge of Stability §1、§3.2 | 同类型学习率（过渡期） | 全批量 GD：不发散时较大 η 训练更快 | K | open |
| LIT-KAPLAN-1 | Kaplan 附录 D.6 | 同类型学习率（过渡期） | 累计学习率未饱和时较大者胜，饱和后近似持平 | K | testable |
| LIT-3F-2 | Three Factors §2.1、§3 | 同类型学习率（过渡期） | 同 batch 时较大学习率终点更宽，测试“常”更好 | L | open |
| LIT-EOS-3 | EoS §2；资料库 science_boundary_cases | 学习率稳定上限 | 较大学习率越过 2/λmax 而较小者未越过时，较小者胜 | S | open |
| LIT-WARM-1 | Kalra & Barkeshli §2–3 | 学习率稳定上限 | 常学习率：失败边界以下较大者不差，越界后变差或失败 | L | open |
| LIT-PRELN-1 | Xiong 等 §3–4 | 学习率稳定上限 | Post-LN Transformer、无 warmup：较大学习率可能不稳 | K | open |
| LIT-MANDT-1 | Mandt 等 §3.2、§4.1、§4.3 | 稳态学习率 | 两者都到稳态时，有效学习率 ε/(1−m) 较小者训练损失更低；相等则稳态分布相同 | S | open |
| LIT-3F-1 | Three Factors §2.2 式 (9) | 稳态学习率 | 稳态期望损失 E(L)=(η/4S)Tr(H)，较小 η 更低 | S | open |
| LIT-SMITH-1 | Smith & Le §4–5 | 学习率有最优点 | 固定 batch 时存在最优 ε∝B/N，离最优点近者胜 | L | open |
| LIT-MOM-1 | Sutskever 等 表 1、表 5 | 动量即有效学习率 | 各自最佳学习率下，动量 0.9 ≻ 无动量 | L | testable |
| LIT-PORIAN-1 | Porian 等 §3.5、附录 G.3 | β2 | 小 batch 时 β2=0.999 ≻ 0.95 | L | testable |
| LIT-ADAM-1 | Adam §6.4 | Adam 对 RMSprop | 同学习率、同 β2：Adam ⪰ RMSprop（VAE） | K | testable |
| LIT-ADAM-2 | Adam §6.1–6.3 | Adam 对 Adagrad | 各自调优学习率下 Adam 训练更快 | K | open |
| LIT-ADAMW-1 | AdamW §4.2–4.3 | AdamW 对 Adam+L2 | 长训练 AdamW ≻ Adam，前半程相近 | K | open |
| LIT-CHIN-1 | Chinchilla 附录 G | AdamW 对 Adam+L2 | AdamW ≻ Adam，余弦周期约 80% 处才反超 | K | open |
| LIT-WILSON-1 | Wilson 等 §4 | SGD 对自适应 | 调好学习率与衰减的长训练：SGD ≻ 自适应；初期相反 | K | open |
| LIT-WILSON-2 | Wilson 等 §3 引理 3.1 | SGD 对自适应 | 满足特定构造的可分数据上 SGD ≻ 自适应 | S | fails |

按层次：K 8 条，L 5 条，S 5 条。

**5 条 S 的映射都没有落地。**

- **Saxe、Wilson 构造：前提在 Σ_opt 中不成立。** 两者分别要求深线性网络和特定构造的数据。
- **EoS 稳定阈值：要用不可测的量。** 它需要 λmax，我们的数据里没有。
- **Mandt、Three Factors：部分前提可检验。** “训练已到稳态”能在时间轴上独立检验（固定配置只加步数，看损失是否还降）；高斯噪声、常协方差、二次区域、C=H 这几条不可测。

**按 Σ_opt 的差异类型看文献覆盖：**

| 差异类型 | 文献给出的规则 |
|---|---|
| 只差学习率 | 最多（过渡期、稳定上限、稳态、最优点四类），方向随区间相反 |
| SGD 动量 | L（各自调学习率）与 S（稳态，映射开放） |
| betas | 只有 L（Porian 等） |
| 权重衰减 | 没有排序规则，只有等价或不等价命题 |
| 跨优化器类型 | 只有 K；唯一的 S（Wilson 构造）在 Σ_opt 中不适用 |

## 只提供前提的 15 篇

29 条记录可作前提，共 46 个前提检验项，其中 16 项能用我们的数据、绕开所预测的关系单独检验。

| 前提 | 来源 | 能否用我们的数据独立检验 |
|---|---|---|
| 时间重标：轨迹按 η·t 推进，等时间的两次训练持平 | EoS §3.4（作“迭代×η”图，到 sharpness=2/η 前重合，对“许多但非全部”网络成立）；Saxe τ≡1/λ；Goyal 的“相邻步梯度近似不变”；NTK；lazy | 能：实验室里 lr×T 相等的配对、按时间对齐的基准曲线 |
| 时间重标的噪声限制：固定 batch 时改 η 同时改噪声温度 η/S，等 ηT 在 SDE 意义下不等价 | Three Factors §2.1 | 数据里没有 batch 变化对；只能看等 ηT 对的持平程度 |
| 训练越久越好，及其失效 | Soudry 推论 6（可分数据上验证交叉熵按 log t 增长）；epoch-wise 双下降；Advani & Saxe（过训练） | 能：只改 T 的实验室对、基准曲线的后段 |
| 稳态 | Mandt；Three Factors | 能：同上 |
| Adagrad 的时钟：每步约 lr/√t，累计约 lr·√T | Adam §5 的对应关系 | 能：Adagrad 内部按 lr·√T 对齐的配对 |
| 动量即放大学习率 | Sutskever；Mandt 式 (25) | 能：按 lr/(1−m) 对齐的动量对 |
| 权重衰减在 Σ_opt 量级下可忽略 | AdamW 命题 1 | 能：只改 wd 的实验室对 |
| Adam 每步位移 ≲ lr，实际更新 RMS 约 0.2–0.4 倍学习率 | Adam §2.1；Muon §2.2 | 不能：没有逐步更新量记录 |
| RMSprop 无偏差校正，早期步长放大 1/√(1−α^t) | Adam §3 | 不能 |
| EMA 类有效步长可增，Adagrad 不增 | AMSGrad §3 | 不能 |
| 早期自适应学习率方差大、更新范数大 | RAdam §3；Kosson 等 §3–4 | 不能 |
| 稳定阈值 2/λ（含预条件版本） | EoS §2；Kalra & Barkeshli；Pascanu | 不能：没有 Hessian |
| 尺度不变与平衡半径 | Hyperball 引理 4.7、定理 4.6 | 不能；且平衡要 t≫1/(ηλ)，Σ_opt 中 ηλ≤3e-6、T≤2048，远未到 |
| 单步最优步长 ε_opt(B) | McCandlish §2.2；资料库的含噪二次例 | 不能：要 G、H、Σ |

## 排除的 25 篇（相关但两样都不给）

- **优化器不在 Σ_opt 的五种之内（11 篇）：** Shampoo、Adafactor、Lion、Fantastic Optimizers I、LAMB、SAM、8 位优化器、ADADELTA、NT-ASGD、Flat Minima、SOAP。
- **变化的是 Σ_opt 里固定的轴（6 篇）：**
  - batch：Keskar 等；
  - 日程：SGDR、ULMFiT；
  - 宽度与参数化：μP、μTransfer；
  - 噪声形式：各向异性噪声。
- **训练太长，或比较的不是优化器设置（4 篇）：**
  - grokking 两篇、神经坍缩：需要的训练时长 Σ_opt 达不到；
  - 记忆顺序：比较的是真实标签与随机标签。
- **只有渐近结论或泛化差距的界（3 篇）：** Robbins–Monro、Hardt 等，以及 LQR 策略梯度。
- **原文是扫描件、只有示例（1 篇）：** Rumelhart 等。

## 发现

1. **文献给 Σ_opt 的现成预测多数是 K/L，且来自与 Σ_opt 很远的设定。** 这些设定多是语言模型预训练或 CIFAR 上的长训练，学习率逐个调优并带衰减，只能当作外推待检。
   - 18 条预测里 S 只有 5 条，没有一条的前提已在 Σ_opt 中成立。
   - 能用我们的数据检验前提的 S 只有稳态两条（Mandt、Three Factors），且只能检验其中“已到稳态”一条前提。
2. **文献在同一关系上给出方向相反的两组规则，分界正好是能独立检验的前提。**
   - 过渡期：有效学习率较大者胜（EoS 的附带观察、Kaplan 的累计学习率、Sutskever 的动量）。
   - 稳态：有效学习率较小者胜（Mandt：只有 ε/(μS) 决定稳态，期望超额损失随它线性增长；Three Factors 式 (9)）。
   - 分界是“是否已到稳态”，可在时间轴上检验，不用学习率对比。这与 KB 里“只在饱和以下成立”的写法同向，但文献把饱和改写成了可检验的前提。
3. **时间重标前提有文献依据，也有明确的失效处。**
   - 依据：EoS §3.4 直接展示了“按迭代×η 作图，轨迹重合到 sharpness 达 2/η 为止”。
   - 失效处一：大学习率（稳定阈值）。
   - 失效处二：噪声占主导时，Three Factors §2.1 指出固定 batch 下改 η 也改噪声温度。
   - 失效处三：训练早期梯度变化快（Goyal）。
4. **好几条 K 级排序在短训练时方向相反。** 以下都是长训练末端的结论；Σ_opt 的 T 只有 256–2048 步，不宜直接搬用：
   - AdamW 与 Adam 的曲线前半程重合（AdamW §4.3），Chinchilla 里 Adam 一直领先到约 80% 处；
   - 自适应方法在训练初期更快（Wilson）；
   - 不用 warmup 时初期更快（Kosson）。
5. **跨优化器类型没有可独立检验的桥。**
   - 已有的：Adam 与 Adagrad 的对应（§5）是按构造的等式，Adam 与 RMSprop 的差别（§3）是偏差校正。
   - 缺的：SGD 与自适应方法之间没有任何一篇给出能脱离跨类型比较本身去检验的前提。
6. **研究库的目录层次与 Σ_opt 下的层次不同。** 例如：
   - EoS 在目录里记为 Law（现象），在 Σ_opt 里主要提供一条前提和一条 K 级附带观察；
   - Adam 在目录里记为 Knowledge，但它 §3 的偏差推导是 S 型前提。

## 局限

- **相关集不保证穷尽：** 关键词筛选会漏，读后补入的 5 篇就是证据。
- **只读了与 Σ_opt 有关的章节：** 引用的章节已核对，全文没有逐条审读，证明没有逐行复核。
- **有 4 处数值推论是本路线自己代入的：** RMSprop 第 1 步放大 10 倍、Adagrad 累计 ∝ 2·lr·√T、Σ_opt 中 lr·λ·T 的量级、Mandt 的期望超额损失 ½Tr(AΣ)。原文只给一般式，记录的 notes 里已注明。
- **pilot 的 22 条相关主张已并入对应论文的记录，没有单列：** 主要来自 Kaplan、Chinchilla、Porian、Hyperball 两篇和 grokking。