PG 120 秒结构搜索：研究报告

• 训练预算从 15 秒到 10 分钟：最优模型大 13 倍，学习率降到约 1/4
  最优配置随预算变化：15 秒宽 256 × 2 层，10 分钟宽 512 × 4 层；参数量约 ∝ 预算^0.7；按 2 分钟选的配置训练 10 分钟差 0.101。
• 训练 10 分钟时，最优模型更宽、MLP 更大、学习率更低
  10 分钟最好：宽 512 × 4 层，2.4412；2 分钟冠军在 10 分钟排第 169；最好的 Muon 学习率从 0.015 降到 0.0035。
• 用 120 秒的结果预测 600 秒排名：按步数修正，学习率另调
  120 秒 loss 加步数修正后，预测 600 秒排名的秩相关从 0.65 升到 0.95；换学习率就失效。
• 训练时间一长，结论会翻：2 分钟要快，10 分钟要大
  10 分钟时 8 层比 4 层好 0.034，2 分钟时差 0.014；加宽 MLP 只在长预算划算；两种预算的名次相关 0.43。
• 注意力和 MLP 子层怎么排：A 打头、紧跟几个 M、M 收尾，每个子层翻倍到 24 子层照样最好
  12 子层 4,096 种 A/M 排法粗排 + 161 种精测 + 局部搜索：AMMMAMAMMAMM 比 (A M M)×4 好约 0.007（换三种设置仍成立），严格交错差 0.010；每个子层翻倍到 24 子层，比 AAMM×6 好 0.012；2 分钟粗排能筛不能排。
• 时间怎么花：注意力便宜，只有深模型靠后的层可以跳过混合
  一层全注意力 7.0 ms / 每步约 90 ms；4 层里 13 种跳过做法 12 种明显更差；最好的 50 个 6 层结构里 36 个跳过了靠后的一两层。
• logit softcap 30 → 15：159 个模型里 157 个变好
  平均 -0.0038 ± 0.0002，12–20 是平台，排名基本不变。
• 同种子配对：两个模型越像，比较的噪声越小
  很像的两个模型同种子配对，比较噪声从 0.0087 降到 0.0036；评分窗口重叠贡献相关 +0.29。