怎么比才可信3 条
比较两个设计要用同一组种子、按种子相减；两个模型越像，配对省下的噪声越多
两个模型分数差的标准差（每个种子）：不配对 0.0087，同种子随机两个模型 0.0085，同种子、只差 softcap 0.0036
单种子挑出的第一名偏乐观，前列要补到 4 个种子再比
按种子 42 选出的前 10 名，换到种子 43–45 平均变差 +0.0069（前 50 名 +0.0045），已扣除种子之间的整体差异
学习率不变时，长运行中途的检查点等于一次短运行：一次 600 秒运行同时给出 15、30、60、120、600 秒的分数
第 120 秒检查点和单独跑 120 秒：平均差 0.0007，相关 1.00（176 对）
怎么搜才省5 条
在已知最好的模型附近，单个旋钮基本调到头了
10 个子空间全测（864 个候选、3,445 次运行），9 个里直接交 base 离最优不到 0.005
随机搜索要多少次才碰到前列，可以用“离最优 0.005 以内的候选占比”估计：中位数约 ln2 / 占比 次
10 个子空间从难到易：Parameter Golf 技巧 33 次，权重共享 22 次，逐层混合层 19 次，最后两层 19 次，第 1 层 17 次，注意力窗口 14 次，value residual 与排列 13 次，注意力细节 9 次，MLP 放在哪层 6 次，源码开关 3 次
短预算单种子的粗排适合缩小范围；前列间隔大时它也能排准，前列平时排不准，截断也要放宽（但挑错的代价小）。前列要用长预算、多种子精测，精测之后在最好的几种附近做局部搜索，再换设置复测
12 子层 4,096 种 A/M 排法：2 分钟单种子和 10 分钟 4 种子的秩相关 0.86，粗排前 100 名内部只有 0.52；粗排第 101–600 名补测 10 分钟后，接近最好（4 个种子平均差不到 0.005）的 8 种里有 4 种在前 100 名之外，接近最好的排法一直出现到粗排第 481 名。按两个种子挑出的前 5 名，换两个种子验，优势从 0.0044 缩到 0.0013。复测最好的 AMMMAMAMMAMM 粗排只排第 243 名，是从精测第一名出发局部搜索 1 步找到的。8 子层 256 种全测当真值：2 分钟单种子粗排把最好的排在第 1–2 名，精测前 2 名就找到它，训练时间是全测的 6%；15 秒粗排和真值的秩相关只有 0.63
用很短的训练挑结构会挑反：前 15–30 秒学得快的选择（例如第 1 位放 M）10 分钟时更差。超网剪枝、短程适应这类搜索如果按早期 loss 或输出大小打分，会系统性地偏向这类选择
10 子层 1,024 种排法（种子 42）：检查点和 10 分钟的秩相关，15 秒 −0.44，30 秒 0.46，1 分钟 0.81，2 分钟 0.97。24 子层、MLP ×4：外部搜索给出的两种 M 打头排法第 15 秒比严格交错低 0.124、0.092，10 分钟反而高 0.0042、0.0078
在 2^24 种排法里，用几百个单种子样本拟合的代理模型，挑出的最优点预测偏乐观、实测也不如结构先验；只看位置的模型会挑出它看不见的坏结构（长段 A）
三种岭回归代理模型的 6 个提议，预测比实测低 0.016–0.045；最好的提议（加 AA / MM 相邻个数，10 个 A）比 12 子层最好排法翻倍 +0.0030 ± 0.0014；只看位置的提议差约 0.029