预算变了怎么办6 条
最优参数量大约按预算的 0.7 次方增长：预算多 10 倍，参数约多 5 倍
15 秒最好的是宽 256 × 2 层（2.8M 参数），10 分钟是宽 512 × 4 层（37.3M）；每个参数看到的 token 从 12 个降到 5 个
最优学习率随预算下降
Muon（AdamW 同档）：15 秒 0.015，30 秒 0.015，60 秒 0.007，2 分钟 0.007，10 分钟 0.0035；宽 256 × 8 层单独扫：2 分钟 0.015，10 分钟 0.0035；网格两端补测后最优仍在内部：15 秒时最好的配置用 0.03 差 +0.0151 ± 0.0034；10 分钟时最好的配置用 0.0025 差 +0.0029 ± 0.0012、0.0018 差 +0.0168 ± 0.0004
按一个预算选出的配置，拿到另一个预算训练会吃亏；两个预算差得越远，亏得越多
按 2 分钟选、训练 10 分钟：差 0.101（447 个配置里排第 233）；按 10 分钟选、训练 15 秒：差 2.21
10 分钟预算下，宽 512 × 4 层 C16·A16·A16·A16 是局部最优：一次改一处，没有一种明显更好
2.4427（4 个种子）；33 种改动里最好的是“Muon 0.0025” −0.0015 ± 0.0016，最差的是“第 1 层换成全注意力” +0.0219 ± 0.0033
10 分钟预算下宽度到 512 左右就到顶；2 分钟预算的最优在宽 256
10 分钟时每个宽度的最好配置：宽 256 2.4816，宽 384 2.4539，宽 512 2.4412，宽 640 2.4487，宽 768 2.4598；在 4 层 C·A·A·A 上只改宽度：改成宽 384，MLP ×16 +0.0151 ± 0.0017，改成宽 384，MLP ×24 +0.0113 ± 0.0029，改成宽 640，MLP ×16 +0.0131 ± 0.0013，改成宽 640，MLP ×12 +0.0061 ± 0.0037
MLP 宽度的分配随预算变：2 分钟时只加宽首尾两层，10 分钟时各层一样宽、而且更宽
宽 256 × 4 层：首尾 ×24 对全 ×12，2 分钟 −0.0101 ± 0.0019，10 分钟 −0.0321 ± 0.0025；全 ×24 对首尾 ×24，2 分钟 +0.0103 ± 0.0028，10 分钟 −0.0069 ± 0.0017；宽 512（10 分钟）：其他 10 种分法没有一种比各层都 ×16 好（差 +0.0008 到 +0.0122）
短训的排名能不能信3 条
学习率不变时，按“2 分钟 loss + 0.11 × ln(2 分钟内的步数)”排，能预测 10 分钟的名次
秩相关从 0.65 升到 0.95（一半拟合、一半检验）；没参与拟合的 8 层布局从 0.42 升到 0.90
差异分两种：只影响学得快慢的，训练越久越小；影响容量的，训练越久越大
变小：GDN 交替族比最好的一族差，15 秒 0.074，2 分钟 0.003，10 分钟 0.007；夹心 1 减严格交错，15 秒 +0.0197 ± 0.0039，10 分钟 +0.0020 ± 0.0008。变大：最好的 8 层减 4 层，2 分钟 +0.014，10 分钟 −0.034；前 4 层 MLP 加宽到 ×24，2 分钟 +0.019，10 分钟 −0.008