2.5159目前最好的 2 分钟模型（4 种子）
−0.26比 Parameter Golf 原版 9 层基线
18,694大搜索训练过的结构
42知识库里的规律
分站
搜了 18,700 个结构，最后都长成同一个样子
序列长 1024、训练 2 分钟、几乎什么都能改：自动搜索、重点搜索和 LLM agent 各自找到了什么。
大搜索 · 大搜索 · 重点搜索 · LLM agent
让 agent 自己搜：每一簇它想验证什么、试了什么、分数怎么走
Codex 和 Claude 各三个模型，簇模式 1,200 次预算和对话模式 64 次预算两种玩法，与四条算法基线同预算比。
Agent 搜索 · 6 个模型 × 2 种玩法的逐簇轨迹
注意力放前面，第一层先看邻居，宽 MLP 只放两头
层怎么排、每层放什么、哪些小开关值得开。
结构规律 · 25 条规律
预算多 10 倍，模型该大 5 倍
训练时间变了，最好的模型、学习率和排名怎么变。
预算与迁移 · 9 条规律
差 0.005 以内基本是平手，15 秒的排名会挑反
怎么比两个模型才可信，怎么搜才省算力。
方法与噪声 · 8 条规律
meta model 该用哪种：在线拟合的 GBDT 不差，但它的不确定性不能用
在 5.5 万条已有结果上离线比较 GBDT、随机森林、MLP、GP 和序列模型：拟合精度、前排排序、主动搜索回放。
meta model · 离线 bake-off
预训练 meta model：在大量廉价真训练任务上预训练，新任务几次实验就定位方向
in-context 回归 + 打分式批量优化。留出的重点空间上 48 次评测 20/20 次找到全集最优，GBDT 是 7/20。
meta model · 预训练任务数正在扩到 1,200
全部详细报告
每个专题一页，带图和完整数字。
详细页
RSI 题目登记
把研究过的问题整理成题，每题有变种和答案（内部）。
题目
这个项目在做什么
在固定的小算力预算下（单卡训练 2 分钟），找最好的小语言模型结构，并把找到的规律整理成可以复用的知识和可以考 agent 的题。所有分数都在同一个协议下测得，不能直接和官方 Parameter Golf 的成绩比较。