PG 小模型结构研究

搜了 18,700 个结构，最后都长成同一个样子

序列长 1024、训练 2 分钟、几乎什么都能改：自动搜索、重点搜索和 LLM agent 各自找到了什么。

2.5159大搜索最好（4 种子均值）
2.7729PG 原版 9 层基线
18,694训练过的结构（单种子）
493补齐 4 种子的结构
最好的结构：d256 C8 A8 G16 A16 lr0.005 qk1 output kvc4 rope16 noskip noln cap15 par3 ng2x16384x128。宽 256、4 层：短卷积 → 注意力 → GDN → 注意力，输入端加 2 阶 n-gram 表，从第 3 层起两条并行车道。

三条路线同一个结构空间，不同的搜法

大搜索：什么都放开，让搜索自己长

先验模型起步，meta model、变异、LLM 提议和随机抽样一起补位，前列补种子。前 200 个结构就降到 2.527，后面主要在同一族里细调。

完整报告 →

重点搜索：只在前列附近放开最可能有用的自由度

层数 3–6、每层混合方式和 MLP 宽度、宽度和头数、n-gram 表、细粒度学习率和 softcap 等。三种搜法各有独立预算，结果懒加载：跑过的直接复用，没跑过的排到队首。当前：broad 1568 次，最好 2.5575；MCMC（8 条链） 1504 次，最好 2.5366；meta model（GBDT） 1368 次，最好 2.5315；随机搜索 1584 次，最好 2.5454（单种子）。

进行中

LLM agent：给 64 次机会自己搜

Codex 三个模型在沙箱里只能调用评测工具。GPT-6.1 Sol 提交的设置 4 种子 2.5440，GPT-6 Astra 2.5610，GPT-6.1 Terra 2.6268；都用上了 n-gram 表，只有 Sol 第一层用了短卷积。

每个 agent 跑 1 次

4 种子前 10 名

4 种子均值结构来自
2.5159d256 C8 A8 G16 A16 lr0.005 qk1 output kvc4 rope16 noskip noln cap15 par3 ng2x16384x128confirm
2.5162d256 C12 A8 G12 A16 lr0.005 qk1.5 output kvc8 rope16 smear noskip noln cap12 par3 ng2x16384x128llm
2.5163d256 C8 A8 G16 A16 lr0.005 qk1 output kvc8 rope16 noskip noln cap15 par3 ng2x16384x128confirm
2.5164d256 C16 A8 G8 A16 lr0.005 qk1 output kvc8 rope16 noskip noln cap15 par3 ng2x16384x128confirm
2.5168d256 C12 A8 G12 A16 lr0.005 qk1.5 output kvc8 rope16 smear noskip noln cap10 par3 ng2x16384x128confirm
2.5168d256 C16 A6 G10 A16 lr0.005 qk1 output kvc6 rope20 smear noskip noln cap12 par3 ng2x16384x128confirm
2.5168d256 C8 A12 G12 A16 lr0.005 qk1.5 output kvc8 rope16 smear noskip noln cap15 par3 ng2x16384x128confirm
2.5169d256 C8 A8 G16 A16 lr0.005 qk1.5 output kvc8 rope16 smear noskip noln cap12 par3 ng2x16384x128llm
2.5171d256 C16 A8 G8 A16 lr0.005 qk1 output kvc4 rope16 noskip noln cap15 par3 ng2x16384x128confirm
2.5171d256 C16 A6 G10 A16 lr0.005 qk1 output kvc7 rope20 smear noskip noln cap12 par3 ng2x16384x128confirm