排行榜:每个搜索者最后提交的结构和它在搜索时得到的分数分数是种子 42 的单次结果,也就是搜索对象本身;小字是同一结构在种子 42–45 上的均值。簇模式和算法基线都是 1,200 次预算,对话模式 64 次
| # | 搜索者 | 方式 | 评测数 | 提交的分数 | 提交的结构 | |
|---|---|---|---|---|---|---|
| 1 | 大搜索 | 大搜索 | 18,694 | 2.5076 4 种子均值 2.5246 | 参照 | d256 C6 A8 G10 A16 lr0.005 qk1 sparse kvc8 rope20 smear noskip noln cap11.5 par3 ng2x16384x128 |
| 2 | Claude Opus | LLM 簇模式 | 1,200 | 2.5300 4 种子均值 2.5343 | 比大搜索 +0.0224 | d384 C8 A10 A12 lr0.0055 qk1.5 output kvc6 rope32 vr smear noskip noln cap15 ng2x16384x128 |
| 3 | meta model(GBDT) | 算法基线 | 1,200 | 2.5315 4 种子均值 2.5488 | 比大搜索 +0.0239 | d256 G10 A16 G8 A12 lr0.005 qk1 none kvc8 rope24 vr noskip noln cap13 ng2x16384x128 |
| 4 | GPT-6.1 Sol | LLM 簇模式 | 1,200 | 2.5340 4 种子均值 2.5385 | 比大搜索 +0.0263 | d256 A12 A12 A12 A12 lr0.0055 qk0.5 sparse kvc8 rope32 vr noskip cap20 ng2x16384x128 |
| 5 | MCMC 搜索器 | 算法基线 | 1,200 | 2.5366 4 种子均值 2.5465 | 比大搜索 +0.0290 | d256 C24 G8 A6 M8 A16 lr0.006 qk0.75 output kvc7 rope64 smear noln cap13 ng2x16384x128 |
| 6 | GPT-6 Astra | LLM 簇模式 | 1,200 | 2.5391 4 种子均值 2.5586 | 比大搜索 +0.0315 | d256 A4 A4 A8 A8 A12 A12 lr0.008 qk3 sparse kvc5 rope16 vr cap11 ng2x16384x128 |
| 7 | GPT-6.1 Sol | LLM 对话模式 | 64 | 2.5426 4 种子均值 2.5440 | 比大搜索 +0.0350 | d384 C8 A8 A8 lr0.0075 qk1.5 sparse kvc8 rope16 cap30 ng2x16384x128 |
| 8 | Claude Opus | LLM 对话模式 | 64 | 2.5446 4 种子均值 2.5465 | 比大搜索 +0.0370 | d384 C8 C8 A8 A8 lr0.01 qk1.5 sparse kvc4 rope16 vr smear cap15 ng2x16384x128 |
| 9 | 重点空间随机 | 算法基线 | 1,200 | 2.5454 4 种子均值 2.5483 | 比大搜索 +0.0378 | d256 C12 G12 K32 C12 A6 lr0.006 qk0.75 none kvc7 rope16 noskip noln cap14 ng2x16384x128 |
| 10 | GPT-6 Astra | LLM 对话模式 | 64 | 2.5491 4 种子均值 2.5610 | 比大搜索 +0.0415 | d384 A12 A12 A12 lr0.01 qk1.5 sparse kvc4 rope16 noln cap30 ng2x16384x128 |
| 11 | Claude Sonnet | LLM 簇模式 | 1,200 | 2.5545 4 种子均值 2.5625 | 比大搜索 +0.0469 | d256 C4 A6 W384/5 W640/5 A5 A4 lr0.0055 qk1 sparse kvc8 rope32 vr smear cap10 ng2x16384x128 |
| 12 | Claude Haiku | LLM 簇模式 | 1,200 | 2.5554 4 种子均值 2.5607 | 比大搜索 +0.0477 | d256 W512/6 A4 A6 A5 A4 A6 lr0.005 qk0.75 sparse kvc8 rope16 vr noskip noln cap15 ng2x16384x128 |
| 13 | 全空间随机 | 算法基线 | 1,139 | 2.5575 4 种子均值 2.5627 | 比大搜索 +0.0499 | d256 M12 A12 A24 lr0.007 qk1 output kvc2 rope16 xsa1 cap30 ng2x16384x128 |
| 14 | Claude Sonnet | LLM 对话模式 | 54 | 2.5609 4 种子均值 2.5677 | 比大搜索 +0.0533 | d384 A8 A8 lr0.005 qk1.5 none kvc4 rope16 noskip noln cap30 ng2x16384x128 |
| 15 | Claude Haiku | LLM 对话模式 | 63 | 2.5756 4 种子均值 2.5875 | 比大搜索 +0.0680 | d512 A3 A3 A3 lr0.007 qk1.5 sparse kvc4 rope16 vr smear cap30 ng2x16384x128 |
| 16 | GPT-6.1 Terra | LLM 簇模式 | 1,200 | 2.5771 4 种子均值 2.5929 | 比大搜索 +0.0695 | d384 A4 A4 A4 A4 lr0.009 qk1.5 sparse kvc8 rope16 vr noskip noln cap20 ng2x16384x128 |
| 17 | GPT-6.1 Terra | LLM 对话模式 | 64 | 2.6221 4 种子均值 2.6268 | 比大搜索 +0.1145 | d384 A2 A2 A2 A2 A2 A2 lr0.01 qk1.5 none kvc4 rope64 noskip noln cap30 ng2x16384x128 |
读法:按搜索时的单种子分数,Claude Opus 和 meta model(GBDT)并列最前(差 0.0015,种子标准差约 0.006),GPT-6.1 Sol 和 MCMC 紧随其后;其余模型不如重点空间随机。所有 agent 都比大搜索差 0.02 以上。单种子分数是从上千次里挑出的最小值,换种子会回升;回升多少因搜索者而异(meta model 回升 0.017,Opus 0.004),这一点只有一次运行,可能是运气。
同样 1,200 次评测,谁降得快实线是 LLM 簇模式,虚线是算法基线;单种子,所以末端差 0.005 以内算平手
逐步回放:选一个搜索者,拖动看它每一步想了什么、试了哪个 JSON点上图也能跳;← → 键逐步
它的思路
这一步的设置(JSON) layers 用“默认 + 覆盖”写法:每个槽一个默认项,带 layers 的项覆盖指定层(从 1 数)
对话模式只有 64 次,前 64 次大家差不多点是单次结果,线是到此最好(单种子);簇模式取前 64 次比
大搜索的前 64 个里有 32 个直接取自序列长 256 的前列结构,起点用了已有知识;agent 只拿到任务说明和 PG 基线。对话模式每个模型提交的 4 种子都比它自己的簇模式差 0.002–0.034,但预算差了 19 倍,不能直接说“对话越长越笨”。