ArchitectureIQ 500 题评测：现状、两条 insight 与规律总结

1. 现状：题库、榜单、上线安排

1.1 v1.5 正式题库（500 题，3 选 1）

1.2 主榜 · 500 题（2026-09-04 13:18 UTC，修正版 prompt）

arch / opt / mixed 为分题型正确率(%)。architecture_only 是主要的区分度来源，optimizer_only 头部模型已基本饱和。

1.3 Insight 榜 · 50 题子集：旧 prompt 的选 A 锚定 bug 已实锤并修复

• 旧 prompt 的格式示例里写了字面 <answer>A</answer>，导致一批模型位置锚定：Gemini 2.5 Pro 偏好选 A、Llama 几乎全选 A。
• 新 prompt（示例改为占位符）后锚定分布回到 ≈33%，分数回归真实水平：o3 66→54（-12）、Qwen3.5 27B 56→46（-10）、Gemini 2.5 Flash 51→61.4（+10.3）、Muse Spark 62→66（+4）。
• GLM-5.2 的 80.9 含 max（422 题）与 high（78 题降级重试）混档，且目前只有 204/500，排名仍可能变动。

1.4 上线与考试安排（群内 9/3-9/4 最新）

• 9/3 唐晨成：内测推迟——「题目的难度、配比和测评还有一些需要调整的地方」。
• 9/4 刘子鸣拍板：9/5 18:00 网站更新题目，21:00 前交卷（自己截图 + 后端验证），不能使用 AI（君子协定）；50 题，从 500 题里抽（这样人能跟 LLM 做 apples-to-apples 比较）。
• 奖池调整为普惠制：1-3 名 3000 / 4-6 名 2000 / 7-9 名 1000（9 人报名）。
• 题型配比讨论：曾提议人类题包去掉 tabular cls，唐晨成担心与 LLM 分数不可比，最终决定维持原分布。

2. Insight 1：分数与思考强度几乎无关

实验：opus / luna / v4-flash / v4-pro 各设多档 reasoning effort，同做 insight-50 题（共 17 档 ≈850 次调用）。横轴 = 平均 output tokens/题。

• 配对消噪（同题对比，只看答案翻转）：opus none vs max = 3胜:2负；luna none vs xhigh = 4:6；pro low vs max = 3:6；flash low vs max = 2:3——全部在二项噪声内。
• opus 不需要思考：none 档 0.760 ≈ max 档 0.740，答案在第一反应里定型；medium 的 0.800 是噪声峰。
• luna 是唯一有真实剂量响应的：none（100 token 直答）0.560 → low 档加 220 个 reasoning token 跳到 0.660；之后 324→3,890 token（12×）收益为零甚至为负。边际收益全部集中在前几百 token。
• flash 是效率灾难：烧 26k reasoning token 买到和 pro max 一样的 0.66。

3. Insight 2：分数与 dataset 几乎无关，选项（setting）侧主导

3.1 实验 A：盲测（删掉整个 Dataset 段，只看选项答题）

三个模型盲测全部不低于全文——数据集卡片对决策的贡献为零，删掉甚至略涨（噪声内；可能长 prompt 稀释了注意力）。

3.2 实验 B：数据集偷换（同 bucket 内换卡片）+ 错误数据集

换数据集后翻转率平均只比内在抖动高 ~5pt；「盲测 ≥ 全文」「错数据集 ≈ 原题重答」在四个模型上全部成立。

3.3 机制解释：选项代码本身泄露了任务类型

• 选项侧的生成代码足以判断 family：CE loss + 2 logits = 二分类、reshape(-1, vocab) = bigram LM、输入维度 = tabular 类型。
• 知道 family + setting（优化器/lr/架构/预算）后，剩下的全靠「选项侧先验」排序——数据集卡片写的是哪个实例几乎不影响判断。

3.4 本地独立复核（insight-50，4 个模型逐题统计）

按 family 分，正确率差基本在噪声内（支持 insight 2）；但按题型分，差异巨大：

注：该 50 题子集的 arch 题只有 14 道，样本小；但主榜 500 题同方向（arch 37-61% vs opt 70-88%）。子集上 arch 甚至低于随机（33%）——模型在 arch 题上持有系统性错误先验（典型：以为更深/更宽/带 residual 一定更好，而短预算 GT 经常相反）。

4. 这对 benchmark 设计意味着什么

• v1.6 改进方向（刘子鸣提出）：选题时筛选数据集敏感题——同一个选项集合，换同 bucket 的另一个数据集实例后 GT 赢家会翻转的题。出题器可以在同一 candidate set 跨数据集复用候选来发现这种翻转对，逼着答题者必须读数据集。
• GT 裁决实验（进行中，不调 API 跑真实 GT）：把 20 对配对题的候选代码（3 choice × 10 seeds × 20 对 = 120 个 GT 作业）拿到对方数据集上真实重训。两种结果指向不同结论——
  • GT 赢家换数据集后很少翻转 → 模型忽略数据集是理性的，"数据集没用"是出题性质，不是模型缺陷；
  • GT 赢家经常翻转但模型答案不动 → 模型真的在偷懒，数据集推理是未开发的区分度来源。
• 信息剂量分层实验（进行中）：盲测 → 现有卡片 → +完整 synthesize.py → +家族采样器源码（uni/mv sampler 168/236 行、bigram 生成器、tabular 规则库 582 行），配 GT 翻转率，画完整的「信息量 → 正确率」分层图。

5. 对明天考试（9/5 18:00-21:00，50 题）的策略含义

1. optimizer_only 题（约 1/3）按流程走，这是最稳的分：先排 SGD+tiny lr → Adam/AdamW/RMSProp 同级比 lr（甜区 1e-3~3e-3）→ AdaGrad 按 η_eff≈η/√t 换算（短预算要放大名义 lr）→ wd/loss/layer_norm 直接忽略。
2. architecture_only 题（约 1/3）是拉开差距的地方，且要预期反直觉答案：LLM 在这类题只有 37-61%（子集上甚至低于随机），因为「更深/更宽/更多稳定器 = 更好」的先验在短预算 GT 下经常是错的。GT 实测要点：depth=1 必欠拟合；depth≥3 / width≥256 在噪声大/高维实例上惨败（d2w64 赢 d4w256）；bigram 选 GRU 不选 transformer，transformer 内部加深无益、d_ff 64→256 有帮助。
3. 混合题按「优化器 → 有效 lr → 架构」的顺序做 successive elimination（刘老师决策链），dominant effect 出现就停。
4. 数据集卡片还是要读，但只读关键字段：input_dim（≥8 → 别选大模型）、noise_std（0.1 → 容量收敛）、rule_family（spiral 多圈 → 深度不可替代；xor → 一隐层够）、vocab_size（算 ln V 基线）。
5. 预算题：16k/32k 大预算占一半，长预算下小 lr 能追平高 lr、AdaGrad 后期衰减，套用短预算结论前先换算训练步数（steps = budget / batch_size）。
6. 人类 vs LLM 的机会窗口：LLM 天花板目前 ≈0.77-0.81，arch 题是它们最弱的地方（<50%）。人只要 arch 题正确率过 60%，总分就能进前列。

6. 规律库索引（累计沉淀）