ArchitectureIQ v1.5 模型榜单持续更新

数据生成时间:2026-09-09 13:58 UTC · Jev 数据:2026-09-20 UTC · Llama 3.1 70B 补测数据:2026-09-21 UTC · 题目集:v1.5 三选一(修正版 prompt) · GT=10 seeds 全胜显著性 · 推理模型统一最高推理档 · 在线做题(v1.5 五百题+11 模型完整解答)

主榜 · 500 题

每题三个候选配置,选出测试集表现最佳者。acc 为正确率(%),括号为 Wilson 95% CI。 arch/opt/mixed 为分题型正确率(%)——architecture_only 是主要的区分度来源,optimizer_only 头部模型已基本饱和。 tok/题 = 平均输出 tokens(含思维链,按平台口径)。主榜口径:失败/缺失题按 0 分计入(分母 500)。

GLM-5.2 采用 low 档评测:开 max 后所有平台的 response 协议输出都会超过 64k 输出上限导致截断、评测无法继续; 按下方消融①,low 是 GLM 分数最高且最便宜的档位,遂统一用 low。

#	模型	acc	95% CI	arch	opt	mixed	tok/题	状态
1	GPT-5.6 Sol	76.4	[72.5, 79.9]	58	87	85	9,800	✅ 500/500
2	Claude Opus 5	76.0	[72.1, 79.5]	61	86	81	9,503	✅ 500/500
3	DeepSeek V4 Flash	70.6	[66.5, 74.4]	48	85	80	34,529	✅ 500/500
4	DeepSeek V4 Pro	68.4	[64.2, 72.3]	44	83	79	19,166	✅ 500/500
5	GPT-5.6 Luna	67.8	[63.6, 71.7]	42	85	76	4,891	✅ 500/500
6	Gemini 3.1 Pro Preview	66.8	[62.6, 70.8]	42	85	74	7,890	✅ 500/500
7	GLM-5.2 (low)	66.0	[61.7, 70.0]	39	84	75	9,063	✅ 500/500
8	Claude Sonnet 5	65.4	[61.1, 69.4]	38	83	75	9,115	✅ 500/500
9	GPT-4o (2024-11-20)	60.2	[55.8, 64.4]	52	70	58	352	✅ 500/500
10	DeepSeek R1 (2025-01)	59.0	[54.6, 63.2]	41	71	65	2,677	✅ 500/500
11	Jev 1.13.0 (System One)†	56.8	[52.4, 61.1]	44	69	58	39	✅ 500/500
12	Gemini 2.5 Pro	55.8	[51.4, 60.1]	37	70	61	3,567	✅ 500/500
13	Llama 3.1 70B	45.6	[41.2, 50.0]	49	51	37	174	✅ 500/500
14	MiniCPM5 1B	39.0	[34.8, 43.3]	41	46	30	4,942	✅ 500/500
15	qwen3.5-0.8b	36.4	[32.3, 40.7]	37	32	40	742	✅ 500/500

† Jev(TypeSafe System One)不是文本生成模型:输入 state + 类型化问题,直接返回结构化选择、概率分布与置信度,不产生思维链。因此 tok/题(39)与其他模型不可比(其余模型的 tok 含思维链);每题作答约 1.1s、输入约 3.3k tokens。评测口径:题面完整保留(含候选代码),决策以 Choice 形式给出,各选项判据为其自然语言描述;推理档位设置对其不适用。主榜 500 题为单次全量;insight 50 题 4 次重复为 48/48/48/50%(均值 48.5),分题型单次波动 ±7pt 内。其 56.8% 中有约 2pt 来自"总选 A"(选 A 率 42%,而正确答案 A 占 32%),平衡准确率 57.4%,与原始值基本一致。

Insight 榜 · 50 题(同分布子集)

统一使用新 prompt(去除字面 <answer>A</answer> 示例的修正版)。 arch / opt / mixed 为分题型正确率(%); tok/题 = 平均输出 tokens(含思维链)。进度列为已出有效答案题数,⏳ 表示仍在补跑,未满 50 的分数是部分口径。

#	模型	总分	arch	opt	mixed	tok/题	进度
1	Claude Opus 5	78.0	57	94	76	8,725	50/50
2	Gemini 3.1 Pro Preview	74.0	42	94	76	7,485	50/50
3	Claude Fable 5	74.0	42	94	76	5,766	50/50
4	Qwen3.8 Max	70.0	28	89	82	13,508	50/50
5	DeepSeek V4 Flash	68.0	28	89	76	33,511	50/50
6	GPT-5.6 Sol	68.0	14	89	88	8,816	50/50
7	GPT-5.6 Terra	68.0	21	94	76	35,545	50/50
8	Muse Spark 1.2	66.0	14	94	76	2,344	50/50
9	GPT-5.6 Luna	64.0	21	89	70	4,521	50/50
10	GPT-6 Astra (high)	64.0	21	89	70	4,932	50/50
10	Claude Opus 4.6	64.0	14	89	76	5,066	50/50
11	o3	64.0	0	84	64	2,207	50/50
12	Kimi K3	62.0	7	89	76	2,373	50/50
13	DeepSeek V4 Pro	62.0	14	84	76	18,884	50/50
14	GLM-5.2 (low)	62.0	7	89	76	6,586	50/50
15	GPT-5	62.0	7	89	76	4,721	50/50
16	Claude Sonnet 5	60.0	28	78	64	5,615	50/50
17	Gemini 2.5 Flash	60.0	28	73	70	4,405	50/50
18	GPT-5.4	60.0	14	84	70	8,486	50/50
19	GPT-5.5	60.0	14	84	70	18,082	50/50
20	Claude Sonnet 4.5 (thinking)	58.0	35	78	52	2,794	50/50
21	Gemini 2.5 Pro	56.0	21	68	70	3,447	50/50
22	DeepSeek R1 (2025-01)	52.0	14	73	58	2,472	50/50
23	qwen3.5-0.8b	50.0	57	36	58	619	50/50
24	R1-Distill 7B	50.0	57	47	47	1,092	50/50
25	DeepSeek V3-0324	50.0	42	68	52	307	50/50
26	GPT-4o (2024-11-20)	48.0	35	63	41	336	50/50
27	Jev 1.13.0 (System One)†	48.0	14	58	65	39	50/50
28	MiniCPM5 1B	46.0	50	63	23	4,695	50/50
29	R1-Distill 32B	46.0	21	68	41	1,397	50/50
30	Qwen3.5 27B	46.0	21	63	58	4,832	50/50
31	Llama 3.1 70B	42.0	42	36	47	152	50/50
32	Llama 3.1 8B	42.0	35	31	58	176	50/50

消融 ① · 思维链剂量(TTS) · 50 题

同模型同题集,逐档调整 reasoning effort。output tokens 为 completion 总量(其中 reasoning 占绝大部分;opus 经 relay 不单列)。n=50,格间 ±7pt 内为噪声。结论:增益集中在最初几百 token,继续加档基本无效;GLM 的 none→low 是唯一的陡增(+14.8pt)。

模型	档位	正确率	output tok/题
Claude Opus 5	none	76.0	1,496
	low	78.0	156
	medium	80.0	425
	high	76.0	1,764
	xhigh	74.0	2,786
	max	74.0	4,326
GPT-5.6 Luna	none	56.0	100
	low	66.0	324
	medium	62.0	477
	high	66.0	1,630
	xhigh	60.0	3,890
GLM-5.2	none†	54.0	145
	low	68.8	11,091
	high	65.3	19,263
DeepSeek V4 Pro	low	60.0	2,671
	high	62.0	13,171
	max	66.0	16,705
DeepSeek V4 Flash	low	64.0	9,893
	high	64.0	26,596
	max	66.0	34,482

† GLM 的 none 需 thinking.type=disabled 才真关思考(relay 的 effort=none 对它无效,reasoning 反而更多);配对消噪:opus none vs max 3胜2负、luna none vs xhigh 4胜6负、pro low vs max 3胜6负、flash low vs max 2胜3负,均在噪声内。

消融 ② · 数据集信息的价值 · 50 题

对 prompt 中的数据集信息做删/换/加码:「mask数据集」=删去数据集卡片盲测;「偷换数据集」=嫁接同 bucket 另一题的数据集(校验输入维度不穿帮); 「10个同类题目答案few shot」=在 prompt 中附上 10 道同类题目的正确答案;后两列分别额外提供数据实例生成代码 / settings 生成代码。偷换与 few shot 仅 39-40 题(部分题目无同类配对),其余 n=50。GT 裁决=把候选代码拿到对方数据集真实重训(10 seeds),真实赢家仅 3/39(8%)翻转。结论:模型不读数据集卡片也不会变差——因为当前题目里答案本来就几乎不随数据集变,卡片区分度近乎为零;v1.6 应按「换实例后 GT 赢家翻转」来选题。

模型	原始全文	mask数据集	偷换数据集	10个同类题目答案few shot	额外提供数据实例生成代码	额外提供settings生成代码
Claude Opus 5	70.0	78.0	69.2	70.0	58.0	60.0
GPT-5.6 Luna	64.0	68.0	57.5	60.0	68.0	62.0
DeepSeek V4 Flash	62.0	68.0	70.0	65.0	70.0	66.0
DeepSeek V4 Pro	62.0	66.0	62.5	60.0	64.0	64.0

口径说明
· 每题 3 个选项,GT 由 10 个 seed 实测训练得出(10 全胜显著性闸门);预算/批次在题面明示。
· 推理模型均开启各平台最高推理档(max/xhigh/high,经 reasoning token 计数实证);GPT-4o(gpt-4o-2024-11-20)等非推理模型直发。
· GLM-5.2:统一 low 档(max 档 64k 截断无法评测)。
· Jev(TypeSafe System One)为非文本生成的决策模型(结构化 Choice 输出,无思维链),tok/题不可与其他模型横向比较;详见主榜下方 † 注。
· 本页由评测结果自动生成并持续更新;题目与 11 个模型的完整解答(含思维链摘要与对错)见在线 quiz(每题下方选模型对照,或隐藏答案自测)。