「会写 harness 更新」和「能从更新获益」是两回事

> 量子位技术拆解 · 一篇能力分析论文：7 个模型 × 3 个 benchmark 的交叉配对。完整结构化数据见「速查」tab。

先看一个现象：自进化 agent 的评测几乎都报「端到端增益」——用一套更新程序 + 一个目标 agent，在某个 benchmark 上提升了多少。但增益可能来自两个完全不同的地方：evolver 写出的 harness 质量，或者执行 agent 使用 harness 的能力。PSU、UCSC 与 Amazon 的这篇论文（arXiv 2605.30621）把这个混在一起的分数拆开，定义了两个独立能力轴，并用 7 个模型 × 3 个 benchmark 的交叉配对回答：哪些模型能产出有用的 harness 更新？哪些模型真正从中获益？

核心思想：两个能力轴

设 agent 在时间 $t$ 的状态为 $A_t = (f, H_t)$，$f$ 是固定权重，$H_t$ 是 harness 状态。evolver $e$ 把执行证据转成更新：$\Delta H_t = e(H_{t-1}, D_t)$，其中 $D_t = \{(x, \tau_{t,x}, y_{t,x})\}$ 是轨迹与输出。pair 增益是 $\Delta(f, e) = J_X(f, H_T^{(f,e)}) - M_{\text{base}}(f)$，即进化后的分数减去该 agent 的基座能力。两个能力轴的定义：

$$\Delta_{\text{update}}(e) = \frac{1}{|F^\star|} \sum_{f \in F^\star} \Delta(f, e), \qquad \Delta_{\text{benefit}}(f) = \max_{e \in E^\star} \Delta(f, e)$$

$\Delta_{\text{update}}$ 是 evolver 在一组 anchor agent 上的平均增益三个指标都以 pass rate 为统一口径、跨 benchmark 可比；anchor 集合的选取（谁当执行者、谁当改壳者）是度量定义的组成部分，读数字时要带上这个限定。——衡量「它写的更新对别人有没有用」；$\Delta_{\text{benefit}}$ 是 agent 在 anchor evolver 集合上能获得的最大增益——衡量「它吃到多少进化红利」。实验里 6 个模型两两配对（再加最小的 Qwen3.5-9B 只当 evolver），在 SWE-bench Verified、MCP-Atlas、SkillsBench 三个 benchmark 上跑，可编辑组件是 skills（SWE/SkillsBench）与 skills+prompts+memories（MCP）。

发现一：harness-updating 与基座能力无关

最反直觉的结果：evolver 写 harness 的能力随模型规模几乎平坦。同一 benchmark 上最好与最差 evolver 的 $\Delta_{\text{update}}$ 差距最多 3.1 个百分点，而且没有模型在所有 benchmark 上领先——Qwen3-235B 在 SWE 上 8.2pp 领先、在 MCP 上 0.6pp 垫底。最小最弱的 Qwen3.5-9B 在 SkillsBench 上 3.8pp 全场最高，超过 Claude Opus 4.6 的 2.3pp。论文用 flink-query 案例做了机制层面的验证：固定执行 agent 为 Opus 4.6，无 skill 时 0.67 分，注入 Qwen3.5-9B 写的 skill 或 Opus 写的 skill 都到 1.0——两份 skill 规定同一步骤序列，只在实现细节与冗长度上不同，程序同构。9B 开源模型写到了和前沿模型一样的程序内容。

推论同样重要：进化后的分数由执行 agent 的基座能力主导。同一 agent 配 7 个 evolver，分数波动最多 5.1pp；而 Opus 与 Qwen3-235B 的基座能力差 36.0pp。最弱 anchor agent 配上最好的 evolver，也追不上最强 agent 配上最差的 evolver。作者的建议直白：能力预算花在执行 agent 上，别花在 evolver 上。

发现二：harness-benefit 与基座能力呈倒 U 形

执行侧的图景完全不同：$\Delta_{\text{benefit}}$ 随基座能力非单调。SWE 上峰值在中档的 Qwen3-235B（19.3pp，base 20.7%），GPT-OSS-120B 15.8pp；两端都低——弱模型 Qwen3-32B 只有 4.4pp（base 3.6%），强模型 Opus 4.6 只有 2.6pp（base 74.2%）、Sonnet 4.6 2.8pp。MCP 的峰值移到 GPT-OSS-120B（7.0pp），SkillsBench 的峰值在 Haiku 4.5（15.1pp），但倒 U 形都在。两端的解释不同：强端是天花板效应（本来就会，没剩多少可提升）；弱端是能力缺口——而弱模型恰恰是 headroom 最大的，本该获益最多。

论文把弱端缺口追到两个具体环节。激活失败（activation failure）：技能根本没进上下文。SkillsBench 上技能加载率 SLR 对 Opus 4.6 是 0.957，Qwen3-32B 只有 0.251——它的加载请求被嵌进 multi-key 动作，格式门禁拒绝，技能体从未加载。遵循失败（adherence failure）：加载成功也未必受益。加载后遵循率 HFR，Qwen3-32B 0.142、Qwen3-235B 0.350，而 Opus 0.757；Qwen3-235B 的 SLR 0.961 几乎与 Opus 相同，HFR 却只有一半不到——激活和遵循被干净地分离。相位分析显示这是长程问题：Qwen3-32B 的遵循分数从加载后的 0.52 一路跌到终局 0.13（漂移 −0.39），Opus 稳定在 0.89→0.80。弱模型不是读不懂 harness，是撑不完长轨迹。

局限与边界

还有一组对照数字值得放进来：同一个执行 agent 配 7 个不同 evolver，post-evolution 分数波动最多 5.1pp（Qwen3-235B），而不同执行 agent 之间的基座能力差高达 36.0pp；即使把最弱 anchor agent 配最好的 evolver，也追不上最强 agent 配最差 evolver（差距 18.6–35.2pp）。MCP 上获益峰值在 GPT-OSS-120B（7.0pp）、SkillsBench 上在 Haiku 4.5（15.1pp）——倒 U 形跨 benchmark 都成立，只是峰值位置随任务分布移动。

局限与边界

论文自承两条：只测 harness 进化（权重固定），不覆盖参数微调、RL 或混合适应；模型集有代表性但非穷尽。我们补三条读出：$\Delta_{\text{benefit}}$ 取 anchor evolver 上的最大值、$\Delta_{\text{update}}$ 取 anchor agent 上的平均值，anchor 集合的选择会影响排序与量级；HFR 依赖 LLM judge，本身有噪声；进化组件只含 skills（SWE/SkillsBench），工具、middleware 等更宽的 harness 表面没有纳入，结论能否外推还不清楚。

一句话记住这篇

「写 harness 更新」与「从更新获益」是两条独立能力轴：evolver 侧最多差 3.1pp、9B 与 Opus 程序同构，执行侧呈倒 U 形、中档模型获益最大。最该记住的数字是弱模型的技能加载率 0.251 对强模型 0.957——自进化系统的短板往往在 agent 会不会用 harness，而 harness 本身写得好不好反而不是瓶颈。