知识积累有正向得分信号,仍需新题验证
知识库(KB)保存可复用的解题规律。最新循环完成 15 轮,在开发集上比不带知识库高 4.21 ± 2.37 个百分点,尚不能排除零增益。
- 模型 gpt-6.1-sol
- 循环 15 轮 × 30 题
- 开发集 105 道排序题 × 3 次
- 参数更新 无
逐轮展示保留完整实验过程
逐轮查看解题、发现与总结,并对照知识库版本。条目演化、修改日志和提示词配置均可展开。
开发集得分上升,仍不能证明新题收益
实验线 1 · KB 迭代 实验线 2 · 模糊方向 →
模型反复经历解题、发现和整理。每 5 轮用同一开发集检查知识库。第 15 轮平均得分为 70.08%,不带知识库为 65.87%。排序题包含部分分,得分不是全题答对率。
这批题已经用于研发。± 表示同题配对差值的 1 个标准误,衡量估计波动。曲线连接三次重复的平均分,没有用重复之间的波动替代题级误差。
展开各检查点的数字与限制
| 轮次 | 带知识库 | 相对不带知识库 |
|---|---|---|
| 初始 | 60.40% | −5.48 个百分点 |
| 第 5 轮 | 67.70% | +1.83 ± 2.61 个百分点 |
| 第 10 轮 | 69.52% | +3.65 ± 2.57 个百分点 |
| 第 15 轮 | 70.08% | +4.21 ± 2.37 个百分点 |
初始差值由已保存平均分相减,未补算其配对误差。各检查点沿用保存的宏观评测数字。新增题池上的效果尚未验证。
每轮先冻结知识库,再用解题反馈修订规律
- 解题只看题目与冻结知识库。
- 发现揭示答案,提出解释和待验证问题。
- 整理与研究测量、补条件、合并重复或撤回规则。
- 保存下一版本记录理由,供下一轮使用。
总结与研究任务可以跨轮继续。每条修改分别记录发起轮和应用轮。一次解题使用的知识库版本保持不变。
第 5 轮合并重复证据,15 轮变化都能追溯
第 5 轮把重复条目合并,知识库从 73 条变为 68 条。第 15 轮结束时有 139 条,晚到研究又应用到 143 条。条目增加不等于发现增加,修改理由和测量报告可以分别查看。
历史对照显示,收益依赖模型与循环方式
不同实验使用不同题池,不能把它们排成模型排行榜。下表保留代表性读数和完整记录入口。
| 实验 | 保存结果 | 逐轮记录 |
|---|---|---|
| 同步整理循环 gpt-6.1-sol · 10 轮 | 第 8 轮开发集 +5.67 ± 1.84 个百分点。第 9 轮候选被拒,其改动仍可审查。 | 撤回与修订 |
| 早期知识库循环 gpt-6-luna · 12 轮 | 第 8 轮 +7.50 ± 4.37,第 12 轮回落至 +0.83 ± 4.12 个百分点。40 题,每题重复 3 次。 | 合并与删除 |
| 早期同题对照 Qwen3.8-Max · 4 轮完成 | 第 4 轮 −6.25 ± 6.44 个百分点。与早期循环使用同一 40 题,每题仅 1 次。 | 对照记录 |