知识积累有正向得分信号,仍需新题验证

知识库(KB)保存可复用的解题规律。最新循环完成 15 轮,在开发集上比不带知识库高 4.21 ± 2.37 个百分点,尚不能排除零增益。

逐轮展示保留完整实验过程

逐轮查看解题、发现与总结,并对照知识库版本。条目演化、修改日志和提示词配置均可展开。

开发集得分上升,仍不能证明新题收益

模型反复经历解题、发现和整理。每 5 轮用同一开发集检查知识库。第 15 轮平均得分为 70.08%,不带知识库为 65.87%。排序题包含部分分,得分不是全题答对率。

2026-10-12T00:25:59.655751 image/svg+xml Matplotlib v3.10.9, https://matplotlib.org/ 0 5 10 15 迭代轮次 58 60 62 64 66 68 70 72 74 开发集平均得分(%) 带知识库 不带知识库

这批题已经用于研发。± 表示同题配对差值的 1 个标准误,衡量估计波动。曲线连接三次重复的平均分,没有用重复之间的波动替代题级误差。

展开各检查点的数字与限制
轮次带知识库相对不带知识库
初始60.40%−5.48 个百分点
第 5 轮67.70%+1.83 ± 2.61 个百分点
第 10 轮69.52%+3.65 ± 2.57 个百分点
第 15 轮70.08%+4.21 ± 2.37 个百分点

初始差值由已保存平均分相减,未补算其配对误差。各检查点沿用保存的宏观评测数字。新增题池上的效果尚未验证。

每轮先冻结知识库,再用解题反馈修订规律

  1. 解题只看题目与冻结知识库。
  2. 发现揭示答案,提出解释和待验证问题。
  3. 整理与研究测量、补条件、合并重复或撤回规则。
  4. 保存下一版本记录理由,供下一轮使用。

总结与研究任务可以跨轮继续。每条修改分别记录发起轮和应用轮。一次解题使用的知识库版本保持不变。

第 5 轮合并重复证据,15 轮变化都能追溯

第 5 轮把重复条目合并,知识库从 73 条变为 68 条。第 15 轮结束时有 139 条,晚到研究又应用到 143 条。条目增加不等于发现增加,修改理由和测量报告可以分别查看。

查看知识库变化 →查看解题与发现
123456789101112131415

历史对照显示,收益依赖模型与循环方式

不同实验使用不同题池,不能把它们排成模型排行榜。下表保留代表性读数和完整记录入口。

实验保存结果逐轮记录
同步整理循环
gpt-6.1-sol · 10 轮
第 8 轮开发集 +5.67 ± 1.84 个百分点。第 9 轮候选被拒,其改动仍可审查。撤回与修订
早期知识库循环
gpt-6-luna · 12 轮
第 8 轮 +7.50 ± 4.37,第 12 轮回落至 +0.83 ± 4.12 个百分点。40 题,每题重复 3 次。合并与删除
早期同题对照
Qwen3.8-Max · 4 轮完成
第 4 轮 −6.25 ± 6.44 个百分点。与早期循环使用同一 40 题,每题仅 1 次。对照记录
展开其余实验与诊断