答案先变稳，解释还在漂：七个检查点的思维链全文存档
强化学习让这个 0.8B 模型的答案先变准、变稳（选择题正确率 36.9% 升到 49.2%，同题两次采样都答对的题从 31 道升到 55 道），但答案前的推理文字（思维链）没有同步变可靠，同一个正确答案可以配上互相矛盾的解释。4,300 条思维链原文全部收在页内，可按阶段和题目浏览。
- 模型 Qwen3.5-0.8B
- 算法 GSPO（按整条回答概率比更新的强化学习）
- 训练 6,153 道预测训练结果的题
- 评测 290 道未参训预留题 × 2 次采样
- 长度上限 16k token
- 2026-10-13
排序题按规定格式答完的比例，从 46.6% 升到 100%
评测有两类题。选择题从 3 到 5 个候选训练配置里选出一个；排序题给 5 个候选按预留损失从低到高排序。每题描述一个数据集和若干候选配置（模型、优化器、损失、训练预算），要求模型不跑训练、只靠推理预测哪个配置的测试成绩最好。排序答案必须写进 <answer> 标签，字母是候选编号，用 < 连接表示从左到右损失递增，例如 <answer>B<C<D<E<A</answer>。
强化学习的起点是 SFT（监督微调：先用示范答案训练过的模型）。它的选择题几乎都能按格式作答（99.6%），但排序题只有 46.6% 能解析出答案，169 条回答没有写出有效答案。从训练第 175 步的检查点（记作 g175：g 指全局训练步数）开始，两类题的格式错误都归零。格式合规是强化学习最早、最确定的变化。
选择题正确率 36.9% 升到 49.2%，排序题全对率 2.8% 升到 9.7%
下图是同一权重谱系的六个历史检查点（SFT 与 g175 到 g1300）在 290 道预留题上的成绩。每条回答都由冻结评分器判分，排序题五个字母顺序完全一致才记全对。g350 指训练第 350 步保存的检查点，其余记法相同。
按题型家族看，XOR（异或：两个特征符号相反才属于正类）分类题改善最大，选择题正确率从 44% 升到 81%。bigram（相邻两个词的组合）语言模型题几乎没变，37% 对 39%。
逐阶段与逐家族数字
| 检查点 | 选择题答对 | 排序题全对 | 回答长度中位数（token） | 格式失败条数 |
|---|---|---|---|---|
| SFT（强化学习起点） | 36.9% | 2.8% | 1802 | 172 |
| g175 | 43.1% | 5.6% | 2080 | 2 |
| g350 | 44.6% | 6.9% | 2072 | 0 |
| g775 | 48.8% | 9.1% | 1975 | 0 |
| g1225 | 46.9% | 8.8% | 2031 | 1 |
| g1300 | 49.2% | 9.7% | 1992 | 0 |
| 题型家族（选择题） | 回答数 | SFT 答对 | g1300 答对 |
|---|---|---|---|
| 多元回归 | 56 | 39.3% | 55.4% |
| 合成表格分类 | 58 | 37.9% | 51.7% |
| XOR 交互分类 | 16 | 43.8% | 81.2% |
| 一元回归 | 44 | 27.3% | 38.6% |
| 螺旋分类 | 40 | 40.0% | 47.5% |
| bigram 语言模型 | 46 | 37.0% | 39.1% |
判断依据在重排：更深、归一化更多的候选被更常选中
45 道多层感知机（MLP：全连接神经网络）架构选择题里，按题面真实配置统计模型选中了哪个极端候选。选中"最深候选"的比例 32% → 63%，"最宽候选" 57% → 27%，"LayerNorm（层归一化，一种稳定训练的组件）最多候选" 45% → 74%。残差连接（把层的输入加到输出上，帮助梯度回传）的偏好基本不变，64% → 66%。并列最大都算命中，没有该属性差异的题从分母剔除。
思维链文字同步变化。一道 XOR 题 q_79d14d（题号：下文题目都用这种等宽标签）的 SFT 回答反复比较激活函数与宽度，两次都选了浅而宽的候选（错）。g1300 的两次回答都以特征交互和残差支持的深度为主线，两次都选对。在下方存档里搜索 q_79d14d 可以逐字对照六个阶段。
这批题里深度与归一化共变，题目标注的正确答案本身偏好这类配置。这是描述性的偏好统计，不是已验证的因果规律。
同一个正确答案，可以配上互相矛盾的解释
130 道选择题里，两次采样都答对的题从 31 道升到 55 道，但至少一次答对只从 65 道升到 73 道。多数增益是"本来就会、后来变稳"，不是新学会的知识。同题两次采样的答案一致率从 61% 升到 81%。
解释没有同步变可靠。在 g350 检查点，题目 q_b556bd（题号）的两条回答都正确选了 C，但对 C 的事实描述互斥。一条说 C 层数最少、更浅，另一条说 C 最深、最窄，前者还把宽 96 写成比 64 更小。答案正确和解释可靠是两回事，必须分开检查。
"**Depth**: Choice C has the fewest layers (2 hidden blocks), which can help with simpler optimization and faster convergence."
"**Choice C has the most depth (2 hidden layers)** with width 96."
q_b556bd 在 g350 的两条回答，均选 C 且正确。C 实际最浅。下方存档可查全文。
另一面，22 道选择题在六个检查点全部 12 次采样里始终选同一个错误答案。一道 bigram 排序题 q_df1cf7（题号）的回答从约 1,900 token 涨到最多 6,852 token 再回落，"reconsider"（重新考虑）出现得更频繁，排序却始终没有全对过。文字变长不等于变好。
续训后的新采样里，一对条件反转题整体调头
g1400（权重谱系第 1,400 步、继续训练后的独立新采样）换了训练池、优化器和采样批次，不能和前六个检查点当作"训练更久"直接对比。两道螺旋分类题只差螺旋圈数：一圈的 q_3afce5 金标（题目标注的正确选项）是 B，三圈的 q_e6673e 金标是 A。g1300 四次回答全对，g1400 四次全错，答案正好互换，文字强调的判据也随之互换。
| 题目 | 金标 | g1300 两次回答 | g1400 两次回答 |
|---|---|---|---|
q_3afce5（一圈螺旋） | B | B/B，全对 | A/A，全错 |
q_e6673e（三圈螺旋） | A | A/A，全对 | B/B，全错 |
两个阶段都能随圈数改变答案，条件响应还在，但响应方向没有钉在正确一侧。四条回答不足以断言"遗忘"，需要固定随机种子、系统改变圈数和预算的对照实验来区分。
g1400 在 290 道旧预留题上选择题 48.5%、排序题 8.8%，与 g1300 接近。它还覆盖 120 道来自另一题池的新排序题，全对率 20.0%，中位长度 2528 token。题池不同，这不是迁移能力的证据。
4,300 条思维链全文，逐字节保留
六个历史检查点各含 290 题 × 2 次采样，g1400 含 410 题 × 2 次采样（旧 290 题加 120 道新排序题）。展开任一题目即可阅读完整原文。绿色为答对，灰色为答错，虚线框为格式未解析或截断。