分类首批:6 道通过确认的排序题

18 个题簇、54 个数据实例全部完成测试;6 道主问题通过独立确认,覆盖池化与坐标、卷积步幅、学习率三类。

从受控图像构造可复现的分类任务

数据 seed 生成独立实例,训练 seed 只重复同一候选;两者分别计数。
数据 seed 生成独立实例,训练 seed 只重复同一候选;两者分别计数。

图像为 24×24、两通道、四分类。五种数据设置覆盖相对位置、形状、两档纹理频率,以及只有 64 个训练样本的形状任务。18 个题簇在三个数据 seed 上形成 54 个实例,去重后有 207 个候选配置;算子、block、连接和训练超参数均包含完整局部对照。卷积网络、分块注意力网络和多层感知机之间的比较保留各自原生配方,不解释为单个算子的纯效应。

排序使用独立测试集上的交叉熵,越低越好。分类正确率、训练交叉熵、分布外样本和数据捷径探针用于解释差异,不能事后替换排序指标。

207 个候选、16 个确认训练 seed,共 3312 次训练全部核验通过。五个预先指定的 seed 200 checkpoint 已独立复算;混淆矩阵展示这五次固定训练。另图保留全部 16 个 seed:常规形状配置的测试交叉熵(CE)为 0.4502 ± 0.4977,明显比单张混淆矩阵呈现的表现更不稳定。分布外测试(OOD)用于检查泛化,不参与排序。

图像分类质量核验
实际 held-out 测试图,每类取冻结顺序中的第一张。红色表示通道 0,青色表示通道 1;仅为显示,每张图按其最大像素值归一化。位置标签描述红色对象相对青色对象的方向;纹理标签描述波矢方向,条纹与波矢垂直。
图像分类质量核验
预先固定的配置与训练 seed,未按 test 成绩选择。数字为测试样本数,颜色按真实类别逐行归一化;交叉熵越低越好。
图像分类质量核验
每个语境使用预先指定的同一候选、同一数据实例,显示全部 16 个确认训练 seed。每点代表一次训练,空心方框标记混淆矩阵所用的 seed 200;交叉熵使用对数坐标。单 checkpoint 的好坏不能代替完整 seed 分布。

未通过确认的题目也保留在覆盖图中

发现阶段只用验证集固定顺序。确认阶段使用独立的 16 个训练 seed,对两条相邻比较做单侧配对符号检验。Holm 校正覆盖本批全部 108 条冻结假设,校正 p ≤ 0.05,且平均差值至少 0.005。分类首批、分类补充批和生成批分别定义检验族;未声称跨批联合错误率仍为 5%。它检验训练 seed 上差异方向的稳定性,不是期望均值差的显著性检验。

橙色为通过,灰色为未通过。每行是一个可复用出题簇,每列是一份独立数据实例。
橙色为通过,灰色为未通过。每行是一个可复用出题簇,每列是一份独立数据实例。
全部相邻差值与拒绝原因
实例平均差值校正 p通过
卷积核 × 深度 · 8419010.0208460.0016479是
卷积核 × 深度 · 8419010.0065171否
卷积核 × 深度 · 8419020.0124080.70193否
卷积核 × 深度 · 8419020.00364561否
卷积核 × 深度 · 8419030.0331250.0016479是
卷积核 × 深度 · 8419030.00516030.70193否
池化 × 坐标 · 8419010.308030.0016479是
池化 × 坐标 · 8419011.05370.0016479是
池化 × 坐标 · 8419020.307650.0016479是
池化 × 坐标 · 8419021.04030.0016479是
池化 × 坐标 · 8419030.260440.0016479是
池化 × 坐标 · 8419031.07490.0016479是
patch × 位置编码 · 8419010.01231否
patch × 位置编码 · 8419010.736880.0016479是
patch × 位置编码 · 8419020.0321581否
patch × 位置编码 · 8419020.72370.0016479是
patch × 位置编码 · 8419030.0405851否
patch × 位置编码 · 8419030.683620.0016479是
算子与相对位置 · 8419010.00620751否
算子与相对位置 · 8419010.119430.0016479是
算子与相对位置 · 8419020.00110271否
算子与相对位置 · 8419020.122560.0016479是
算子与相对位置 · 841903-0.0242651否
算子与相对位置 · 8419030.0919570.0016479是
算子与局部形状 · 8419010.634540.15469否
算子与局部形状 · 8419012.77520.0016479是
算子与局部形状 · 8419020.639540.70193否
算子与局部形状 · 8419023.38730.0016479是
算子与局部形状 · 8419030.307391否
算子与局部形状 · 8419033.44850.0016479是
卷积核 × 步幅 · 8419011.23540.0016479是
卷积核 × 步幅 · 8419010.151790.021011是
卷积核 × 步幅 · 8419020.999340.70193否
卷积核 × 步幅 · 8419020.387780.70193否
卷积核 × 步幅 · 8419031.15890.0016479是
卷积核 × 步幅 · 8419030.228550.70193否
高频纹理与 patch · 841901-0.00497951否
高频纹理与 patch · 841901-0.00113941否
高频纹理与 patch · 841902-0.000497261否
高频纹理与 patch · 8419020.00798321否
高频纹理与 patch · 841903-0.00349231否
高频纹理与 patch · 8419030.00395051否
逐通道卷积 × 宽度 · 8419010.0908670.0016479是
逐通道卷积 × 宽度 · 8419010.472451否
逐通道卷积 × 宽度 · 8419020.0908250.021011是
逐通道卷积 × 宽度 · 8419020.267570.70193否
逐通道卷积 × 宽度 · 8419030.0759680.70193否
逐通道卷积 × 宽度 · 8419030.538390.15469否
残差 × 深度 · 841901-0.00506561否
残差 × 深度 · 8419010.673540.15469否
残差 × 深度 · 841902-0.0495481否
残差 × 深度 · 8419020.608691否
残差 × 深度 · 841903-0.0114541否
残差 × 深度 · 8419030.616390.15469否
归一化 × 残差 · 8419010.122351否
归一化 × 残差 · 8419010.803390.0016479是
归一化 × 残差 · 841902-0.0768911否
归一化 × 残差 · 8419021.00370.021011是
归一化 × 残差 · 841903-0.305731否
归一化 × 残差 · 8419030.903140.021011是
前馈宽度 × 激活 · 8419010.058431否
前馈宽度 × 激活 · 8419010.369730.15469否
前馈宽度 × 激活 · 8419020.177091否
前馈宽度 × 激活 · 8419020.0758180.70193否
前馈宽度 × 激活 · 8419030.290680.15469否
前馈宽度 × 激活 · 8419030.275011否
注意力头 × 前馈宽度 · 8419010.030430.70193否
注意力头 × 前馈宽度 · 8419010.0547061否
注意力头 × 前馈宽度 · 8419020.0509470.15469否
注意力头 × 前馈宽度 · 8419020.118091否
注意力头 × 前馈宽度 · 841903-0.02571否
注意力头 × 前馈宽度 · 8419030.143860.70193否
学习率 · 8419010.32850.021011是
学习率 · 8419010.779030.0016479是
学习率 · 8419020.328130.021011是
学习率 · 8419020.941620.0016479是
学习率 · 841903-0.231261否
学习率 · 8419031.11060.0016479是
小数据与权重衰减 · 8419011.55991否
小数据与权重衰减 · 841901-0.67961否
小数据与权重衰减 · 8419024.21971否
小数据与权重衰减 · 8419020.690971否
小数据与权重衰减 · 8419032.98340.70193否
小数据与权重衰减 · 841903-0.428631否
等样本预算的 batch · 8419010.032020.70193否
等样本预算的 batch · 841901-0.0428071否
等样本预算的 batch · 841902-0.00639191否
等样本预算的 batch · 8419020.0716120.021011是
等样本预算的 batch · 8419030.00656681否
等样本预算的 batch · 8419030.0209710.70193否
小数据与训练时长 · 8419010.0767461否
小数据与训练时长 · 8419013.6951否
小数据与训练时长 · 8419020.0321571否
小数据与训练时长 · 8419024.12271否
小数据与训练时长 · 8419030.281351否
小数据与训练时长 · 8419034.31780.15469否
卷积核 × 训练预算 · 8419010.00231481否
卷积核 × 训练预算 · 8419010.106660.0016479是
卷积核 × 训练预算 · 841902-0.0088141否
卷积核 × 训练预算 · 8419020.133060.0016479是
卷积核 × 训练预算 · 841903-0.0133941否
卷积核 × 训练预算 · 8419030.148130.0016479是
激活与高频纹理 · 8419010.0867341否
激活与高频纹理 · 841901-0.0683221否
激活与高频纹理 · 841902-0.0445451否
激活与高频纹理 · 8419020.131241否
激活与高频纹理 · 8419030.0866511否
激活与高频纹理 · 841903-0.00592941否

完整排序和换字母后的稳定性分开计算

所有通过确认的题都进入四模型评测。重复数据实例和字母置换不是独立新题,下面不报告独立二项置信区间。API 缺失单列;单轮内已返回的错误或格式失败不会重抽。

首次评测遇到接口过载与不完整错误流,原记录独立保留。修复传输后,对同一题表的全部四模型、主问题和置换题进行一次预先声明的完整复评。下图与逐题审核显示复评;首次成绩列在下表,两轮不择优合并。

首次评测:完整排序正确 / 已获得回答 / 预定题数
模型主问题公开记录
Opus 5.50 / 6 / 6首次回答
6.1-Sol1 / 4 / 6首次回答
Haiku 5.53 / 6 / 6首次回答
6-luna1 / 4 / 6首次回答

首次公开解释审核 · 完整复评协议

主问题一次作答。分子为完整排序正确数,分母为已核验回答数;随机完整排序概率为 16.7%。
主问题一次作答。分子为完整排序正确数,分母为已核验回答数;随机完整排序概率为 16.7%。

本批一直输出最常见字母顺序可得 33.3%。这是准入后标签分布的事后描述,不能与事先固定的随机基线混同。

模型主问题完成已有回答模板宏平均可解析回答的两两一致度换字母:一致 / 有效配对
Opus 5.56/60.0%(3/3 簇)66.7%(6 题)6/6
6.1-Sol6/633.3%(3/3 簇)83.3%(6 题)4/5
Haiku 5.56/633.3%(3/3 簇)66.7%(6 题)4/6
6-luna5/633.3%(3/3 簇)53.3%(5 题)2/4

完整复评中,Opus 为 0/6,6.1-Sol 和 Haiku 均为 3/6,6-luna 为 2/5,另缺 1 道主问题的接口回答。池化与坐标比较需要分清可表达什么、在 300 步内实际学到什么;学习率比较也不能直接套用默认值更稳的经验。只有三个题簇,且同簇数据实例相关,这些结果不足以确定通用模型能力排名。

预先固定的表面规则
{
  "more_parameters": {
    "admitted": 6,
    "ordered": 4,
    "tie": 2,
    "not_applicable": 0,
    "correct": 3,
    "comparable_pairs": 12,
    "correct_pairs": 11,
    "accuracy_when_ordered": 0.75,
    "accuracy_on_comparable_pairs": 0.9166666666666666
  },
  "more_training_steps": {
    "admitted": 6,
    "ordered": 0,
    "tie": 6,
    "not_applicable": 0,
    "correct": 0,
    "comparable_pairs": 0,
    "correct_pairs": 0,
    "accuracy_when_ordered": null,
    "accuracy_on_comparable_pairs": null
  },
  "deeper_model": {
    "admitted": 6,
    "ordered": 0,
    "tie": 6,
    "not_applicable": 0,
    "correct": 0,
    "comparable_pairs": 0,
    "correct_pairs": 0,
    "accuracy_when_ordered": null,
    "accuracy_on_comparable_pairs": null
  },
  "larger_kernel": {
    "admitted": 6,
    "ordered": 0,
    "tie": 6,
    "not_applicable": 0,
    "correct": 0,
    "comparable_pairs": 2,
    "correct_pairs": 1,
    "accuracy_when_ordered": null,
    "accuracy_on_comparable_pairs": 0.5
  },
  "residual": {
    "admitted": 6,
    "ordered": 0,
    "tie": 6,
    "not_applicable": 0,
    "correct": 0,
    "comparable_pairs": 0,
    "correct_pairs": 0,
    "accuracy_when_ordered": null,
    "accuracy_on_comparable_pairs": null
  },
  "smaller_patches": {
    "admitted": 6,
    "ordered": 0,
    "tie": 0,
    "not_applicable": 6,
    "correct": 0,
    "comparable_pairs": 0,
    "correct_pairs": 0,
    "accuracy_when_ordered": null,
    "accuracy_on_comparable_pairs": null
  }
}

正确排序和可靠解释需要分别核验

审核分别检查代码事实、关键因素、因果表述、相邻比较覆盖和答案一致性。可用坐标不保证已学出精确质心;正确排序也可能伴随感受野、参数量或初始权重的事实错误。解释中的机制主张必须与完整局部对照相符。

模型代码事实支持关键因素支持因果表述不成立
Opus 5.51/60/61/6
6.1-Sol6/63/60/6
Haiku 5.51/60/60/6
6-luna5/52/50/5

解释评分由本次研究 agent 按冻结标准逐条核查,是可复核的定性判断,不是多位专家独立评审的一致意见。这里只统计主问题的公开回答;部分支持、无法判断另存审核记录。关键因素得到局部对照支持,不代表证明了唯一内部机制。下方可逐题检查原话、证据和判断。

16 个确认训练 seed 的平均验证曲线。最终答案按独立测试指标判定。
三项完整配置和测试分布
实际发送的完整题面
完整局部对照:改变什么,测试指标如何变化

这些对照用于描述和核验解释,不是新增的显著性筛选。多字段变化不能归因为其中一个字段;单字段干预也不证明唯一内部机制。测试指标越低越好。

公开解释审核
出题时预先定义的解释目标

共享完整代码保留可还原性

每个 choice 的 diff 都独立相对同一 base,训练、优化器和所有配置改动都显式呈现。自动重建最终完整代码,差异过大时显示完整文件。

本批主问题相对逐选项完整代码,UTF-8 总字节减少 49.3%。逐题范围 48.4%–50.6%。这是字节压缩率,不是 token 压缩率。

结论适用范围