生成补充:3道算子配方题,Opus全部排对

卷积→单层级U-Net→全连接网络的顺序,在3个新数据实例上均通过独立确认。Opus答对3/3;其余三模型均答对0/3,主要错在把U-Net排在卷积前。这是同一题簇的三个实例,不能据此给模型能力作总体排名。

给定形状条件,学习随机亮度和纹理

数据 seed 生成独立实例,训练 seed 只重复同一候选;两者分别计数。
数据 seed 生成独立实例,训练 seed 只重复同一候选;两者分别计数。

1个题簇×3个新数据种子,共3组三选排序;去重后3个数据集、12个训练配置、4个模型配置。三选为卷积、单层级U-Net和全连接网络,另保留图块注意力诊断;全部使用绝对坐标、相同扩散目标、3000训练步与16反向采样步。完整保留四配置的六组两两对照。4个新训练种子只确定方向,再用16个新种子做配对符号检验;6个相邻假设组成独立Holm检验族,仍要求评分均差至少0.003。题面共享基准代码,各改动独立还原。

排序使用真实采样的 energy score(能量评分):比较生成图像与独立参考图像的距离,并扣除生成样本之间的距离项。越低越好。四个生成样本和四个参考样本提供有限蒙特卡洛估计。条件形状成功率和多样性另列,不能互相替代。预测目标包括干净图像 x₀、噪声 ε,以及二者的线性组合 v;它们的去噪损失不能直接跨目标比较。图中的 U-Net 是带跳跃连接的单层级下采样与上采样网络。采样使用 DDIM,评分依据 严格适当评分规则。

固定新数据种子852001、训练种子240,展示条件0—7的首张图,以及条件0、1的全部4次生成。图片来自同一组预指定模型文件,未挑选外观;统计使用16次训练。评分同时考虑与独立参考图的距离和条件内变化,越低越好。前三个配置通过独立CPU重采样;注意力诊断的CPU像素差略超原阈值,原GPU独立复算与存档完全一致,保留跨设备限制。

图像生成质量核验
固定数据种子852001、训练种子240,展示条件0—7的首张生成图。卷积、单层级U-Net和全连接网络为三选配置;图块注意力网络是预留诊断。均训练3000步并使用绝对坐标;原生配置同时改变参数量、归一化和连接,不能只按算子名称归因。图为独立CPU重采样:前三者通过像素核验;注意力模型最大像素差0.001063略超0.001,原GPU重采样则与存档完全一致。保留该跨设备限制,未换图或放宽阈值。
图像生成质量核验
固定条件0、1各展示4次生成和4张独立参考。几何轮廓较准并不代表随机外观完整;多次生成几乎相同是需要检查的均值化迹象。这里仅展示一个训练种子,统计采用全部16次训练;每条件4次抽样也不能覆盖完整分布。

未通过确认的题目也保留在覆盖图中

发现阶段只用验证集固定顺序。确认阶段使用独立的 16 个训练 seed,对两条相邻比较做单侧配对符号检验。Holm 校正覆盖本批全部 6 条冻结假设,校正 p ≤ 0.05,且平均差值至少 0.003。分类首批、分类补充批和生成批分别定义检验族;未声称跨批联合错误率仍为 5%。它检验训练 seed 上差异方向的稳定性,不是期望均值差的显著性检验。

橙色为通过,灰色为未通过。每行是一个可复用出题簇,每列是一份独立数据实例。
橙色为通过,灰色为未通过。每行是一个可复用出题簇,每列是一份独立数据实例。
全部相邻差值与拒绝原因
实例平均差值校正 p通过
卷积 / U-Net / MLP 原生配方 · 8520010.0125729.1553e-05是
卷积 / U-Net / MLP 原生配方 · 8520010.0106329.1553e-05是
卷积 / U-Net / MLP 原生配方 · 8520020.0121919.1553e-05是
卷积 / U-Net / MLP 原生配方 · 8520020.010389.1553e-05是
卷积 / U-Net / MLP 原生配方 · 8520030.0118069.1553e-05是
卷积 / U-Net / MLP 原生配方 · 8520030.0128949.1553e-05是

完整排序和换字母后的稳定性分开计算

所有通过确认的题都进入四模型评测。重复数据实例和字母置换不是独立新题,下面不报告独立二项置信区间。API 缺失单列;单轮内已返回的错误或格式失败不会重抽。

主问题一次作答。分子为完整排序正确数,分母为已核验回答数;随机完整排序概率为 16.7%。
主问题一次作答。分子为完整排序正确数,分母为已核验回答数;随机完整排序概率为 16.7%。

本批一直输出最常见字母顺序可得 33.3%。这是准入后标签分布的事后描述,不能与事先固定的随机基线混同。

模型主问题完成已有回答模板宏平均可解析回答的两两一致度换字母:一致 / 有效配对
Opus 5.53/3100.0%(1/1 簇)100.0%(3 题)3/3
6.1-Sol3/30.0%(1/1 簇)66.7%(3 题)3/3
Haiku 5.53/30.0%(1/1 簇)66.7%(3 题)3/3
6-luna3/30.0%(1/1 簇)66.7%(3 题)2/2

四模型均完成3道主问题。Opus答对3/3;6.1-Sol、Haiku、6-luna均答对0/3。后三者识别了全连接网络的空间共享劣势,却普遍依赖“更大上下文加跳连更好”的先验,把U-Net排在卷积前。11条已完成的字母置换回答均保持原来的物理配置排序;Luna一条置换回答无输出,单列缺失。随机完整排序基线为1/6;三个实例仍来自同一簇,不当作三种独立机制。

预先固定的表面规则
{
  "more_parameters": {
    "admitted": 3,
    "ordered": 3,
    "tie": 0,
    "not_applicable": 0,
    "correct": 0,
    "comparable_pairs": 9,
    "correct_pairs": 0,
    "accuracy_when_ordered": 0.0,
    "accuracy_on_comparable_pairs": 0.0
  },
  "more_training_steps": {
    "admitted": 3,
    "ordered": 0,
    "tie": 3,
    "not_applicable": 0,
    "correct": 0,
    "comparable_pairs": 0,
    "correct_pairs": 0,
    "accuracy_when_ordered": null,
    "accuracy_on_comparable_pairs": null
  },
  "more_sampling_steps": {
    "admitted": 3,
    "ordered": 0,
    "tie": 3,
    "not_applicable": 0,
    "correct": 0,
    "comparable_pairs": 0,
    "correct_pairs": 0,
    "accuracy_when_ordered": null,
    "accuracy_on_comparable_pairs": null
  }
}

正确排序和可靠解释需要分别核验

23条公开解释已逐条审核。Opus抓住了实际代码差异:U-Net全部非线性卷积块在8×8上运算,恢复到16×16后只有线性卷积,输入跳连也只经过线性卷积;这个判断比按架构名称预测更具体。它仍有事实误读,包括若干次将全连接输入写为11或14通道,实际为17;首题还漏掉纹理潜变量。线性读出能组合非线性特征,不能据此断言精确边界无法表达;没有空间共享也不等于必须逐位置记忆。其余模型多次承认上下采样可能损失细节,但没有把这条实现特征放在主要位置。正确排序与可靠机制需要分别核验。

模型代码事实支持关键因素支持因果表述不成立
Opus 5.51/30/30/3
6.1-Sol3/30/30/3
Haiku 5.51/30/30/3
6-luna3/30/30/3

解释评分由本次研究 agent 按冻结标准逐条核查,是可复核的定性判断,不是多位专家独立评审的一致意见。这里只统计主问题的公开回答;部分支持、无法判断另存审核记录。关键因素得到局部对照支持,不代表证明了唯一内部机制。下方可逐题检查原话、证据和判断。

16 个确认训练 seed 的平均验证曲线。最终答案按独立测试指标判定。
三项完整配置和测试分布
实际发送的完整题面
完整局部对照:改变什么,测试指标如何变化

这些对照用于描述和核验解释,不是新增的显著性筛选。多字段变化不能归因为其中一个字段;单字段干预也不证明唯一内部机制。测试指标越低越好。

公开解释审核
出题时预先定义的解释目标

共享完整代码保留可还原性

每个 choice 的 diff 都独立相对同一 base,训练、优化器和所有配置改动都显式呈现。自动重建最终完整代码,差异过大时显示完整文件。

本批主问题相对逐选项完整代码,UTF-8 总字节减少 50.0%。逐题范围 50.0%–50.0%。这是字节压缩率,不是 token 压缩率。

结论适用范围