三系统 MLS-Bench 对比报告

interactive（官方）· codex · dsh（deepseek-harness）—— 分数 vs 花费时长的系统性对比

作者: Shaoyang Guo 2026-08-15 ~ 08-16 ophis-gpu（8×H200）+ 360-1（8×H200） OPHIS 项目 · MLS-Bench autoresearch

方法：三套 autoresearch 系统在相同的 MLS-Bench 任务上各自独立开发方法，记录最终 submit 分数与花费时长。22:00 后有并行 agent 继续跑 dsh_b5 批次（seed 42/43 验证 + 新任务），结果已并入。

总结论与核心发现
关键指标一览
指标字典：每个任务的指标是什么意思
各任务分数对比
反例：dsh 的失败
GPU / 时长分析
关键经验
参考

01 总结论与核心发现

三系统定位

维度	interactive（官方）	codex	dsh（deepseek-harness）
任务覆盖	全部	全部	全部
深研能力	浅（20 steps 预算内）	最深（可无限探索）	深（2h 预算内自主迭代）
限流韧性	强（内置重试）	弱（断连即死，需手动接管）	强（内置 rate-limit 重试）
自动结算	无（需手动）	无（需手动）	有（dsh_budgeted.sh 自动评测+记录）
成功率	中	低（限流断连）	高

核心发现：dsh 的闭环机制（2h 预算 + 自动最终评测）让它成为最高效的批量生产系统； codex 探索最深但没有预算/自动结算，限流断连需要外部手动接管，且可能产出计算开销过大的实现。

每个系统一句话

dsh —— 批量生产主力

2h 预算 + 自动最终评测 + 自动记录，零人工干预
14 任务 12 成功（2 评测失败），成功率最高
在 causal 任务上产出 PERFECT 结果（SHD=0）
内置 rate-limit 重试，限流下韧性最强

codex —— 单点最强但不可靠

可无限探索/调试，产出最深的方法（本地 F1 0.925 nonlinear）
无预算控制、无自动结算，限流断连即死需手动接管写回
可能产出计算开销过大的实现（GBR-peel 评测 1h48m 未完成一个 case）
4 任务 2 次需手动接管

02 关键指标一览

PERFECT ×2

dsh 在 linear-gaussian 双机达到 SHD=0 全四项

F1=1.0 ×2

dsh 在 linear-non-gaussian 双算法复现完美

14 / 12

dsh 完成任务数 / 成功数（2 评测失败）

2.9–3.3×

dsh SCC 子群校准最坏 ECE 优于 baseline

~1.6h

dsh 每任务均值时长（14 任务 ~22h）

~3h

codex 每任务均值时长（4 任务 ~12h）

03 指标字典：每个任务的指标是什么意思

怎么读这张表：MLS-Bench 每个任务有若干 评测场景（Label），每个场景测一组指标。分数表里的缩写（如 SHD、F1、ECE）都是领域专业术语，下面按任务逐一解释它们的含义与"越大越好 / 越小越好"。

通用指标（多个因果任务共用）

缩写	全称	含义	方向
`SHD`	Structural Hamming Distance	你恢复的因果图与真实图之间不一致的边数（漏掉 + 多出 + 方向错的边都算）。0 = 完美还原。	↓ 越小越好
`F1`	F1 score	边预测的精确率与召回率的调和平均。要求骨架和方向都正确才算对。1.0 = 完美。	↑ 越大越好
`Precision / Recall`	精确率 / 召回率	精确率 = 你预测的边里多少是真的；召回率 = 真实存在的边里你找回了多少。	↑ 越大越好
`Adj Precision / Recall`	邻接（骨架）精确率/召回率	只看有没有边（不管方向）的精确率/召回率。	↑ 越大越好
`Arrow Precision / Recall`	箭头（方向）精确率/召回率	只看边方向是否正确的精确率/召回率。	↑ 越大越好

3.0 各任务评测场景 = 什么数据

任务	评测场景（Label）	每个场景测什么
causal-observational-linear-gaussian 线性高斯因果发现	`ER10 / ER20`	Erdos-Renyi 随机图，10/20 个节点。ER20 更稠密、更难。
	`SF50 / SF50-Hard`	Scale-Free（无标度）图，50 节点。Hard 版更稠密（m=3）且样本更少。
	`ER20-Noisy`	ER20 + 更高噪声（噪声方差 2.5），样本更少（400），隐藏场景（agent 看不到分数）。
	指标：SHD、Adj Precision/Recall、Arrow Precision/Recall（见上表）。
	看点线性高斯下观测数据只能识别到 CPDAG（等价类）， SHD=0 意味着完全还原了真实等价类——dsh_b5 在全部 4 个场景都做到。
causal-observational-linear-non-gaussian 线性非高斯因果发现（LiNGAM）	`ER30 / ER50`	Erdos-Renyi 图，30/50 节点。
	`SF100`	Scale-Free 图，100 节点（最大），隐藏场景。
	指标：F1（主）、SHD、Precision、Recall。
	看点非高斯噪声让因果方向完全可识别（超越等价类）。 dsh 的 SAIL-LiNGAM 和 NG-SCREEN 都做到 F1=1.0 / SHD=0（完美）。
causal-observational-nonlinear 非线性因果发现（加性噪声模型）	`SF20-GP`	Scale-Free 图 20 节点，高斯过程非线性，指数噪声。
	`ER20-Gauss`	ER 图 20 节点，混合非线性，高斯噪声。
	`ER12-LowSample`	ER 图 12 节点，只有 150 个样本（极少），隐藏场景。
	看点这是 5 个因果任务里最难的一个（非线性 + 多样性）。最好的 dsh_b4 达到 F1≈0.94（SF20-GP）；低样本场景 F1≈0.86。
causal-discovery-discrete 离散因果发现（贝叶斯网络）	`Cancer / Child / Alarm`	经典小规模贝叶斯网络（5/20/37 个变量），结构已知的真实网络。
	`Hailfinder / Win95pts`	大规模真实网络（56/76 变量），Win95pts 是隐藏场景。
	指标：SHD（越小越好）。
	看点恢复真实离散贝叶斯网络的结构。dsh 在小网络上 SHD≤5，但大网络（Hailfinder/Win95pts）还有很大差距（SHD 28-76）。
ml-anomaly-detection 无监督异常检测	`cardio / thyroid / satellite / shuttle`	4 个真实异常检测数据集（心脏病/甲状腺/卫星/航天飞机传感器）。
	指标：AUROC（异常判定曲线下面积）、F1（异常点检出 F1）。都是越高越好。
	dsh 结果 gmean≈0.93，超越 baseline Isolation Forest 的 0.782。
ml-calibration 概率校准	`rf-mnist / mlp-fmnist / gbm-madelon / svm-breast`	4 个"模型+数据集"组合：随机森林 MNIST、MLP Fashion-MNIST、GBM Madelon、SVM 乳腺癌。
	指标：ECE（期望校准误差，越小越好）、Brier score（越小越好）、NLL（负对数似然，越小越好）。
	dsh 结果最佳 ECE 0.0065（rf-mnist），全面优于早期版本。
ml-clustering-algorithm 聚类算法	`blobs / moons / digits`	3 个聚类数据集：高斯团、两月牙（非线性可分）、手写数字。
	指标：ARI（调整兰德指数，越高越好）、NMI（归一化互信息，越高越好）、Silhouette（轮廓系数，越高越好）。
	dsh 结果 DASCC 在 moons 上 ARI=1.0（完美），远超 k-means 的 0.48。
ml-dimensionality-reduction 降维	`mnist / fashion-mnist / newsgroups`	3 个数据集降到低维嵌入。
	指标：kNN 准确率（降维后 kNN 分类，越高越好）、Trustworthiness（可信度）、Continuity（连续性）。
	看点 mnist knn_acc 0.859 是评测修复后补录的。
ml-subgroup-calibration-shift 子群校准（分布偏移）	`adult / compas / law_school`	3 个真实数据集，关注最差子群（如按种族/性别分组的少数群）的校准。
	指标：worst_group_ece（最差子群 ECE，越小越好）、Brier、subgroup_auroc、max_subgroup_gap（子群间最大差距，越小越好）。
	dsh 结果 SCC 算法最差子群 ECE 比 baseline 好 2.9-3.3×。
ml-selective-deferral 选择性延迟（置信度拒绝）	`adult / compas / law_school`	模型可以选择"不预测"（延迟），目标是延迟后保留样本的错误率要低。
	指标：selective_risk_at80（覆盖 80% 样本时的错误率，越小越好）、coverage_at80（越接近 0.8 越好）、worst_group_selective_risk（最差子群错误率）、deferral_rate_gap（延迟率差距）、AUROC。
	看点 adult risk@80 0.074，完整分数已记录。

补充任务指标

任务	指标	含义	方向
ml-ensemble-boosting 集成提升	`test_accuracy`（breast_cancer）、`test_rmse`（diabetes / california_housing）	集成模型在 3 个数据集上的测试准确率（分类）或 RMSE（回归）。	accuracy ↑ / RMSE ↓
ml-missing-data-imputation 缺失值填补	`rmse`、`downstream_score`（breast_cancer / wine / california）	填补后重建误差 RMSE（越小越好）+ 下游任务分数（越高越好）。	rmse ↓ / downstream ↑
ml-symbolic-regression 符号回归	`test_r2`（nguyen7 / nguyen10 / koza3）	在经典符号回归基准（Nguyen/Koza 函数族）上的 R²（越大越好，1.0=完美）。	↑ 越大越好
ai4sci-mol-property-prediction 分子性质预测	`rocauc`（BBBP / BACE / Tox21）	3 个分子性质分类任务的 ROC-AUC（越高越好）。	↑ 越大越好
causal-treatment-effect 因果效应估计	（效应估计误差相关指标）	估计治疗效应（treatment effect）与真实效应的误差，越小越好。	↓ 越小越好

为什么有些场景是 hidden（隐藏）：MLS-Bench 会运行 hidden 评测场景但不把分数反馈给 agent（如 ER20-Noisy、SF100、ER12-LowSample、Win95pts）。这防止 agent 在可见场景上过拟合，衡量方法的真实泛化能力。所以分数表里 hidden 场景的数字尤其能说明问题。

04 各任务分数对比

3.1 causal-observational-linear-non-gaussian（LiNGAM）

系统	机器	时长	ER30	ER50	SF100	备注
dsh_b1	360-1	54 min	SHD=0 F1=1.0	SHD=0 F1=1.0	SHD=0 F1=1.0	SAIL-LiNGAM 完美
dsh_b5	360-1	58 min	SHD=0 F1=1.0	SHD=0 F1=1.0	SHD=0 F1=1.0	NG-SCREEN 独立复现完美
codex_b1	ophis	~2h	SHD=4 F1=0.98	SHD=4 F1=0.99	SHD=38 F1=0.94	中间态（断连前）
codex_ophis_1642	ophis	~2h	SHD=3.6 F1=0.984	SHD=0 F1=1.0	SHD=0.6 F1=0.999	断连结算版单点最佳
interactive	360	-	SHD≈2 F1≈0.99	SHD≈3	SHD≈6	历史记录

3.2 causal-observational-linear-gaussian

系统	机器	时长	ER10	ER20	SF50	SF50-Hard	备注
dsh_b5	360-1	1.6h	SHD=0	SHD=0	SHD=0	SHD=0	PERFECT（ER20-Noisy SHD=1）
dsh_b5	ophis	1h	SHD=0	SHD=0	SHD=0	SHD=0	PERFECT（ER20-Noisy SHD=7）
dsh_b4	360-1	1.5h	SHD=0	SHD=0	SHD=4	SHD=6
codex_360	360-1	~2h	SHD=0	SHD=0	SHD=11	SHD=7
dsh_144424（BROS）	ophis	2h	SHD=0	SHD=6	SHD=18	SHD=18
interactive	360	-	SHD=14	SHD=41	SHD=96	-	全 0 分

3.3 causal-observational-nonlinear

系统	机器	时长	SF20-GP	ER20-Gauss	ER12-Low	备注
dsh_b4	360-1	2h	SHD=3 F1=0.943	SHD=6 F1=0.937	SHD=5 F1=0.857	最佳
dsh_b5	360-1	35 min	SHD=4 F1=0.944	SHD=22 F1=0.800	SHD=8 F1=0.778	geommean 0.838 vs CAM 0.694
codex_b2	ophis	4h+	F1≈0.925（本地）	-	-	官方评测超慢已终止
dsh_b2	ophis	2h	F1=0.52	F1=0.16	F1=0.19
dsh_b5（s43）	ophis	2h	F1=0.0	F1=0.0	F1=0.0	seed 43 算法失效
interactive	360	-	F1=0.71	F1=0.25	-

3.4 causal-discovery-discrete

系统	机器	时长	Cancer	Child	Alarm	Hailfinder	Win95pts
dsh_b2	360-1	2h	SHD=4	SHD=5	SHD=2	SHD=41	SHD=28
dsh_b5（s43）	ophis	2h	SHD=4	SHD=5	SHD=17	SHD=76	SHD=39
interactive	360	4h+	SHD=3	SHD=11	SHD=11	-	-

3.5 sklearn 家族（dsh_b3 + dsh_b5）

任务	机器	时长	分数	baseline	结果
ml-anomaly（b3）	ophis	1.3h	gmean≈0.93	IF 0.782	超越
ml-calibration（b3）	ophis	1.7h	madelon ECE 0.0263	0.0305	超越（BRSC）
ml-calibration（b5, s43）	ophis	55 min	ECE 0.0065 / 0.0091 / 0.0335 / 0.0630	-	全面优于 b3
ml-clustering（b3）	ophis	1.9h	moons ARI=1.0	0.48	大幅超越（DASCC）
ml-subgroup-cal（b5）	ophis	47 min	worst_ece 0.104 / 0.144 / 0.109	0.348 / 0.466 / 0.310	2.9–3.3× 超越（SCC）
ml-selective-deferral（b5）	ophis	2h	adult risk@80 0.074	-	完整分数
ml-dim-reduction（b3）	ophis	2h	mnist knn_acc 0.859	-	评测修复后补录

3.6 亮点：子群校准最坏 ECE（越低越好）

dsh（SCC）vs baseline —— 三个数据集的最坏组 ECE，dsh 全部优于 baseline 2.9–3.3×：

adult · baseline 0.348

0.348

adult · dsh SCC 0.104

0.104

3.3× 更好

compas · baseline 0.466

0.466

compas · dsh SCC 0.144

0.144

3.2× 更好

law · baseline 0.310

0.310

law · dsh SCC 0.109

0.109

2.8× 更好

05 反例：dsh 的失败

诚实记录：dsh 并非全胜，下面这些失败/反例是同样重要的经验。

任务	现象
nonlinear（s43, ophis）	SHD 36 / 58 / 19，F1 全 0 —— 算法对特定 seed 失效（训练/验证分布敏感）
treatment-effect（ophis）	官方评测 1 数据集 69 分钟（10 reps），2h 预算内无法完成；实现写回但无官方分
dim-reduction（b3 首测）	评测需下载 MNIST 返回 403 失败，重跑才补录

06 GPU / 时长分析

重要限制：两机 8 张卡被多系统共享，nvidia-smi 监控无法精确归因到单个系统（三系统 monitor 记录的活跃 GPU 时长几乎相同 ≈19.7 GPU-hours，都是整机 GPU 占用）。这些任务大部分是 CPU-bound 的（causal / ML 任务几乎不占 GPU），所以 wall time 是更可靠的对比指标。

系统	总 wall 时长	完成任务	每个任务均值
dsh（14 任务）	~22h	12（2 评测失败）	~1.6h
codex（4 任务）	~12h	4（2 需手动接管）	~3h
interactive（历史）	-	-	预算内

每任务均值 wall 时长（越低越好）

dsh（14 任务）~1.6h

1.6h

批量生产最优

codex（4 任务）~3h

3.0h

探索更深但更慢

07 关键经验

dsh 需要 DSH_PERMISSION_MODE=danger-full-access 才能执行 shell（否则 sandbox 拒绝所有 shell 命令）。
codex 无预算控制：会无限探索/调试，限流断连即死，需要外部手动接管写回。
codex / dsh 都是"深研型"：先在 /tmp 本地开发（dev_harness、variants、multiseed），最后写回 workspace 的 custom_algorithm.py / custom_cate.py。
codex 可能产出计算开销过大的实现（GBR-peel 评测 1h48m 未完成一个 case），不适合评测。
sklearn 类任务的 dsh_budgeted 默认 PY（mlsbench env）缺 sklearn，需用 mlsbench-scikit-learn env 重跑最终评测。
API 限流显著：8–9 并发 agent 时 codex 频繁断连；dsh 内置重试韧性更好。

08 参考

MLS-Bench 官方：github.com/mlbench/ml-science-bench
本报告原始 markdown：OPHIS_baiyu docs/three_system_compare_20260815.md
相关调研：Bench 调研报告（survey_task.html）
dsh 极简+pro 重跑 · 评测结果与运行日志：three_system_rerun_results.html（本报告的配套结果文档）