LLM Architecture Space

RSI实验记录

H100 对应 v1.0.0(15,552 个 setting,历史实跑,固定验证样本输出段 CE);H200 对应 v1.1.0(3,456 个 setting,当前实跑;其中 1,296 个为继承的旧主线结果)。后续建议版 v1.0.1 / v1.1.1 尚未启动训练。

H100 队列进度 v1.0.0H200 队列进度 v1.1.0
overnight_best

阶梯表示截至当时所有有效设置中的最低损失。H100 的小图放大原生 MCMC 阶段:最低值从 2.603518 降到 2.600254。其早期策略有3次历史重新播种,22:16切换后没有重置。

overnight_timeline

横条表示搜索阶段,不是GPU利用率。浅灰斜纹是保护暂停。主线尾部的浅灰段已经测完1296个组合,只复用缓存。Ophis GPU4–6恢复后实际用2卡,保留191个结果后新增4个,再次因外来占用停止。

overnight_queries

每组只计不同设置首次有效完成。缓存复访和失败不增加计数,H100继承的2265个结果保留原时间,不重复算作新训练。候选数量表示工作量,不能直接当成架构质量。

事件日志
日志北京时间实验组事件
10-24 16:49:16H100 · 16卡搜索开始
10-24 22:16:20H100 · 16卡切换原生 MCMC,继承2265个已测设置,不重置链
10-24 23:28:04H100 · 16卡首次达到最终最低 CE 2.60025371,query=2747
10-25 00:51:10H100 · 16卡按原截止排空完成
10-25 00:58:47H200 主线 · 8卡(v1.1.0 继承段)搜索开始
10-25 01:12:16H200 主线 · 8卡(v1.1.0 继承段)保护暂停
10-25 01:19:10Ophis · GPU7 单卡搜索开始
10-25 01:28:50H200 主线 · 8卡(v1.1.0 继承段)原 run 保留链状态恢复
10-25 01:45:19H200 主线 · 8卡(v1.1.0 继承段)保护暂停
10-25 01:54:55H200 主线 · 8卡(v1.1.0 继承段)原 run 保留链状态恢复
10-25 04:20:43H200 主线 · 8卡(v1.1.0 继承段)首次达到最终最低 CE 2.61624670,query=620
10-25 04:52:11Ophis · GPU4–6(恢复后2卡)搜索开始
10-25 05:52:22Ophis · GPU7 单卡首次达到最终最低 CE 2.62238216,query=121
10-25 06:41:37Ophis · GPU4–6(恢复后2卡)首次达到最终最低 CE 2.62545252,query=143
10-25 07:18:05Ophis · GPU4–6(恢复后2卡)保护暂停
10-25 07:28:26Ophis · GPU4–6(恢复后2卡)原 run 保留链状态恢复
10-25 07:34:35Ophis · GPU7 单卡外来占用后提前停止
10-25 07:35:16Ophis · GPU4–6(恢复后2卡)外来占用后提前停止
10-25 07:39:15H200 主线 · 8卡(v1.1.0 继承段)1296个组合全部测完,随后仅缓存转移
10-25 08:44:05H200 主线 · 8卡(v1.1.0 继承段)按原截止排空完成

H100为256输入+256输出,仅输出段计分。H200为256位置全部shifted next-token目标计分。H100固定验证样本也用于选择设置,不是独立最终泛化确认。各组只使用一个训练seed,不能据此宣称统计显著或跨硬件胜负。时间直接取各控制器日志,未校正主机时钟偏差。本图仅展示这四组搜索,不混入更早的官方PG协议及预实验。

逐点数据与来源 · 完整设置与终态报告 · PNG · 矢量PDF