LLM Architecture Space

搜索setting

自由度示意:v1.0.0 与 v1.1.0
蓝 · 分型 / 枚举赭 · 数值 / 规模绿 · 开关棕 · 序列 / 引用 / 组合

{
}

把前面的讨论压缩成这些约定

层集合、参数共享、默认值:精简语法
层集合 ::= [整数, …] | "array(start,step)" | "array(start,step,count)"
        | ["array(start,step,count)", 整数, …]
例: ["array(4,4,6)",27] → [4,8,12,16,20,24,27]
省略 count:延伸到当前 iteration;层号从 1 开始,不能越界或重复。
当前只有 body[].layers 接受 array 字符串;execution / share 的数组仍写整数。

参数共享例:"share": {"attn_weights": [[1,3,5]], "mlp_weights": [[2,4,6]]}
默认分型:body 中不带 layers 的 A 与 M;带 layers 的项整体替换该槽位。
继承顺序:模块 norm > layer_loop.norm > 根 norm > pre_rms_norm。
head 默认:{"lm_head": {}} → RMSNorm → Linear,默认与 embedding 绑权重。

有限域(搜索元数据,不是模型语法):
  枚举:从有限候选中选一个;开关:true / false。
  数值:显式有限列表,或有上下界的量化格点 / 有限 anchor 倍率。
  数组:声明最大长度、合法元素与展开上界;组合后再检查引用与形状。
  分支:选择 type 后只披露该分支的参数,必要字段原子地一起修改。
已讨论的编辑约定(通用实现尚未统一)

层集合增加一个 array 描述、一个整数或不超过三个整数,拟计一次编辑;删除整个子树也拟计一次,因此插入与删除成本可能不对称。改变 dominant 默认分型只是同一语义的重编码,应不额外收费。添加节点应连同必需参数一起构成合法提议,不能训练缺字段的中间态。

渐进披露:先选编辑对象,再选动作,再在有限域中抽取取值。参数共享只允许形状与实现兼容的引用。MCMC 的正反提议概率必须包含这些选择阶段;编辑距离不能代替接受概率。当前 3456 域使用自己的有限坐标协议,没有实现所有通用树编辑。

当前实验和历史方案的边界

当前页面从仓库的 pg_champion_space_v2.py 直接构建:8 坐标、3456 组合,11 个物理层;优化器固定为 source_native_muon_and_adamw。早期 144 状态 POC 的 Adam/AdamW/Muon 选择属于历史域,不能叠加到当前组合数。

当前指标是最后 64 次完整更新的在线训练 CE;固定 SP1024、序列 256、batch 64、120 秒、seed 42。它不同于早期 prefix256+output256 的验证 CE,也不是独立验证质量或官方 BPB。

弱锁定、关联锁定目前是策略元数据;完整语言的渐进披露与全局最短路尚未统一实现。此页是源码快照,不查询 GPU 运行状态。