json <-> Python

配置架构

Compact JSON

Python · init / forward

点击 JSON 字段，定位生成代码的对应段。

说明

全部21个图谱条目均有Q版：词表1024、主流宽度128，普通骨干4层，Kimi/V4为8层，局部共享Llama为6层。保留各机制所需层数；不保证等参数或等FLOPs。BERT使用明确标注的因果适配版。

前缀256、输出256；拼接后移位输入511个token，前255个目标设为ignore_index，监督全部256个输出；梯度经过前缀，不detach或截断递归。每候选独立初始化。30秒/seed为待校准起始预算，尚未选择硬件或物化数据。

这些是待训练的seed配置，未运行模型前向或学习质量检验。V4参考indexer只有离散top-k，未接辅助训练损失；KDA/Mamba依赖对应外部内核。下方距离矩阵仍是原图谱43层投影，尚未计算Q版种子之间的距离。

下载全部Q版种子与协议。仓库根目录可批量导出独立源码：

python3 docs/architecture/setting-language-v1/build.py --export-q-anchors outputs/q_anchors_v1

Compact JSON 在 v1.4 默认契约下完备；源模型未开放的配置仍遵循本语言约定。代码为完整序列、随机初始化的参考实现，不加载官方检查点；不含增量缓存、量化、分布式和YaRN。依赖PyTorch；KDA还需flash-linear-attention，Mamba还需mamba-ssm及其支持硬件。下载的Python包含所有页面自定义算子。生成代码没有经过模型运行测试。

搜索策略标签：弱锁定与关联锁定

这是架构之外的策略元数据，不进入Compact JSON、模型代码或节点N。默认模式保持锁定组不变；选中组后，外部字段固定，只在组内做预先约定的若干步条件更新。下方只提供标签解析与字段路径，不执行采样。

members是联动参数，weak_lock中的router/hash_layers等细节只以较低权重被选中。entry_weight=0.05、weak_weight=0.1、inner_steps=4是待调试的初始策略值，不是论文参数。解锁后每一步仍须满足合法性；更换分型所需参数应作为原子联合提议，不能执行缺字段的中间模型。

用于设计题时可以按适配需求进入关联组；用于MCMC时推荐固定随机扫描：与状态无关地选择组，再运行固定次数、各自保持条件目标分布的MH更新，然后退出。不要用“调到满意才退出”或无校正的贪心修复；状态相关的触发、退出、选择概率须纳入推导。即使可遍历，也不保证混合更快。

这些路径绑定当前JSON快照。改变父结构、dominant或模块类型后，必须重新绑定并校验标签；重叠组、自动适配、跨模式接受率及稳定语义ID尚未实现。暂不搭建完整锁定状态机。

语法与默认值

forward 是有序操作列表。layer_loop 控制深度，time_loop 控制时间递归，lm_head 也是其中一个操作。循环内部默认 A→M 交错；A 是序列处理模块，M 是前馈模块。纯 Mamba 可省略 M。

setting
├─ vocab_size = 1024
├─ d_model = 256
├─ act = silu
└─ forward []
   ├─ layer_loop
   │  ├─ iteration = 4
   │  ├─ body []
   │  │  ├─ type = attention  …
   │  │  └─ type = mlp        …
   │  ├─ residual {}  可选
   │  └─ share {}     可选
   └─ lm_head {}

默认 embedding 的尺寸由全局参数推导，不另设 wte 节点。body 第一项 A、第一项 M 分别是默认配置；带 layers 的后续项替换指定逻辑层的整个槽位。替换项类型参数必须完整，不跨类型继承；norm 统一按外层作用域继承。

层号从 1 开始，相对于当前循环。同槽位的替换层号不能重叠。列表先放全部 A 配置，再放全部 M 配置；它是模块选择表，不能直接照列表逐项执行。

查看固定默认契约（查看不会增加 setting 节点）

字段 / 机制	省略时的语义
share_weights	false：深度参数独立。true：命中同一个配置项的逻辑层共用该项参数；缓存仍按逻辑层实例隔离。
A/M 的 norm	默认 pre_rms_norm；优先级：模块 norm ＞ layer_loop.norm ＞根 norm ＞默认。统一规则只在外层写一次；模块仅写特例。time_loop 不自动继承 Transformer norm。
残差与 eps	标准残差；全局 norm eps=1e-5。mHC 内部稳定常数另用该机制的版本化默认值。
Attention	causal=true；普通 Attention 默认 RoPE，theta=10000；GQA KV头数默认等于 query头数；head_dim默认 d_model/n_heads。KDA/Mamba不自动套RoPE；本版V4压缩注意力固定theta=40000，纯滑窗为10000。
MLP / MoE	gated=false。MoE expert隐含为MLP；router默认linear+softmax，选中路由权重重新归一化，scale=1。共享专家在路由加权和之外直接相加。
top_k / n_experts	top_k=[激活总数,共享数]；n_experts包含共享专家。路由候选数=n_experts−共享数，激活路由数=激活总数−共享数。
lm_head	输出到vocab_size；tie_embedding=true；默认词表投影前 RMSNorm；norm=none 显式关闭。此默认独立于子层 norm；transform=false。transform=true时先同宽线性→全局act→所选norm→词表投影。
time_loop	初始状态为零、时间步共享参数、收集每一步更新后的state。递归body中的MLP不自动套Transformer残差。
residual: mhc	streams=4、sinkhorn_iters=20、eps=1e-6；入口扩展流，每个A/M子层独立混合，出口采用版本化mHC聚合。
residual: attnres	省略block_size为Full。显式block_size为Block，单位为A/M子层；8表示4个AM层。

默认省略是序列化规则，页面折叠只是展示行为。 写在 JSON 中的节点始终计数；只有从 compact setting 中真正省略、且能被唯一默认契约恢复的字段不计数。默认契约版本存于文档与catalog元数据，不作为架构搜索坐标。

等差层选择器

"layers": "array(4,2)"              // 第4层起每隔2层，直到循环末层
"layers": "array(4,2,20)"           // 起点4、步长2、共20项
"layers": ["array(4,4,6)", 27]       // Kimi MLA: 4,8,12,16,20,24,27
// Python: if layer_id in [*range(4,28,4), 27]: ...

array是受限层选择器字符串，不是任意表达式；仅解析正整数，禁止eval。三参数固定为(起点,步长,个数)，不是(起点,终点,步长)。允许列表混合多个选择器与单层数字；展开后重复、越界或同槽位覆盖冲突均拒绝。两参数形式随iteration变化；三参数固定个数，缩短循环后越界则非法。当前语法只用于body.layers。

N仍只计layers这个key。语义距离先展开再比较，因此压缩写法与显式列表距离为0；坐标编辑诊断仍会反映文本表示差异。

Parameter Golf 与 over-encoding 扩展

新增5个来源明确的PG机制原型：BigramHash+SmearGate、XSA+PartialRoPE、MiniDepthRecurrence、静态Recurrence+并行残差、AttentionOutputGate；以及一个over-encoding组合。它们使用统一小规模，非完整候选复刻，也不表示记录有效性或收益已验证。

"execution": [1,2,3,3,4],
"repeat_untie": ["mlp.down"],
"residual": {"type":"dual_stream"}

"over-encoding": {
  "ngram": [2,3], "heads": 2, "buckets": 65536,
  "layers": [1,5,6], "gate": "mlp"
}

execution引用物理层，重复调用默认复用矩阵；repeat_untie列出的矩阵在重复执行位置独立，norm/缩放也按执行位置独立。dual_stream顺序读写两条流，与A/M同时读取旧输入的parallel不同。训练期间改变execution的日程不在静态配置中。

over-encoding的layers按展开后的A/M执行位置编号，在对应操作前注入；各位置默认独立参数。使用固定确定性哈希，每阶总宽度d_model、heads平分，buckets为每阶每头精确容量；拼接后投影回主流。MLP gate读取主流，使用RMSNorm→Linear(d,d/4)→全局act→Linear→sigmoid的逐token标量。这是新分型，不是官方Engram gate。

PG扩展路径当前限单默认attention+mlp、Pre-RMSNorm，拒绝其中混用GQA、层覆盖或gated MLP；OE与mHC/AttnRes组合尚未定义多流注入语义，因此拒绝。各原型的具体保留范围见架构说明。它们的合法编辑邻居尚未接入下方遍历图。

归一化的作用域

lm_head.norm=rms_norm 表示词表线性投影前，对每个 token 的隐藏向量按均方根归一化并乘可学习缩放：RMSNorm(x)=g⊙x/√(mean(x²)+eps)。不减均值。它不是任务必需项，但本语言默认启用；关闭写 norm: "none"。

// 默认：所有 A/M 子层 pre_rms_norm，lm_head rms_norm；均可省略
// 统一覆盖：根 norm → 循环 norm → 子层 norm；越内层优先
{"norm":"pre_layer_norm", "forward":[
  {"layer_loop":{"iteration":10,"body":[
    {"type":"attention","n_heads":4},
    {"type":"mlp","hidden_dim":768},
    {"type":"mlp","layers":[5],"hidden_dim":768,"norm":"post_rms_norm"}
  ]}},
  {"lm_head":{}}
]}
// 作用域片段；全局 vocab_size / d_model 等省略展示

统一设置不代表共享norm权重：每个子层默认仍有自己的缩放参数。Pre-Norm为 x+F(N(x))；Post-Norm为 N(x+F(x))。前一层的post与后一层的pre不能机械合并，也不要求相邻层一定相同。head的norm独立设置。

𝒮 = ⋃_{分型树 T} {T} × Θ_T × R_T，并满足形状、引用与有限性约束。

Θ 是有限参数域；R 是权重绑定、缓存生产者引用等关系。树结构仍可遍历，运行时信息流可包含引用边。计数是描述长度，不等于独立维度；字段受条件依赖与整除关系约束。

本轮允许搜索的有限域与合法条件

坐标	有限域示例 / 约束
规模	vocab_size取目录中的有限集合；d_model∈{256,768,1024,2304,4096}；iteration∈[1,64]整数。校验器安全上限256，不等于默认采样域。
模块	A∈{attention,kda,mla,mamba,csa,hca,sliding_attention}；M∈{mlp,moe}；激活∈{gelu,gelu_new,silu,tanh}。
数值参数	头数、隐藏宽度、rank、窗口、压缩率等取目录值的有限集合；MoE总数∈{8,257}，top_k各元素为有界整数并满足共享/激活约束。
共享与层选择	layers来自当前循环层号集合；共享元组只引用已存在的同循环逻辑层；生产者先于消费者；禁止环和重复所有者。
结构上限	forward最多8个操作；本版不嵌套layer_loop；每槽最多64项；每个列表和状态宽度有界。增加嵌套时需另设深度上限。

mHC、Attention Residuals 与跨层共享

这些机制能够加入语言。 旧版缺的是执行语义字段。把层号元组作为关系引用，可以表达共享；mHC 和 Attention Residuals 还需要指定如何混合激活，因此另放在 residual 分型下。

"residual": {
  "type": "mhc"
}
// 默认 4 条流；可显式覆写 streams

"residual": {
  "type": "attnres",
  "block_size": 8
}
// 不写 block_size 就是 Full AttnRes

"share": {
  "attn_weights": [[1, 3, 5]],
  "mlp_weights": [[2, 4, 6]],
  "compressed_kv": [[3, 5, 7]],
  "index_k": [[3, 5, 7]],
  "topk": [[3, 5, 7]]
}
// 每个元组：首元素是源层，其余是消费层
// 这里是字段语义示例，非某个模型的原配置

字段	代码必须实现什么	不能混同的关系
attn_weights / mlp_weights	构造阶段把消费者绑定到源层同一组Parameter；包括子层norm。兼容的模块类型、维度和配置必须一致。	不共享不同逻辑层的缓存，也不复用同一次前向的输出。
kv / compressed_kv	源层生产KV状态，消费者读取同一状态；消费者仍计算自己的Q。compressed_kv还要求相同压缩率、位置处理和缓存布局。	不在消费层输入上重算KV；也不等于仅绑定KV投影权重。
index_k / topk	分别共享索引键与已选位置。复用index_k仍可重新打分；复用topk直接采用源层选择。	压缩KV、索引键、候选集、最终选择是不同对象，不能统称一个index。
residual.type=mhc	扩展多条残差流；A/M前聚合输入、之后分配输出并混合旧流；出口收缩。混合系数由输入相关计算产生。	层号共享元组不能代替mHC的动态混合计算。
residual.type=attnres	每个子层的learned pseudo-query在深度上读取历史表示；K为归一化V。Block模式读取已完成块与当前块部分和。	这是Attention Residuals，不是跨token注意力分数的残差。不是当前token投影出Q。

mHC执行依据 DeepSeek V4 Flash参考实现；AttnRes依据 Moonshot官方说明与伪代码。standard / mhc / attnres在本版互斥；与share可组合，但需验证缓存表示兼容。

V4 Flash 的主干仍可组织成 AM；其中 A 有纯滑窗、CSA、HCA 三种配置，残差为 mHC。官方参考实现各层各自维护KV。本页的“V4主干+跨层复用”是验证新语法的构造示例，不是官方V4或V4.1配置。V4.1参考代码区分压缩KV、index K、top-k及候选池；本版关系字段覆盖前三者，候选池共享与完整V4.1尚未登记为已复刻模型。

共享关系的编译与验证规则

所有层号均为当前layer_loop的逻辑位置。元组第一项必须最早执行，同一种共享资源的元组不能重叠。share_weights=true时禁止再定义attn_weights/mlp_weights的局部覆盖。循环重复使用权重不会合并逻辑位置的状态。多循环间共享尚未开放，避免隐式跨作用域引用。

验证器先展开层配置，再校验参数类型/尺寸、源层是否写入所需资源、消费者是否可解码该资源。权重绑定形成等价关系；KV等状态关系是有方向的生产者引用。mHC改变残差流布局，缓存生产者必须明确接收聚合后的子层输入。不能只比较d_model。

数字为语法级差异量；* 为自建原型。

等差层选择器

Parameter Golf 与 over-encoding 扩展

归一化的作用域

语法级编辑距离 · 全架构覆盖