D8:偏置对 SiLU 奇偶通路的影响

结论

在权重固定的单层 SiLU 模型中,偏置会改变特征对输入反射的响应。输入取反后不变的部分称为偶成分,变号的部分称为奇成分。输入尺度 a 很小时,已测固定偏置 b=0/1 的偶/奇能量比按 a² 变化;把偏置放在激活函数二阶导数的零点,变化改为 a⁶。这说明偏置可以改变两类成分的相对强弱,但尚未证明这样调整能改善训练或测试表现。

这种小尺度近似有精度限制。偏置相对零点的偏移按尺度平方变化时,解析极限在 a=0.0125/0.025/0.05 通过 2% 判据,在 a=0.075 与 a=0.1 均为 0/12 通过。新增 a=0.075 的极限误差为 2.596%–2.919%,四尺度差为 2.590%–2.836%。非对称输入、多层网络和交叉熵损失尚未验证。

以下测量限于对称 Gaussian(高斯)四维输入、128 个训练样本、宽度 64 的冻结单层 SiLU(激活函数见下式)。六个 seed(权重初始化随机种子)共享固定输入;所有隐藏单元使用同一个固定 bias(加性偏置)。普通 bias 与精确根的测量使用 MSE(均方误差)和全批量 GD(梯度下降);近根及固定 λ 验证均为 0 新训练。

总偶能量不等于目标相关核能量(特征对指定目标的贡献),也不能单独推断最终拟合优劣。当前证据支持能量转折解释,未验证通路干预收益或 MSE 终点排序。

公式与符号

Taylor 展开(按输入尺度展开激活函数)给出以下解析式。公式本身不是新测量发现。

f(z) = z/(1+exp(−z))                         (SiLU)
O = [f(b+au) − f(b−au)] / 2
E = [f(b+au) + f(b−au)] / 2 − mean_train[f(b+au)]
R = mean(E²) / mean(O²)

普通 bias:R ≈ a² [f″(b)/2]² mean(U₂²) / [f′(b)² mean(u²)]
精确零点:R ≈ a⁶ [f⁗(b*)/24]² mean(U₄²) / [f′(b*)² mean(u²)]
近根混合:R₂₄ = [c₂² a² M₂₂ + 2c₂c₄ a⁴ M₂₄ + c₄² a⁶ M₄₄] / [f′(b)² M₂]
分项等能量:a_eq² = |c₂/c₄| √(M₂₂/M₄₄) ≈ |δ|/κ
κ = |f⁗(b*)/[12f‴(b*)]| √(M₄₄/M₂₂)
固定 λ=δ/a²:Q=R/a⁶ → F_s(λ)(a→0 的解析极限)
F_s(λ) = mean([f‴(b*)λU₂/2 + f⁗(b*)U₄/24]²) / [f′(b*)²M₂]

x 为四维输入,W 为冻结的 4×64 投影权重,u=xW 是 128×64 的训练投影。O/E 为反射定义的奇/居中偶特征,R 为它们的均方能量比。a>0 是输入尺度,b 是所有隐藏单元共用的加性偏置;反射输入时保持 b 固定。mean_train 按训练样本逐列平均,mean 对样本与单元一起平均。

Uₖ=uᵏ−mean_train(uᵏ) 为逐列居中幂,k 为幂次。f′、f″、f‴、f⁗ 分别为一至四阶导数。b* 是二阶导数正零点,δ=b−b* 是根附近偏移。c₂=f″(b)/2、c₄=f⁗(b)/24;M₂=mean(u²)、M₂₂=mean(U₂²)、M₂₄=mean(U₂U₄)、M₄₄=mean(U₄²)。

R₂₄ 为二次、四次偶项的混合预测,a_eq 为两分项能量相等的尺度,κ 为解析近根系数。六 seed 的 κ=1.088258–2.154200,f‴(b*)=−0.09153052016419218、f⁗(b*)=0.15259173097310152。系数由导数和各 seed 的投影矩确定,未拟合经验系数;a_eq 不是总能量增长或性能的临界点。

λ 是偏移与尺度平方之比,s 表示权重初始化 seed。Q=R/a⁶,F_s 是固定 λ、a→0 的解析极限。输入、特征、偏置、尺度、矩、系数及比值均无量纲。RMS 表示均方根;公共特征 RMS 归一化不改变 R。

结果与适用范围

普通 bias 与精确根的注册判据均通过。b=0/1 的增长均满足 [3.6,4.4];b* 的增长均满足 [48,80]。a=0.025 的全部 18 个领先系数相对误差 ≤0.001327;按 b=0/1/b* 分组最大为 0.001326/0.000277/0.000234,均低于注册阈值 0.10。

近根混合式只验证了离散网格。δ=0、±1e−5、±1e−4、±1e−3、±1e−2,a=0.025/0.05 的 108 cell 最大误差为 0.119285%;a=0.0125/0.025/0.05/0.1 全尺度最大误差为 0.591217%。去掉交叉项时,主尺度最大误差为 86.129939%;该模型消融(去掉一项后的对照)只作描述证据,未另设预测判据。

δ=b−b* a=0.025→0.05 六 seed 增长范围 均值的 95% 初始化 t 区间(仅描述固定数据下的权重初始化)
−0.01 5.476460–6.992584 5.725662–7.016099
−0.001 19.911618–31.026926 21.959078–31.644925
−0.0001 53.606829–58.556981 54.651225–59.031857
−0.00001 62.813129–63.390599 62.939205–63.448632
0 63.953437–63.985564 63.957681–63.983795
+0.00001 64.528050–65.187934 64.473110–65.052743
+0.0001 69.962926–77.644549 69.253544–76.022543
+0.001 48.047861–155.318944 72.449684–148.134004
+0.01 1.959788–2.770145 2.051386–2.653548

有限尺度指数可以越出两种纯幂的范围。在 +0.01,指数为 0.970698–1.469961;在 +0.001,指数为 5.586400–7.279090。这没有推翻固定非零 δ 在 a→0 时的 a² 解析领先阶。|δ|=0.001 时,两侧 a_eq 合计为 0.021544978–0.030314131,与 0.025/0.05 的尺度对相比处于不同位置。分项等能量位置随 |δ| 的平方根变化。二/四次居中幂的相关系数为 0.743924–0.876959,不能忽略。未测中间 bias,不能给出连续容差或唯一临界值。

固定 λ 的三小尺度有效验证限于 λ=−3/+3;扩大尺度后的精度边界单独给出。旧矩事先给出 F_s=0.015779531472–0.140811355279;全部系数由导数和旧矩确定,未拟合。近根二/四次项随 δ=λa² 同阶,Q 的主项由 λ 与旧投影矩共同决定。12 个配对和 36 cell 均通过 0.02 判据,有限尺度误差仍存在,不能声称精确相等,也不提供连续 λ 或尺度阈值。

两侧有限尺度偏差方向相反。λ=−3 的六 seed 随 a=0.0125→0.05 增大,Q(0.05)/Q(0.0125)=1.011878275–1.012094423;λ=+3 为 0.988477488–0.989100844。每侧六 seed 的 spread 均值及 95% 初始化 t 区间分别为 0.012004764 [0.011927115,0.012082413]、0.011306954 [0.011064572,0.011549336]。这些区间只描述固定数据下的权重初始化;两侧方向是描述性观察,未单设预测。

a=0.1 的两项 2% 判据均在 12/12 条件失败。λ=−3 的 signed(Q/F−1) 为 0.050919364708–0.052255236441,λ=+3 为 −0.048208700074–−0.045673857405,方向符合事前预测。相对保存 a=0.05 的同 seed Q 比值分别为 1.037761578435–1.038846004608、0.963630607797–0.965547322982。两项新预测都要求数值落在 [0.03,0.07],均 12/12 通过;这些范围不是置信区间。

加入 a=0.1 后,负侧和正侧四尺度 spread 均值分别为 0.050824847009、0.048331318440。相对原三小尺度的同 seed spread 增量均值分别为 0.038820083174、0.037024364093,95% 初始化 t 区间为 [0.038388275005,0.039251891344]、[0.036226459100,0.037822269085]。a≤0.05 的三个离散尺度通过;a=0.1 与新增 a=0.075 失败。没有测出连续临界尺度。

a=0.075 的两侧偏差仍相反。λ=−3 的 signed(Q/F−1)=0.028577815797–0.029189276970;λ=+3 为 −0.027422681666–−0.025956782989。相对保存 a=0.05 的同 seed Q 比值分别为 1.015699751579–1.016073982185、0.984675182961–0.985496235173。两侧四尺度 spread 均值为 0.028106256043、0.026576480382。相对原三小尺度的同 seed spread 增量均值为 0.016101492208、0.015269526034,95% 初始化 t 区间为 [0.015957798247,0.016245186168]、[0.014941249697,0.015597802371]。区间只描述固定数据下的六次初始化。

全部有效条件为 development(开发条件),未测封存 OOD(事先封存的分布外条件)。未测随机 bias、非对称输入、多层、可学习隐藏层(learned hidden)、CE(交叉熵)、小批量、其他数据或干预收益。总偶能量不等于目标相关核或训练收益;未进行特征或通路干预,未注册 MSE 终点排序。

方法与条件

普通 bias 与精确根的测量固定对称 Gaussian d=4、train128/test1024(训练/测试样本数)、data31001(数据随机种子)、width64、特征 seed101–106。条件还包括固定同单元 bias、冻结单层 SiLU、特征居中与统一 RMS、零初始线性 head(输出层)、MSE、full-batch GD(全批量梯度下降)η=0.8/mom0/nodecay/1024 步(无动量、无权重衰减)。bias=0/1/b* 与尺度 0.025/0.05/0.1/0.2 共 72 cell、144 条线性/二次目标轨迹,训练总计 3.548238 秒。谱递推(按核矩阵特征值递推预测)最大误差 1.64091e-13,阈值 1e-8;首 cell 独立 preactivation(激活前输入)、feature(激活特征)、核递推及终点误差分别为 8.88e-16、2.22e-16、7.99e-15、2.66e-15。保存数组全部有限。

近根网格仅作 216 个初始化测量 cell(9 bias×4 scale×6 seed,36 个条件),0 新训练。复用已保存 data31001 的 train128 输入和 seed101–106 权重,不使用标签或 test。固定输入、权重、居中方式与每个 seed,仅改变 bias 与尺度。每个 δ 的区间只描述固定数据下六次权重初始化;跨 108/216 格点的误差仅报描述统计,不能当作独立样本或总体置信区间。独立 NumPy 激活重建最大误差 3.552714e−15,18 个 δ=0 重叠 cell 与旧数组逐位相同,旧 72 个成功 cell 保留。

固定 λ 的有效验证为 6 个 λ×scale 条件、36 个新测量 cell、12 个同 seed/λ 三尺度配对,测量耗时 0.198246 秒、0 新训练。逐项核对三份历史 Cartesian(条件的笛卡尔积)合同与 378 保存请求,历史重叠为 0。只读取旧 train_x/W/u(训练输入、冻结权重与投影),不读标签或 test。先提交匹配预注册与全部 pinned(锁定版本的)源码/输入,再完成首 cell 审计并恢复 35 cell。恢复核验 new0/reused36(新增 0、复用 36),72 结果文件与 806 旧 study 文件 hash/mtime(内容哈希与修改时间)不变。独立激活重建最大误差 3.108624e−15,独立多项式导数与标量矩 F 相对差 8.015810e−14,fsum(高精度求和)复算 R/Q 相对差 4.440892e−16。

较大尺度只新增 2 个 λ×scale 条件、12 个 cell;六 seed 只测初始化稳健性,36 个旧对照只读保存数组。注册前核对四份完整历史条件网格与 414 个保存请求,新重叠为 0。唯一预注册和全部锁定源码/输入先提交,匹配后才激活;先核验首 cell 再恢复其余 11 个,累计测量 0.058717791 秒、0 新训练。旧 896 文件和新 24 结果文件 hash/mtime 不变;恢复 new0/reused12。新激活独立重建最大差 3.108624e−15,独立导数与矩 F 相对差 8.015810e−14,fsum 对新旧保存数组复算 R/Q 相对差 4.440892e−16。旧对照没有重新激活。

较大尺度预测来自已见结果,属于非盲 development。signed(Q/F−1) 的点预期只把保存 a=0.05 的偏差乘 4;事前绝对误差点范围为 0.046486298995–0.051631259199,没有拟合或预览新激活。预测 Q 的实际相对差为 0.000193522199–0.000984261413,仅作描述,未注册这一精度。固定 λ 的解析极限本身不登记为新发现,新增证据是同 seed 配对的有限精度边界。

新增 a=0.075 只测 2 个 λ×scale 条件、12 个 cell,旧 36 个小尺度对照只读保存数组。注册前核对五份完整历史 Cartesian 与 426 个保存请求,重叠为 0;保护 940 个旧 study 文件。唯一预注册与 11 份锁定源码、输入、审计先提交,全部激活开始时间至少晚于提交秒级时间 7.572792 秒。先核验首 cell 再新增 11 个;累计测量 0.060539250 秒,0 新训练。恢复 new0/reused12,24 个新结果文件及首 cell hash/mtime 保持不变。新激活独立重建最大差 3.108624e−15,独立 F 相对差 8.015810e−14,fsum 复算 R/Q 相对差 4.440892e−16;旧对照激活调用为 0。

新点预测只把已见 a=0.05 偏差乘 2.25,属于非盲 development;已知 a=0.1 结果,但未预览新激活。误差点范围为 0.026148543185–0.029042583299;每 seed 误差和 spread 容许范围均为各点 ±0.002,并要求两项 >0.02。Q 实际相对点预测差为 0.000048661925–0.000227437662,仅作描述。冻结执行脚本未强制要求首 cell 回执后才续跑;实际时间戳确认审计通过后才运行其余 11 个。下次新增测量需将此门槛写入源码。

v1 的独立既有证据限于对称零 bias、冻结单层与 MSE 对照。在 scale=0.05→0.2,R 增长 14.84–15.37 倍,接近 scale² 的 16 倍预测。统一总特征 RMS 后,小尺度二次目标核能量为 ReLU(整流线性激活)的 0.00617–0.01090 倍。这不改变总偶能量与目标相关核能量的区别。

失败与反例

旧 λ=−2/−1/0/1/2 的 90 cell 验证因重复测量 18 个旧成功条件而协议失效。原数值判定为两项 supported(满足原数值判据),只作失效归档。提交失败造成的未测量也不构成科学反驳。

原 2% 近似在 a=0.075 的两项判据也均为 0/12 通过;各逐 seed 新预测均通过。a=0.1 的失败必须保留:解析 F 误差与四尺度折叠均 0/12 通过。这是事前预测会发生的有限精度失败;两项新边界预测均通过,不能写成旧三个小尺度预测被反驳。

正侧增长没有全部超过 100。+0.001 的六个同 seed 增长比 −0.001 高 28.136243–125.024683,均值差 83.489843,95% 初始化 t 区间 [49.549244,117.430442];5/6 正侧增长 >100,但 seed104 仅为 48.047861。近根测量的三项预测均通过,仍须保留该反例。

首轮因预注册提交失败而未测量,三项预测均未评估。此执行失败不是科学反驳。旧分析的 NumPy matmul(矩阵乘法)警告根因未定;记录保留,新数组均有限。首 cell 打印错误也保留。输出修正仅处理空统计打印,并删除无采样解释的 pooled CI(把不同格点混为样本的置信区间),不改变科学量或预测结论。

旧固定 λ=−2/−1/0/1/2、a=0.0125/0.025/0.05 的测量完成 90 cell,但 λ=0 的 18 cell 重新测量了已有成功条件,违反禁止重跑旧 cell 的要求,本次协议失效。旧五个 λ、六 seed 的 F_s=0.001187655620–0.090760955422;对应测量只作失效记录。原数值判定为两项 supported:30 同 seed/λ 配对的 max(Q)/min(Q)−1=0.000280769139–0.009006901047,90 cell 相对解析 F 最大误差 0.009519027722。这些数值仅作失效归档,不构成新验证。旧 599 文件与新 180 结果文件 hash/mtime 未变,18 个重叠数组逐位相同,0 新训练;一致性不消除协议偏差。

前置审计曾把偏移标签 d00 误当 δ=0,产生 AssertionError;依据合同的 bias_offsets 定位 d04 后才通过。错误发生在新测量前,原失败源码与记录保留,未改旧数据。

尚未回答的问题

a=0.075 已越过两项 2% 判据。下一候选只新增未测 a=0.0625、λ=−3/+3 的 12 个 cell;固定全部其他条件,仅读保存三个小尺度作对照,检验原两项 2% 判据是否均重新通过。先核查所有历史条件,再注册逐 seed 数值范围、来源 hash、输入与源码并单一提交;不预览新激活。新增源码应强制首 cell 审计门槛,并核查每 cell 激活开始时间。

现有结果不能确定连续临界尺度或 λ。随机 bias、非对称输入、多层、learned hidden、CE 或干预收益仍未测。

证据

同步于 2026-10-08 19:23(北京时间)· 本页为研究快照,网页在 prototype 仓库内维护