← 研究总览 · D8 报告 · 背景与文献 · 编辑此页

D8：激活函数奇偶特征与已有研究的对照

先看结论：用 Taylor 展开分析激活函数、区分奇偶分量，以及区分总能量和目标相关能量，都有已有研究。本报告的具体零点构造、近零点公式及有限尺度误差边界未找到直接前作，不等于新颖性确认；能量比的规律也尚未证明能改善拟合。本页是摘要级文献对照，沿用原检索记录，本次仅修改文字。

本页把 D8 报告「结论」节的每条命题逐条对照已有文献，给出「这条结论文献里是否已经讨论过」的判定。检索使用 arXiv API 与 OpenAlex（2026-10-11）。arXiv API 本轮持续返回 HTTP 429（限流），故实际返回结果全部来自 OpenAlex；判定基于标题、年份与摘要级信息，尚未逐篇精读全文。重要校正：D8 用「输入反射 $x\to-x$ 下变号／不变」定义奇特征与居中偶特征，这正是激活函数关于 0 的 奇偶（parity）分解；文献里同一主题通常写在 spectral bias / frequency principle（谱偏置／频率原理）、activation-function dependence of spectral bias 与 parity learning 三个标题下，而不叫「偶/奇能量比」。

「未找到直接前作」仅指原检索范围内没有找到直接对应的研究，不等于新颖性确认；扩大检索或阅读全文后，判断可能改变。D8 的对照对象是冻结单层 SiLU、对称 Gaussian 四维输入、MSE、全批量 GD 的 development 实验，不外推多层、可学习隐藏层或非对称输入。

判断标签：已知文献已给出相同或近乎相同的结论 · 部分已知现象或方法相同但对象/构造不同（例如文献讨论谱偏置的幂律，D8 讨论固定 bias 下偶/奇能量比 $R$ 的 $a^2/a^6$）· 未找到直接前作仅指原检索结果，不代表已确认新颖性 · — 需读全文才能定论

已有的展开方法与本报告的尺度规律

编号D8 命题（含关键数字）文献状态最近的文献
Q1固定 bias（b=0/1）不改变小尺度偶/奇能量比 $R$ 的 $a^2$ 领先阶（增长 3.984–4.003、指数均值 1.995/2.001）部分已知激活依赖的谱偏置（arXiv:2208.04924）；多项式网络谱偏置（arXiv:2202.13473）；频率原理综述（arXiv:2201.07395）
Q2二阶导数正零点 $b^\*=2.3993572805154675$ 处二次偶项消失、四次偶项领先（增长 63.95–63.99、指数均值 5.999、判据 [48,80]）部分已知（解析机制）/ 未找到直接前作（该构造）对称门控激活的 Hermite 结构（DOI:10.56947/bs4wx079）；Beyond ReLU（arXiv:2506.22429）
Q3近根混合式（二次＋四次＋交叉项）解释有限尺度 $R$（108 cell 最大相对误差 $0.001192850$；δ=0/±1e−5 增长 62.81–65.19∈[60,68]）未找到直接前作激活的 Taylor/频率分解（arXiv:2208.04924；arXiv:1912.01198）
Q4固定 λ=δ/$a^2$=−3/+3 时 $Q=R/a^6$ 跨三小尺度相差 <2%（配对 spread 0.0110–0.0121；36 cell 对解析极限 $F$ 最大误差 0.01291<0.02）未找到直接前作谱偏置标度律/塌缩（arXiv:2208.04924；arXiv:2506.22429）
Q5$a=0.1$ 处 2% 精度失效（abs($Q/F$−1)=0.0457–0.0523，0/12；四尺度 spread 0.0471–0.0514，0/12；范围预测 [0.03,0.07] 12/12 命中）部分已知（有限尺度失效）/ 未找到直接前作（该边界）幂级数收敛半径（数学通用）/ 激活谱偏置（arXiv:2208.04924）
Q6$a=0.075$ 处 2% 精度仍失效（abs($Q/F$−1)=0.02596–0.02919；四尺度 spread 0.0259–0.0284，0/12；逐 seed ±0.002 预测 12/12）部分已知 / 未找到直接前作同上
Q7总偶能量 ≠ 目标相关核能量，不能单独推断最终拟合优劣已知task-model alignment（DOI:10.1038/s41467-021-23103-1）；target alignment（arXiv:2206.14255）

逐条对照

Q1. 固定 bias 不改变小尺度偶/奇能量比 $R$ 的 $a^2$ 领先阶

在 $a=0.025\to0.05$ 时，b=0/1 的六 seed 增长分别为 3.984159–3.991788 / 4.002060–4.003272，指数均值 1.995464 / 2.000962，即 $R$ 仍以 $a^2$ 领先。把激活按输入反射做奇偶分解、再对每阶项估幂次，是谱偏置文献的标准手段。

判定：部分已知。奇偶（parity）分解与「按阶项估幂律」在谱偏置文献中已系统使用；但「固定同一 bias 下偶/奇能量比 $R$ 保持 $a^2$ 领先阶」这一受控陈述在本轮检索中未见直接前作，D8 的价值是把该事实在冻结单层小系统里复核并给出边界。

Q2. 二阶导数零点处领先阶由 $a^2$ 变为 $a^6$

在 $b^\*=2.3993572805154675$，二次偶项 $f''(b)$ 消失，四次偶项成为领先项：同尺度六 seed 的 $R$ 增长 63.953437–63.985564，均值 63.970738，指数均值 5.999340，符合 $a^6$ 判据 [48,80]。

判定：部分已知（解析机制）／未找到直接前作（该构造）。Taylor 领先系数消失后由下一阶接管，是基本解析性质，文献对「激活高阶结构决定可学尺度」已有讨论；但 $b^\*$ 的具体值与 $a^6$ 窗口 [48,80] 这一受控构造在原检索中未找到直接前作。

Q3. 在导数零点附近，合并二次、四次及交叉项可解释有限尺度 $R$

保留二次、四次偶项及交叉项的混合式 $R_{24}$ 解释了有限尺度 $R$：$a=0.025/0.05$ 的 108 cell 最大相对误差 0.001192850；δ=0/±1e−5 的六 seed 增长 62.813129–65.187934 均满足 [60,68]，±1e−4 全部离开该窗口。正偏移时两项相消，使有效指数可低于 2 或高于 6，不能用单调 $a^2\to a^6$ 描述转折。

判定：未找到直接前作。Taylor 展开与逐阶分析是既有方法，但把二次/四次偶项及交叉项合并成近零点公式、并用 $a_{eq}$、$κ$ 描述偶/奇能量比的有限尺度转折，原检索未找到直接前作。

Q4. 固定 λ 时，不同小尺度的 $Q=R/a^6$ 近似一致

固定 λ=δ/$a^2$=−3/+3 时，$Q=R/a^6$ 在 $a=0.0125/0.025/0.05$ 三个尺度间相差不到 2%：12 个同 seed/λ 配对的 spread 为 0.011019256654–0.012094422622；36 cell 相对解析极限 $F$ 的最大误差 0.012907814800，均低于注册阈值 0.02。$F$ 由旧投影矩与导数确定，未拟合系数。

判定：未找到直接前作。不同尺度的读数经过归一化后近似重合，通常称为「标度塌缩」，在有效学习率、谱偏置标度律等研究中已有讨论。但固定 δ/$a^2$ 比值下 $R/a^6$ 的近似一致及其解析极限 $F$，原检索未找到直接前作。

Q5–Q6. $a=0.1$ 与 $a=0.075$ 处 2% 精度失效

$a=0.1$ 时 12 个新 cell 的 abs($Q/F$−1)=0.045673857405–0.052255236441，原判据 0/12 通过；四尺度 spread 0.047094464030–0.051410247227，折叠判据也 0/12。$a=0.075$ 时 abs($Q/F$−1)=0.025956782989–0.029189276970，四尺度 spread 0.025898649401–0.028362810341，两项均 0/12；事前预测的误差范围与 spread 落在 [0.03,0.07]，12/12 命中。

判定：部分已知（通用数学）／未找到直接前作（该边界）。幂级数/Taylor 近似有适用范围，这是通用数学背景；但「λ=−3/+3、固定三小尺度通过、$a\ge0.075$ 失败」这一受控精度边界在原检索中未找到直接前作。失败只限定已测有限尺度的精度，不推翻小尺度结论或 $a\to0$ 解析极限。

Q7. 总偶能量不等于目标相关核能量

总偶能量（全部偶特征能量）不等于目标相关核能量（特征对指定目标的贡献），也不能单独推断最终拟合优劣。这是核-目标对齐文献的核心论点。

判定：已知。「进度由目标加权谱而非单一能量决定」与核-目标对齐文献一致；D8 是把该区别在受控小系统里复核，而不是新增该原理。

相关文献

  1. On the Activation Function Dependence of the Spectral Bias of Neural Networks (2022). arXiv preprint. arXiv:2208.04924
  2. The Spectral Bias of Polynomial Neural Networks (2022). arXiv preprint. arXiv:2202.13473
  3. Overview Frequency Principle / Spectral Bias in Deep Learning (2022). arXiv preprint；期刊版 2024. arXiv:2201.07395；DOI:10.1007/s42967-024-00398-7
  4. Theory of the Frequency Principle for General Deep Neural Networks (2021). CSIAM Trans. Appl. Math. DOI:10.4208/csiam-am.so-2020-0005
  5. Towards Understanding the Spectral Bias of Deep Learning (2019). arXiv preprint. arXiv:1912.01198
  6. Beyond ReLU: How Activations Affect Neural Kernels and Random Wide Networks (2025). arXiv preprint. arXiv:2506.22429
  7. Hermite Structure And Spectral Properties Of Symmetric Gated Activation Functions (2026). DOI:10.56947/bs4wx079
  8. Periodic Activation Functions Induce Stationarity (2021). arXiv preprint. arXiv:2110.13572
  9. On the symmetries in the dynamics of wide two-layer neural networks (2023). Electronic Research Archive. DOI:10.3934/era.2023112
  10. Symmetry Induces Structure and Constraint of Learning (2023). arXiv preprint. arXiv:2309.16932
  11. Parameter Symmetry Potentially Unifies Deep Learning Theory (2025). arXiv preprint. arXiv:2502.05300
  12. Learning Parities with Neural Networks (2020). arXiv preprint. arXiv:2002.07400
  13. Hidden Progress in Deep Learning: SGD Learns Parities Near the Computational Limit (2022). arXiv preprint. arXiv:2207.08799
  14. Learning High-Degree Parities: The Crucial Role of the Initialization (2024). arXiv preprint. arXiv:2412.04910
  15. Hardness of Learning Fixed Parities with Neural Networks (2025). arXiv preprint. arXiv:2501.00817
  16. Learning High-Dimensional Parity Functions with Product Networks using Gradient Descent (2026). arXiv preprint. arXiv:2605.28612
  17. Matching the Statistical Query Lower Bound for k-Sparse Parity Problems with Sign Stochastic Gradient Descent (2024). arXiv preprint. arXiv:2404.12376
  18. Neural networks are a priori biased towards Boolean functions with low entropy (2019). arXiv preprint. arXiv:1909.11522
  19. Spectral bias and task-model alignment explain generalization in kernel regression and infinitely wide neural networks (2021). Nature Communications. DOI:10.1038/s41467-021-23103-1
  20. Target alignment in truncated kernel ridge regression (2022). arXiv preprint. arXiv:2206.14255
  21. Feature learning as alignment: a structural property of gradient descent in non-linear neural networks (2024). arXiv preprint. arXiv:2402.05271

原检索范围与尚未核验的内容

检索词包括 parity learning、symmetric activation、Taylor expansion loss、odd even symmetry、hidden progress parities、spectral bias / frequency principle、activation function dependence spectral bias、task-model alignment。本轮 arXiv API（export.arxiv.org）持续返回 HTTP 429，故所有引用均经 OpenAlex 接口返回核对；批注中的 DOI 为 10.48550/arxiv.* 者即 arXiv 预印本，其编号即 arXiv ID。判定基于标题、年份与摘要，未见虚构条目，未核验全文。

词义提醒：D8 的 $R$ 是「居中偶特征／奇特征」的均方能量比，文献里的 "spectral bias" 指频率分量的学习速度，两者共享奇偶/频率分解的骨架但不是同一个量。D8 结论只覆盖冻结单层 SiLU、对称 Gaussian d=4、train128、width64、特征 seed101–106、固定同单元 bias、MSE、全批量 GD（η=0.8/mom0/nodecay/1024）；未测随机 bias、非对称输入、多层、learned hidden、CE、小批量、其他数据或干预收益，不构成新颖性结论。

边界提示：总偶能量不等于目标相关核能量，也不能单独推断最终拟合优劣（见 Q7）。「未找到直接前作」仅指原检索没有找到直接对应的研究，判断可能随检索范围变化。以上沿用原检索记录，本次文字修订未重新核验文献。

摘要级文献对照首版 2026-10-11（北京时间）· 尚未逐篇精读全文 · 网页在 prototype 仓库内维护