D4：什么时候训练曲线是sigmoid函数
背景介绍
关于训练损失曲线，我们有一些经验性认识。例如，深度网络的 train loss 常被描述为“先慢、后快、再慢”：初期下降较缓，随后快速下降，最后逐渐趋稳。如何描述并预测这样的变化，是研究训练动力学的重要问题，也是 D4 的出发点。
在这个基础上，本方向聚焦一个更具体的问题：在什么条件下，归一化训练损失可以被单个 sigmoid 曲线近似？
本方向沿用 D1 讨论的理论假设：在固定特征和平方损失下，总损失可沿 Hessian 的特征方向分解，各方向的损失贡献相加。相关背景和直观解释见D1：等效训练时间的适用范围。D4 将模型限制为一个慢方向和一个快方向，以便控制训练曲线的组成。
我们在这里重复一遍这个分解。对无动量 SGD，若 \(\eta\lambda_i<1\)，每个方向的损失按指数衰减：
\[f(t)=\frac{L(t)}{L(0)}=\alpha e^{-a_s t}+(1-\alpha)e^{-a_f t},\qquad a_i=-2\log(1-\eta\lambda_i).\]
为方便阅读，本文使用以下核心符号：
- \(t\)：更新步数；\(L(t)/L(0)\)：相对初始损失的归一化训练损失。
- \(\lambda_s,\lambda_f\)：慢、快方向的曲率（Hessian 特征值）
- \(\rho=\lambda_f/\lambda_s\)：快慢方向的谱比。
- \(\alpha\)：慢方向占初始总损失的比例；快方向的占比为 \(1-\alpha\)。
- \(\eta\)：学习率；\(a_s,a_f\)：慢、快方向的损失衰减率。
- \(H(t)=1/[1+(t/t_{50})^\beta]\)：对数时间轴上的单 sigmoid；\(t_{50}\) 和 \(\beta\) 是拟合中点与形状参数。
这里要区分三种比例：\(\alpha/(1-\alpha)\) 是慢、快方向的初始损失贡献比；\(\rho=\lambda_f/\lambda_s\) 是 Hessian 特征值（曲率）比；\(a_f/a_s\) 才是实际损失衰减率比。由于 \(a_i=-2\log(1-\eta\lambda_i)\)，衰减率比一般也不等于谱比。因此，\(\alpha=0.5\) 表示两方向初始损失各占一半，并不表示 \(\rho=1\)。
实验采用固定特征、\(n=d=2\)、全批量 SGD、学习率 \(\eta=0.1\)，不使用动量和权重衰减。以下结论均限于这组受控设定。
实验
PS:拟合程度如何衡量：在固定的 150 个整数化对数时间采样点上，比较真实归一化损失 \(f(t)\) 与单 sigmoid 拟合 \(H(t)\)。均方根误差 \(E_2=\sqrt{\frac1N\sum_j(H(t_j)-f(t_j))^2}\) 衡量整体偏差；最大绝对误差 \(E_\infty=\max_j|H(t_j)-f(t_j)|\) 衡量最差点。两者均按真实动态范围（本实验为 1）归一化。只有 \(E_2\le0.03\) 且 \(E_\infty\le0.05\) 才判为通过；这是本实验预先采用的操作判据，不是普适的“足够拟合”标准。
下文把另一种选解方式简称为“最差点绝对误差拟合”：在 150 个采样点中，选取最大绝对误差最小的 sigmoid 参数。它不是让所有点的绝对误差之和最小；后者是另一种拟合目标。
1. 变化谱比：不同谱比下，能否拟合单 sigmoid
在固定初始损失贡献比为 1:1（即 \(\alpha=0.5\)）时，谱比 1、3、10、12、15 的最小二乘拟合均通过，20、25、30、100 均未通过；每个条件都是 3/3 个坐标 seed 得到相同判定。这里的 1:1 指两方向的初始损失贡献相等，不是曲率比 \(\rho=1\)：谱比仍按 \(\lambda_f/\lambda_s\) 单独变化。通过状态的离散变化被夹在谱比 15 与 20 之间，不能据此断言存在一个普适临界谱比。下面的散点图把两个拟合误差判据放在同一平面：只有同时位于两条虚线左下方才算通过。
展开：实验 1 的完整 setting
模型与训练。固定特征平方损失，n=d=2，float64，全批量 SGD，η=0.1，无动量、无权重衰减；固定慢方向曲率 λₛ=0.01，总初始损失归一化为 1。扫描曲率谱比 ρ=λ_f/λₛ∈{1,3,10,30,100}，即令快方向曲率 λ_f 随 ρ 改变；同时将慢、快方向初始损失贡献固定为 0.5:0.5（α=0.5）。损失贡献比与曲率谱比是分别设置的量。
补充条件。另复用保存的谱比 12、15、20、25 单 sigmoid 结果；这组补充数据来自 D12 报告中的 single 字段，只用于检验离散通过状态变化范围，不引用其双 sigmoid 结果。
拟合与评价。每条训练轨迹运行 10000 步；在 0–4997 步的同一 150 点整数化对数网格上等权比较真实归一化损失与固定上下平台为 1/0 的单 sigmoid。最小二乘为 6 起点局部拟合中平方误差最小的解，不保证全局最优。通过标准为 E₂≤0.03 且 E∞≤0.05。
重复与范围。每个谱比有 3 个坐标旋转 seed，用于检查坐标实现稳健性，不是 3 个独立样本。初始损失权重固定，但目标参数范数、初始梯度等随谱变化；因此不能把误差变化单独归因为谱比的因果效应。详见完整报告及补充格点 summary。
2. 变化慢方向损失占比 \(\alpha\)：拟合表现如何随“模态权重”改变
固定谱为 \([\lambda_s,\lambda_f]=[0.01,1]\)（谱比 100），扫描九个离散的慢方向初始损失占比 \(\alpha\)。最小二乘拟合只在 \(\alpha=0.99、1\) 时通过；其余七点均未通过。最差点绝对误差拟合使 \(\alpha=0、0.01\) 通过，但 \(\alpha=0.25、0.5、0.75\) 仍失败。图中分别列出整体误差和最差点误差；灰色空位表示该协议没有测该占比。
展开：实验 2 的完整 setting
固定项。固定特征平方损失，n=d=2，谱为 [λₛ,λ_f]=[0.01,1]，即 ρ=100；float64，全批量 SGD，η=0.1，无动量、无权重衰减，总初始损失为 1。训练每条曲线 10000 步。
变化项与重复。仅改变慢方向初始损失占比，α∈{0,0.01,0.1,0.25,0.5,0.75,0.9,0.99,1}，每个条件 3 个坐标旋转 seed。seed 用于实现稳健性核验，不当作独立样本或统计置信区间。
拟合、网格与判据。最小二乘采用 6 个起点中的局部最优解；每个 seed 在 0–4997 步的固定 150 点整数化对数网格上等权评价。最差点绝对误差拟合只测 \(\alpha=0、0.01、0.25、0.5、0.75\)，其余值标为“未测”。两指标均按初始到最终真实损失差 1 归一化；通过要求 \(E_2\le0.03\) 且 \(E_\infty\le0.05\)。
解释限制。改变 α 同时改变目标参数范数、初始梯度范数和目标加权平均曲率等量，实验未将这些相关变化分别控制。因此，图显示的是该参数化协议下的条件关联，不能单独识别 α 的因果作用。证据见完整报告与r018 保存 summary。
3. 深入思考拟合的选取依据
动机。前两个实验用最小二乘挑选 sigmoid 参数，但最终的“通过”要求同时满足整体误差和最差点误差。最小二乘主要压低整体误差，并不保证最差点也足够接近；因此，某些未通过可能反映了选解目标与判据不匹配，而不一定说明单 sigmoid 本身无法拟合。为区分这两种可能，实验三对同一批已保存曲线保持训练结果、评价网格和参数范围不变，只把选解标准改为最差点绝对误差拟合。
结果。图中每条短连线连接同一条件下的两种拟合结果，显示切换选解目标带来的误差变化。对 \(\alpha=0、0.01\)，最大误差从 0.07463/0.06476 降至 0.03703/0.03338，跨过通过线；RMSE 小幅上升但仍低于 0.03，说明这两条曲线的原失败依赖最小二乘选解。对 \(\alpha=0.25、0.5、0.75\)，最大误差虽有下降，仍高于 0.05；其中 \(\alpha=0.25\) 的 RMSE 也超过 0.03，说明这些条件下改选参数仍不足以达标。这里的“不足”只限于注册的参数范围与采样网格。
展开：实验 3 的完整 setting
比较对象。拟合目标对照固定 ρ=100，慢方向曲率 λₛ=0.01、快方向曲率 λ_f=1，扫描 α∈{0,0.01,0.25,0.5,0.75}。每个条件有 3 个坐标 seed，共 15 个拟合 cell；直接复用已有训练曲线，新增训练数为 0。
唯一改变项。最小二乘选择均方误差最小的局部拟合参数；最差点绝对误差拟合选择使 150 个采样点中最大绝对误差最小的参数。其余设置沿用原曲线：固定特征二维平方损失、float64、全批量 SGD、η=0.1、无动量/权重衰减、初始总损失 1、训练 10000 步、固定 1/0 平台。
优化范围与判定。min-maxabs 在注册参数范围 t₅₀∈[0.01,100000] 步、β∈[0.1,10] 内求解；最小二乘使用原 6 个起点且不保证全局最优。两种协议均在相同的 150 点整数化对数时间网格（0–4997 步）上比较 E₂ 与 E∞，要求同时不超过 0.03 和 0.05。对 α=0.25、0.5、0.75 的失败还保存了参数域内 E∞ 数值下界，但下界只适用于此网格和参数范围，不是连续时间定理。
解释限制。每组配对共享同一条真实训练曲线；seed 是坐标检查而非独立样本。选解协议改变会改变两类误差的权衡，不代表普遍存在一个更优的拟合目标。保存结果见完整报告、r038、r050、r082、r094。
最后：拟合参数的解释边界
拟合中点 \(t_{50}\) 和形状参数 \(\beta\) 描述的是候选 sigmoid，不能直接等同于真实曲线的半衰期和半高处局部斜率。等初始损失时，谱比 1/3/10/30/100 下，\(t_{50}\) 相对真实半衰期的偏差依次为 −8.99%/−6.53%/+3.95%/+21.96%/+72.40%；\(\beta\) 相对真实局部斜率的偏差为 +4.36%/+4.15%/+8.39%/+26.28%/+86.73%。因此，拟合通过只说明曲线近似达到预设标准，不能单凭拟合参数赋予拐点以机制意义。
启示（可探索项）
最后，我会结合自己的理解，讨论固定特征损失分解假设与相关工作的联系，以及它对后续研究的启发。原报告没有证明 sigmoid 拐点具有独立的机制意义；下面列出的方向是可检验的探索项，不是已验证结论。
- 在对数时间轴上定义拐点位置和局部斜率，检验它们是否能由谱比、\(\alpha\) 和学习率预测；用未参与推导的条件做前瞻验证。
- 在同一采样网格与误差标准下，对比单 sigmoid、自由平台 sigmoid 和级联 sigmoid，确认额外结构是否稳定改善最差点绝对误差。
- 再检查这些关系在学习特征的小型 MLP 中是否成立，并单独评估用训练前段预测后段的能力。