D7：训练误差改善与泛化损害

结论

不一定。本页比较真实网络与它在初始参数处线性化得到的切线模型：真实网络可以在训练样本上拟合得更好，却在未参与训练的测试样本上表现更差。但“终点比另一模型差”和“继续训练后自己变差”是两回事。后者用 C=L_test(512)−L_test(128)>0 判断，需要事后查看测试误差。现有实验还不能只靠训练误差预警，也没有确定三种候选机制各占多大比例。

即使不人为添加标签噪声，也出现了这种训练与测试表现的分歧。不加人工噪声的实验中，8/8个“目标函数×网络宽度×优化设置”组合的平均训练增益>.05×初始损失；其中6/8组合的终点测试误差差距均值为正，即真实网络平均更差。两种梯度更新设置为η=.05/mom0与η=.005/mom.9；η是学习率，mom是动量系数，其他架构和数据规模相同。“6/8”不表示每次初始化都更差，也不表示各区间均排除零。有限样本效应仍未排除。

下文把几种差异分开记录：H是终点真实网络减切线模型的测试误差；D是加噪后H减不加噪H，衡量噪声是否扩大相对差距；G是终点切线模型减真实网络的训练误差，衡量训练增益。D>0不等于H>0，也不等于C>0：噪声可能只缩小原有优势，模型仍可能在继续训练时改善。

已测的sigma=1边界在三组条件均通过4/4单元。sigma是归一化目标单位下的标签噪声标准差。条件为d5 Gaussian（五维标准高斯输入）、train32/test256（训练与test样本数）、mixed_sine/radial两函数×width（隐层神经元数）8/32、init11/29/47、data7331（数据生成编号）。训练使用SGD η=.05/mom0/nodecay（无权重衰减）/512步。noise733107与733123（噪声生成编号）各4/4单元满足mean(D)≥.02且各≥2/3 init D>0。两draw（具体噪声向量）的mean(D)分别.287093–.800986与.127211–.466452。data7331/noise733123有三个95%init区间跨零。相同recipe（整套训练条件）和noise733123下，仅改data为7339仍4/4通过：mean(D)=.111892–.519513、12/12 D>0。radial×8的95%初始化区间跨零。

半强度噪声只在3/4单元通过正向判据。固定data7339/noise733123与原recipe，sigma=.5的D=H(.5)-H(0)在mixed_sine×8、mixed_sine×32、radial×32的均值分别为.125194、.229192、.060492。三个单元均为3/3初始化为正。radial×8为-.046567，只有1/3为正。预设的“至少3/4单元mean(D)>=.01且各>=2/3初始化为正”通过3/4单元。

已测条件不支持连续强度缩放。三个通过单元的D(.5)都小于对应D(1)，但不能据此给出线性、二次或连续强度规律。

较低带噪train误差不保证晚期test继续下降。data7339/noise733123、sigma=1的12个终点H1为正。真实网络对带噪train标签的G单元均值.433225–.573030、12/12 G>0。终点相对劣势仍不保证同模型晚期test上升。

D>0也可以仅缩小真实网络原有优势。data7331/noise733123的radial×32，三init的D=.075103–.185840均正，H1=−.151615至−.047987均负，真实C=-0.198348至-0.088044均负。噪声使真实网络相对切线更差；它在终点仍优于切线，晚期test也仍下降。

更换噪声向量推翻半强度正向判据的保持预测。固定data7339、σ=.5、含bias（可训练偏置）的两层hidden（隐层）SiLU（平滑非线性激活函数）、width8/32、init11/29/47、CPU float64（双精度）全批量SGD η=.05/mom0/nodecay/T512，仅把noise733123换为733131。原“至少3/4单元mean D≥.01且各至少2/3初始化D>0”预测通过率从3/4降为1/4。新四单元mean D依次为.086687、−.008957、−.013877、.003331；正初始化数为3/3、2/3、2/3、2/3。固定噪声强度和recipe后，该判据仍依赖具体噪声向量。

“不足3/4单元通过会再现”的预测被推翻。固定data7339、sigma=.5与同一训练条件，仅把noise733131换为预指定733139，原正向判据有3/4单元通过。mixed_sine×8/32与radial×32各3/3初始化D>0；radial×8为0/3。四均值D依次为0.206577/0.175632/-0.037836/0.054909。三个半强度噪声向量的通过数为3/4、1/4、3/4，固定强度与训练条件仍不能决定判据是否通过。这个序列只描述已测向量，不能估计跨噪声概率。

公式与符号

L_A(m,σ,s,ν,ρ,t) = (1/2n_A) Σ_i∈A [f_m,σ,s,ν,ρ,t(x_i)−y_A,σ,ν,ρ,i]²。

H_σ,s^(ν,ρ) = L_test(real,σ,s,ν,ρ,512)−L_test(tangent,σ,s,ν,ρ,512)；D_s^(ν,ρ)(σ) = H_σ,s^(ν,ρ)−H_0,s^(ν,ρ)；旧σ=1记作D，本轮σ=.5记作D(.5)。

G_σ,s^(ν,ρ) = L_train(tangent,σ,s,ν,ρ,512)−L_train(real,σ,s,ν,ρ,512)；C_m,σ,s^(ν,ρ) = L_test(m,σ,s,ν,ρ,512)−L_test(m,σ,s,ν,ρ,128)。

A∈{train,test}是样本集合，n_A是样本数，i是样本索引。m∈{real,tangent}分别是真实网络和完整初始Jacobian（输出对全部参数的导数）切线。σ∈{0,.5,1}是训练标签噪声标准差，单位为归一化目标。s是初始化seed，ν是噪声seed，ρ是data seed；seed是生成条件的固定整数编号，无量纲。ρ决定train/test输入与clean目标归一化。t是优化步数。

x是无量纲Gaussian输入，f是模型输出。y_train,σ,ν,ρ=y_clean,ρ+σ ε_ν，其中ε_ν是独立标准Gaussian噪声向量。test目标始终为clean。clean目标按train均值和标准差归一化。L是半均方误差（halfMSE）；H、D、G、C的单位均为归一化目标平方。mean(D)是三个init的算术平均。H>0表示终点真实网络相对切线较差。C>0表示同模型晚期test风险上升。

结果与适用范围

半强度噪声的再次对照：data7339、sigma=.5、noise733139

全部为development。三初始化区间只描述固定data/noise下初始化差异；三个半强度draw不能估计跨draw概率。三个通过单元的D区间排除零，radial×8区间跨零；四个新−noise733131配对区间全部跨零。原判据不以区间排除零为成功要求。没有拆分噪声拟合、核方向变化或隐式偏置比例，不建立train-only早停、连续sigma阈值、线性/二次缩放或其他optimizer/LN/深度/样本量规律。

data7339、sigma=.5：更换噪声向量

新四D区间均跨零；新−旧noise的radial×32配对区间排除零，其余三个跨零。该失败只约束已测noise733131，不能把1/4作为跨noise概率。

更换数据后，噪声是否仍扩大差距：data7339

固定noise733123，更换data7339后，四个函数×宽度单元仍满足原.02、2/3、3/4判据。新旧data的四个D配对差区间全部跨零，结果只支持本次条件验证。更换data共同改变输入、clean目标与train归一化，不能拆出单一机制。

sigma=.5：半强度噪声

四个 95% 初始化区间依次为 [-.052147,.302536]、[-.117328,.575711]、[-.204661,.111526]、[.046481,.074503]。

data7331：两个噪声向量的对照

两个预指定噪声draw均扩大相对test差距，D在各draw的12/12配对为正。第二个draw幅度均值更低，但radial×8 init11反而增加.353716，不能宣称每个配对下降。所有区间均为固定data/noise下的95% Student-t（用三初始化差异估计均值范围）初始化区间（df=2，自由度为2），不覆盖跨噪声或跨数据不确定性。

noise733107的已保存结果：

noise733123的配对结果；σ0复用相同旧轨迹，仅新训练12个σ1 cell：

data7339：终点与晚期变化

以下新data晚期诊断与旧data分开：

data7331：终点与晚期变化

两个原分歧样本保留：mixed_sine×32 init11 clean H=.020497而真实C=−.001370；noise733107的radial×32 init29 noisy H=.012378而真实C=−.029205。终点相对劣势不能代替同模型继续训练受损。以下data7331/noise733123诊断中，σ0来自同一旧clean轨迹：

旧draw的真实C clean/noisy均值仍为mixed_sine×8 .098034/.580723、mixed_sine×32 .032336/.780441、radial×8 .012496/.184392、radial×32 −.274327/.017206。旧noisy radial×32只有1/3真实init晚期test上升。train变化、两模型clean train风险与所有逐init诊断均保存；没有建立train-side早停信号，也没有预测最低点。

方法与条件

两模型使用同一初始输出和同一SGD条件。网络含bias、两层hidden SiLU；先按默认float32初始化Linear（线性层），再转double。计算使用CPU float64、full-batch（每步使用全部训练样本）。clean归一化后加σ0/1噪声，不再重新归一化，test始终clean。切线使用全部weight/bias（权重和偏置）的初始Jacobian，参数增量从0开始。各函数/宽度/init共用同一噪声向量。每个draw有4个函数×宽度单元。三init只测初始化稳健性，不算三个独立recipe。

实验尚未拆分机制比例。噪声拟合、有限样本下目标方向变化、隐式偏置（优化路径偏好的解）及学习速度差仍是竞争解释。data7331/noise733123真实网络对带噪train标签的增益均值.380688–.502691，12/12 init增益正。更低带噪train loss不等于更接近clean目标。实验只测噪声干预的总效应。旧噪声对照固定一个data、两个noise draw；不外推新数据/噪声、强度、optimizer（优化算法）、LN（层归一化）、深度或封存OOD（事先未查看的新条件）。

data7331的旧24cell与新噪声12cell通过完整性及配对核验。cell是一次sigma条件下真实与切线的配对实验。保存数组全部finite（无无穷值或缺失数值）；hash（文件内容校验值）、同提交源码、数据及完整Jacobian均匹配。初始及终点真实网络输出重建误差0。旧einsum（逐项求和）复算切线train/test检查点误差<7e−15，新旧合计最大误差7.147061e−15。原matmul（矩阵乘法）的divide/overflow/invalid警告全文保留，根因未定。该噪声对照分析stderr（错误输出）为空。noise733107累计训练4.859595秒，noise733123新增训练2.940749秒。原设计的两次提交失败和后续先提交再恢复训练的记录保留。成功cell未覆盖。

新data实验保留函数/宽度/init及SGD。数据规格仍为d5 Gaussian train32/test256，噪声为noise733123。共24新cell、48轨迹、4recipe、12初始化配对，累计训练4.596528秒。sigma0/1在新data精确共享输入/clean目标/归一化/参数/J（初始Jacobian）。跨data精确共享初始参数与noise。所有区间为df2（自由度为2）初始化区间。跨data仍按同init作差，不把两个data draw作概率样本。

半强度噪声实验在相同 data/noise/recipe 下新增 12 个 sigma=.5 cell、24 条轨迹，复用已保存的 12 个 sigma0 与 12 个 sigma1 控制。新 cell 训练 2.646580 秒；sigma=.5 四单元 train gain 均值为 .373420、.326799、.324617、.283633。独立重建切线检查点最大误差 4.440892e-15；旧 193 个文件与新 24 个成功文件 hash/mtime 保持不变。

旧36与新24合计60cell核验通过。新24cell独立切线误差最大6.161738e−15，全60cell最大7.147061e−15。参数/J及真实输出重建误差0。120历史与48新成功文件的hash/mtime（内容与修改时间）不变。恢复新增0训练，24/24只核验。训练前，同提交合同与pinned（冻结版本）源码匹配。旧成功cell未覆盖。

新noise733131实验新增12个sigma=.5 cell、24条轨迹。它引用12旧clean与12旧half（半强度噪声）cell，训练3.074483秒。新train gain均值为0.420114/0.372169/0.337023/0.222037，12/12为正。真实128→512 test变化均值为-0.004235/0.133418/0.031635/-0.148465；晚期上升init数为1/3、3/3、2/3、0/3。旧239文件与新24成功文件hash/mtime不变，恢复新增0训练。初始参数/J及真实输出重建误差0。全36cell切线检查点最大误差4.996004e−15。独立df2区间差6.822654e−12，事前容差为1e−10。

noise733139实验新增12个sigma=.5 cell、24条轨迹，复用12旧clean和12个noise733131 half cell。新训练累计2.748485秒。四单元train gain均值为0.370399/0.338375/0.392122/0.259217，12/12为正。真实128→512 test变化均值为0.115244/0.310645/0.009012/-0.098852，上升初始化数为3/3、3/3、2/3、0/3。新旧36cell的切线检查点最大误差4.996004e−15；初始参数/J与真实初末输出重建误差0。独立标量风险误差1.665335e−16，df2区间差4.117789e−12，分别在事前1e−12与1e−10容差内。293旧文件与24新成功文件hash/mtime不变，恢复新增0训练、复用12成功cell。

失败与反例

noise733139推翻的是本次“通过数不足3”的预测；它不撤销noise733131的1/4结果。radial×8的三初始化D均负，mean D=−.037836，但真实晚期test仍有2/3上升；相对噪声效应不能代替同模型继续训练受损。radial×32三初始化D均正，H(.5)却均负（−.094623至−.048229），真实C也均负（−.121112至−.073147）。终点优势与晚期下降仍可伴随正D。

更换noise733131后，半强度P1由3/4降为1/4，预测被推翻。mixed_sine×32 init47的D=−.102542；真实加噪test风险变化−.072304，切线变化+.030239。该cell的noisy（带噪）train gain=.394740，H(.5)=.124723仍正。radial×32 mean H(.5)=−.122981，真实C=−.148465且三init均负。较低带噪train loss、相对噪声敏感度和晚期test变化不能互相替代。

跨data均值方向不支持单调规律。新data的radial×8 D区间[−.081196,.304979]跨零。mixed_sine×8/32均值D增大，但分别有init29/11下降.334783/.017555。radial×8均值下降，但init29增加.019018。全部跨data配对差区间跨零。

新data的radial×32 init47 noisy：H1=.036880344>0，真实C=-.021062710<0。终点劣势与晚期下降仍可共存；同单元真实C>0仅2/3 init。

半强度噪声的 radial×8 是新增反例：mean D(.5)=-.046567，D(.5)>0 仅 1/3；相对噪声敏感度的正向判据不覆盖全部函数×宽度单元。

首次独立区间核验失败。解析df2区间与SciPy数值区间最大差异1.097433e−11，超过当时使用的1e−12容差。原错误/源码保留。仅独立区间比较容差放至1e−10；原分析、训练合同与科学判据保持。

原设计的两次提交失败保留；当时未训练，预测未评估。两个旧终点差距与晚期风险分歧、第二噪声draw三个跨零区间与radial×8 init11增加.353716的反例均在上文保留。

尚未回答的问题

下一小问题仅development保持data7339/sigma=.5/全部四recipe/init/SGD/T512，换预指定noise733147，检验原正向判据是否至少3/4单元meanD>=.01且各至少2/3 init D>0。先注册明确方向、来源hash与pinned源码单一commit，再生成新噪声/训练；不能先算后称盲预测。 机制比例和train-only早停仍未建立；D7管损害机制边界，D2管U型曲线与早停。

证据

• 来源审计（studies/r007_noise_interaction/executed/b02_audit.json）
• 原设计未训练与两次提交失败（findings/r007_noise_interaction.md）
• 固定旧噪声结果与分歧（findings/r015_noise_interaction_resume.md）
• 旧配对汇总与警告（studies/r015_noise_interaction_resume/summary.json）
• 旧独立复算（studies/r015_noise_interaction_resume/executed/saved_evidence_verification.json）
• 新噪声预注册（studies/r023_noise_draw_replication/preregistration.json）
• 新噪声逐seed结果与区间（studies/r023_noise_draw_replication/summary.json）
• 新噪声finding及提交时序（findings/r023_noise_draw_replication.md）
• 全量证据重建（studies/r023_noise_draw_replication/executed/saved_evidence_verification.json）
• 独立主判据核验（studies/r023_noise_draw_replication/executed/independent_primary_verification.json）
• 恢复与不覆盖核验（studies/r023_noise_draw_replication/executed/resume_verification.json）

• 旧科学收尾与收据审计（studies/r023_noise_draw_replication/executed/r015_closeout_audit.json）

• 新data预测与结果（findings/r047_data_seed_transfer.md）

• 新data预注册（studies/r047_data_seed_transfer/preregistration.json）
• 新data逐初始化汇总（studies/r047_data_seed_transfer/summary.json）
• 新data独立复算与不覆盖恢复（studies/r047_data_seed_transfer/executed/independent_verification.json）
• 新data保存证据核验（studies/r047_data_seed_transfer/executed/saved_evidence_verification.json）
• 预注册提交5aa2a41；旧科学收尾09388db、8fa680d及收据0c64176见历史收尾审核（studies/r047_data_seed_transfer/executed/prior_closeout_audit.json）。
• 半强度噪声 finding（findings/r079_sigma_half.md）
• 半强度预注册（studies/r079_sigma_half/preregistration.json）
• 半强度汇总（studies/r079_sigma_half/summary.json）

• 半强度独立核验（studies/r079_sigma_half/executed/independent_verification.json）

• 半强度噪声实验复用 r047 的已保存控制；对应证据见上列新data与半强度噪声链接。

• 更换半强度noise draw的finding（findings/r091_noise_draw_half.md）

• 新draw预注册（studies/r091_noise_draw_half/preregistration.json）
• 新draw保存结果与配对区间（studies/r091_noise_draw_half/summary.json）
• 新draw独立核验与无覆盖恢复（studies/r091_noise_draw_half/executed/independent_verification.json）

• 旧收尾与报告重排审查（studies/r091_noise_draw_half/executed/prior_closeout_audit.json）；报告重排提交1ac6dbd，新draw科学预注册d8e5c64。

• noise733139失败再现预测与结果（findings/r109_noise_draw_recurrence.md）

• noise733139预注册（studies/r109_noise_draw_recurrence/preregistration.json）
• noise733139完整汇总（studies/r109_noise_draw_recurrence/summary.json）
• noise733139独立核验（studies/r109_noise_draw_recurrence/executed/independent_verification.json）
• 本次语言补审（findings/report_style_audit.md）；语言补审3ce87bb、元数据修正b33536e、唯一新预注册831cc9e。