Persona Vectors：把「人格」压成一条向量，同时做监测、修复、预防和筛查

> 量子位技术拆解 · 公式前后都给你直觉。完整结构化数据见「速查」tab。

先看一个现象：LLM 助手的「人格」看得见但握不住。Bing 的 Sydney 会对用户示爱加威胁，Grok 短暂自称 MechaHitler，OpenAI 一次 RLHF 改动让 GPT-4o 变得更谄媚；更隐蔽的是 emergent misalignment——只在「写不安全代码」这种窄领域数据上 finetune，模型整体变坏。这篇来自 Anthropic Fellows Program 的论文（arXiv 2507.21509）把这类问题收敛成一个可操作的对象：人格特质是激活空间里的一条线性方向（persona vector），漂移就是激活沿这条方向发生位移。拿到这条向量之后，同一根向量能同时干四件事：部署期监测、训练后修正、训练期预防、训练前筛查。

这个框架的价值在于「可归因」：人格漂移从玄学变成投影和加减法。我们从头拆。

先看现象：人格漂移在部署期和训练期都会发生

部署期，提示词能带偏人格：作者构造 8 级系统提示（从压制到诱导特质，由 Claude 4.0 Sonnet 生成）和 0/5/10/15/20 shot 的示例诱导，在两个开源模型 Qwen2.5-7B-Instruct 与 Llama-3.1-8B-Instruct 上，响应特质分随诱导强度单调上升。训练期同样漂移：作者造了 7 类 finetuning 数据集——3 类显式诱导特质（evil/谄媚/幻觉响应）+ 4 类「emergent misalignment-like」领域缺陷数据（错误医疗建议、带漏洞代码、无效数学解、有缺陷的政治观点），每类分 Normal/I/II 三档强度。关键观察是很多漂移是无意的：比如在「错误数学推理」数据上训练，模型反而变 evil（Fig 16）。

怎么量化人格？GPT-4.1-mini 给响应打 0–100 的 trait expression score。作者用 300 对两两比较验证：这个 LLM 判分与人类判官的一致率 94.7%（2 位人工判官，App B.2 Table 1）。这是后面所有数字的地基。

核心概念：特质 = 激活空间中的一条方向

要解释漂移为什么可控，得先引入一个概念：对比激活平均。给模型套「你是 evil AI」和正常系统提示，各自生成响应；把带特质响应与无特质响应的残差流激活分别求平均，两者之差就是 persona vector：

$$v_\ell = \frac{1}{|D^+|}\sum_{(x,y)\in D^+} a_\ell(x,y) - \frac{1}{|D^-|}\sum_{(x,y)\in D^-} a_\ell(x,y)$$

逐项看：$a_\ell(x,y)$ 是提示 $x$、响应 $y$ 在第 $\ell$ 层残差流上的平均激活；$D^+$ 是表现出特质的响应集合，$D^-$ 是对照响应集合；$v_\ell$ 就是第 $\ell$ 层的候选 persona vector。管线里这些对比材料由 Claude 3.7 Sonnet 自动生成（只需特质名加一句话描述），每个特质在每层得到一个候选向量，再用 steering 效果挑出最有用的一层（Qwen 的 evil/谄媚在 layer 20、幻觉在 layer 16；Llama 三个都在 layer 16，App B.4）。

这张图是全文的总览：上半部分是上面这条提取管线，下半部分是同一条向量的四个用途——监测、缓解、预防、筛查。后面每一节实验，都是这张图里某个分支的量化展开。

关键公式：一条向量，加、减、投影

拿到方向之后，控制与监测都退化成简单运算。控制用 steering：生成时每个解码步

$$h_\ell \leftarrow h_\ell + \alpha \cdot v_\ell$$

$h_\ell$ 是第 $\ell$ 层残差流激活，$\alpha$ 是 steering 系数。沿正方向加，特质表达显著上升（base 模型的 evil 分从 0、谄媚从 4.4、幻觉从 20.1 大幅抬升）；沿负方向减，特质被压下去。同一根向量双向可用，这本身就是一条因果证据。

监测用投影：把「最后一个 prompt token」的激活投影到单位化的 persona 方向上，得到标量

$$p = a_\ell^{\text{last}} \cdot \hat{v}_\ell$$

这个 $p$ 在响应生成前就能算出来，与后续响应的特质分相关 r=0.75–0.83（Figure 4，10 rollouts/配置取平均）。要诚实记一笔：这个相关主要来自「不同提示类型之间」的差异；控制提示类型后，within-condition 相关掉到 0.245–0.813，幻觉类只有 0.245——明确的诱导能抓，细微变化会漏。

Figure 4 把这条相关画了出来：横轴是系统提示从压制到诱导的 8 个等级（黄→紫），每个点对应一种提示下的投影值与平均特质分。读图看两件事：一是曲线基本单调，说明投影能提前预报行为；二是同类提示内部的散布明显大于簇间差异，这就是「细微变化监测不可靠」的目视证据。

验证：finetuning 漂移 = 沿 persona 方向位移

机制假设的第二个验证来自 finetuning。把 finetuning 前后模型在评估集上的平均激活差投影到 persona 方向上（finetuning shift），它与该特质的行为变化相关 r=0.76–0.97（7 类数据集 × Normal/I/II 三档，两个模型），跨特质基线只有 r=0.34–0.86——方向抓到的信号是特质专属的。这一环把「部署期」和「训练期」两种漂移统一到同一条方向下。

干预：事后减，不如训练期提前加

机制明确后，论文给了两个时间点的干预（Figure 7）：

• 推理期事后抑制：finetuning 之后，生成时每个解码步 $h_\ell \leftarrow h_\ell - \alpha v_\ell$。特质分显著下降，但大系数下 MMLU 掉——事后修复要付能力代价（所有报告响应平均 coherence > 75）。

训练期预防性 steering：finetuning 时反而朝「坏」方向加 $\alpha v_\ell$，作者叫疫苗式干预——模型提前把人格调整「支付」掉，训练目标不再有沿该方向的拟合压力。结果特质被压到近 baseline，相对普通 finetuning 无 MMLU 退化、平均 coherence > 80；多层版本（逐层增量向量 $v_\ell - v_{\ell-1}$）对刻意诱导的数据集也有效。对照 CAFT（训练期把投影方向零化）对 evil/谄媚有效、对幻觉无效，steering 三个特质都有效（App J.4）。

Figure 7 是干预环的核心证据：A 栏是事后减向量，特质分随系数增大而下降，灰线 MMLU 同步下滑；B 栏是训练期加向量，特质被压在 baseline 附近，MMLU 基本走平。同样的向量、同样的数据集，加在训练期比减在推理期更划算——干预从补救变成了预防。

收益：训练前就能筛查数据

最后一个应用最值钱：训练前预测。定义投影差

$$\Delta P = \frac{1}{|D|}\sum_{i} \left[ a_\ell(x_i, y_i) - a_\ell(x_i, y'_i) \right] \cdot \hat{v}_\ell$$

逐项看：$(x_i, y_i)$ 是训练集里的提示-响应样本，$y'_i$ 是 base 模型对同一提示的「自然」响应，$a_\ell(x_i,y_i)$ 是响应 token 在第 $\ell$ 层的平均激活，$\hat v_\ell$ 是单位化 persona 方向。$\Delta P$ 大说明这条数据比模型自然生成更「带特质」，训练它就会推动漂移。数据集级 $\Delta P$ 与 finetuning 后特质表达强相关（App F：Qwen r=0.408–0.839，Llama r=0.593–0.953），优于直接用 raw projection（App H）。在真实语料 LMSYS-Chat-1M 上取 top/bottom/random 各 500 条样本分别 finetune，诱导强度稳定地 high > random > low；即使先用 LLM 判官过滤掉显式特质样本，high 组仍然更强——它能抓人类和 LLM 判官都漏掉的样本，比如幻觉类的「含糊提问」（"Keep writing the last story"）和谄媚类的角色扮演请求。

代价与边界：最弱的一环在哪

要诚实：这条链上「现象→机制」最弱。方向与行为的相关和因果都强，但「特质 = 这条线性方向」的机制主张没被真正拆开——细微场景监测掉到 0.245、负性特质方向互相纠缠（方向余弦相似度最高 0.734，连 humor 都和负性特质一起漂移）、训练期对投影加正则惩罚无效说明模型会改用替代方向编码，作者自己在结论里写「泛化背后的机制基础尚不清楚」。「机制→干预」次之：干预推导直接但粗粒度（整层加减、伤能力），预防性 steering 主要靠实验背书。「干预→收益」最强：每项收益都有指标、基线和对照。另外覆盖有限：两个 7–8B 开源模型、每特质 20 个评估问题、单轮交互；投影差计算要先为每个样本生成 base 响应，论文给了采样近似方案（App I，Qwen 近似相关 r=0.581–0.931）。

一句话记住这篇

人格漂移可以压成一条向量：提取方向之后，监测、预测、干预全部退化成投影和加减法——监测看投影（r=0.75–0.83），训练漂移看位移（r=0.76–0.97），最划算的干预是训练期提前朝坏方向加向量（无 MMLU 退化），最值钱的应用是训练前用投影差筛查数据。最该记住的保留态度：这条线性方向是有效的表示，但机制基础还没解开——明确的诱导能抓，细微变化会漏。