为什么微调会瓦解安全护栏：对齐相似性效应

这是什么？

在 ACL 2026（计算语言学协会第 64 届年会，美国圣地亚哥，2026 年 7 月）上，Lei Hsiung、Tianyu Pang、Yung-Chen Tang、Linyue Song、Tsung-Yi Ho、Pin-Yu Chen 和 Yaoqing Yang 发表了论文《Why LLM Safety Guardrails Collapse After Fine-tuning: A Similarity Analysis Between Alignment and Fine-tuning Datasets》。该论文针对一个众所周知却缺乏解释的失效现象：取一个已对齐的模型，在一项普通任务（甚至是无害任务）上进行微调后，它的拒答行为往往就不再成立。

以往大多数工作把这视为下游问题，并在下游修复：在微调时剔除有害梯度，或在训练过程中持续重新注入安全数据。ACL 2026 的这篇论文则把视线转向上游。它追问：模型护栏的持久性，是否在客户接触模型之前就已部分决定——取决于最初安全对齐数据的选择。

工作原理

作者通过两个数据集之间的表征相似性来研究护栏退化：一是最初用于对齐模型的上游数据，二是随后用于微调的下游数据。其核心发现是一种关系，而非漏洞利用：当微调任务与对齐数据在表征上相似时，护栏显著削弱，模型也变得更容易被越狱；当两个数据集不相似时，所得模型则明显更稳健。

直觉在于：对齐位于模型表征空间中的某个特定区域。在与该区域重叠的数据上微调，恰好拉动了编码拒答行为的那些参数，于是安全行为作为任务学习的副作用被覆盖。而在位于别处的数据上微调，对这些参数的扰动更小。论文对收益作了量化：选择与下游任务相似度低的对齐数据，相较于高相似度情形，可将模型的有害性得分降低多达 10.33%。

这是对一种已知退化为何发生以及如何缓解的分析——文中没有攻击载荷，也没有任何内容说明如何越狱某个具体产品。其贡献是一个防御方此前大多忽视的设计变量。

为什么重要

微调如今已是大规模操作。厂商提供微调即服务，企业在专有语料上适配开放权重模型，而每一条这样的流水线都继承了护栏瓦解的问题。这项工作令人不安的含义是：一个各方面都做对了的客户——数据无害、无对抗意图——仍可能得到一个安全性实质下降的模型，而原因可以追溯到基础模型当初是如何对齐的，这一点客户既看不到也无法更改。

它同时重新界定了责任。如果上游对齐数据与下游任务之间的相似性是主导因素，那么最安全的干预点就在模型提供方，在对齐数据集的构成上，而不仅仅在客户的微调环节。这既是技术问题，也是治理问题：安全的持久性在一定程度上是随基础模型一起交付的属性。

防御

论文自身的建议指向上游：在构建或选择基础模型时，将对齐数据集的设计视为安全持久性的一个杠杆，优先采用在表征上远离该模型日后将面对的微调领域的对齐数据。对微调即服务平台而言，这成为一项选择标准——优先选用在下游适配下所测越狱风险较低的上游模型，而不是假定任何已对齐的检查点都同样牢固。

对于只掌控下游一侧的团队，这一发现并未取代常规缓解措施，而是对其补充。请在微调之后持续重新评估安全性，而不是信任基础模型最初的对齐，因为该对齐可能已不复存在；在一组预留的有害提示上度量拒答行为，作为交付微调模型前的回归门槛。将其与论文所对照的现有下游技术相结合——约束或过滤有害梯度、在训练中强化安全数据——并对模型实际能执行的操作保持最小权限，使得一个被部分侵蚀的护栏不至于成为请求与操作之间唯一的屏障。更广泛的教训是：安全对齐并非检查点的固定属性；它在适配下是脆弱的，每当权重发生变动，都需要重新度量。

状态

项目	详情
类型	学术研究（对已知失效模式的分析），并非产品漏洞
出处	ACL 2026（第 1 卷：长文），圣地亚哥，2026 年 7 月，第 16601–16619 页
核心发现	对齐数据与微调数据表征相似度高会削弱护栏；相似度低则提升稳健性
量化效果	使用低相似度对齐数据时，有害性得分最多降低 10.33%
适用对象	模型提供方与微调即服务平台（上游对齐数据设计）
CVE	无——不涉及具体产品漏洞