提前退出的大模型:退出深度会影响越狱鲁棒性吗?
2026年10月的一篇 arXiv 预印本发现,提前退出大模型的浅层出口比完整模型更能抵御 GCG 后缀攻击,但效果在很大程度上取决于基础模型。
这是什么?
2026年10月10日,Lass Najmuldeen 和 Seyedhamidreza Mousavi 在 arXiv 发布了《Exploring Jailbreak Vulnerability Across Depth-Based Dynamic Inference in Large Language Models》(2610.15207)。基于深度的动态推理允许模型从中间层直接输出答案以节省算力。根据摘要,作者提出了一个此前未被研究的问题:退出层的不同是否会改变模型被越狱的难易程度?本文总结的是一篇 v1 预印本,不描述任何新攻击,也不提供操作性细节。
工作原理
该研究使用 Balcony,这是2025年3月发表的一种轻量级提前退出方法(arXiv 2503.05005),它冻结预训练模型,只训练小型退出模块。作者将其应用于 LLaMA2-7B 和 LLaMA3-8B,在第15、18、21层以及完整的32层模型处设置出口。每个出口都用贪婪坐标梯度(GCG,Zou 等人,arXiv 2307.15043,2023年)攻击150步,测试 HarmBench 和 AdvBench 各50个行为。实用性则在六个标准基准上衡量。
为什么重要
论文报告了三项发现。第一,浅层出口比深层出口更稳健。对于 Balcony-LLaMA3-8B,在 HarmBench/AdvBench 上的攻击成功率在第15层为 4%/2%,完整模型为 28%/28%;LLaMA2-7B 的差距较小(第15层为 36%/46%,完整深度为 44%/54%)。第二,更深的出口能达到更低的攻击损失,因此后缀更容易针对它们进行优化。第三,对抗后缀在各个深度上对实用性的损害大致相同。
阅读时应保持谨慎。作者说明,这些发现只是相关性结论,仅基于单一攻击和固定的出口位置,且每个基准只使用了50个行为。他们还指出,浅层出口的鲁棒性取决于基础模型,并非提前退出本身的固定属性;攻击下实用性不变也不代表模型稳健。我们尚未看到独立复现。
防御
论文没有给出具体的对策,只是笼统地提出可以据此设计更难被越狱的动态推理方法。以下是基于研究结果(而非作者建议)得出的合理工程启示:
- 不要假设把请求路由到更便宜、更浅的出口就更安全;应逐个出口单独测试。
- 在你部署的每个出口和每种路由配置上都运行越狱评估,而不仅仅是完整模型。
- 评估中使用多种攻击,因为本研究仅使用了 GCG。
- 不要把正常任务上的实用性当作鲁棒性的替代指标。
- 保持独立于模型的输入输出过滤,避免薄弱的出口成为唯一的防线。
- 更换基础模型时重新评估,因为 LLaMA2 与 LLaMA3 之间差异很大。
状态
| 项目 | 详情 |
|---|---|
| 论文 | arXiv 2610.15207v1 |
| 发布日期 | 2026年10月10日 |
| 研究的方法 | Balcony(arXiv 2503.05005,2025年3月) |
| 攻击 | GCG(arXiv 2307.15043,2023年7月) |
| 代码 | github.com/LassNajmuldeen/balcony-jailbreaking |
| CVE | 无;学术研究,并非产品漏洞 |