系统:运行中
← 返回所有攻击
RESEARCH LOW NEW

提前退出的大模型:退出深度会影响越狱鲁棒性吗?

2026年10月的一篇 arXiv 预印本发现,提前退出大模型的浅层出口比完整模型更能抵御 GCG 后缀攻击,但效果在很大程度上取决于基础模型。

2026-10-24 // 4 分钟 affects: llama-2-7b, llama-3-8b, early-exit-llms

这是什么?

2026年10月10日,Lass Najmuldeen 和 Seyedhamidreza Mousavi 在 arXiv 发布了《Exploring Jailbreak Vulnerability Across Depth-Based Dynamic Inference in Large Language Models》(2610.15207)。基于深度的动态推理允许模型从中间层直接输出答案以节省算力。根据摘要,作者提出了一个此前未被研究的问题:退出层的不同是否会改变模型被越狱的难易程度?本文总结的是一篇 v1 预印本,不描述任何新攻击,也不提供操作性细节。

工作原理

该研究使用 Balcony,这是2025年3月发表的一种轻量级提前退出方法(arXiv 2503.05005),它冻结预训练模型,只训练小型退出模块。作者将其应用于 LLaMA2-7B 和 LLaMA3-8B,在第15、18、21层以及完整的32层模型处设置出口。每个出口都用贪婪坐标梯度(GCG,Zou 等人,arXiv 2307.15043,2023年)攻击150步,测试 HarmBench 和 AdvBench 各50个行为。实用性则在六个标准基准上衡量。

为什么重要

论文报告了三项发现。第一,浅层出口比深层出口更稳健。对于 Balcony-LLaMA3-8B,在 HarmBench/AdvBench 上的攻击成功率在第15层为 4%/2%,完整模型为 28%/28%;LLaMA2-7B 的差距较小(第15层为 36%/46%,完整深度为 44%/54%)。第二,更深的出口能达到更低的攻击损失,因此后缀更容易针对它们进行优化。第三,对抗后缀在各个深度上对实用性的损害大致相同。

阅读时应保持谨慎。作者说明,这些发现只是相关性结论,仅基于单一攻击和固定的出口位置,且每个基准只使用了50个行为。他们还指出,浅层出口的鲁棒性取决于基础模型,并非提前退出本身的固定属性;攻击下实用性不变也不代表模型稳健。我们尚未看到独立复现。

防御

论文没有给出具体的对策,只是笼统地提出可以据此设计更难被越狱的动态推理方法。以下是基于研究结果(而非作者建议)得出的合理工程启示:

  • 不要假设把请求路由到更便宜、更浅的出口就更安全;应逐个出口单独测试。
  • 在你部署的每个出口和每种路由配置上都运行越狱评估,而不仅仅是完整模型。
  • 评估中使用多种攻击,因为本研究仅使用了 GCG。
  • 不要把正常任务上的实用性当作鲁棒性的替代指标。
  • 保持独立于模型的输入输出过滤,避免薄弱的出口成为唯一的防线。
  • 更换基础模型时重新评估,因为 LLaMA2 与 LLaMA3 之间差异很大。

状态

项目详情
论文arXiv 2610.15207v1
发布日期2026年10月10日
研究的方法Balcony(arXiv 2503.05005,2025年3月)
攻击GCG(arXiv 2307.15043,2023年7月)
代码github.com/LassNajmuldeen/balcony-jailbreaking
CVE无;学术研究,并非产品漏洞

Sources