MLCommons 越狱基准 v1.0:Resilience Gap 揭示了什么,又掩盖了什么

这是什么?

2026 年 10 月 2 日,MLCommons 与来自产业界和学术界的约 35 位合作者在 arXiv 发布了 MLCommons Jailbreak Benchmark v1.0。这是该联盟越狱评测方法论首次端到端完整运行,涵盖种子选择、攻击生成、人工标注、评判器校准、评分与报告。该基准并不发明新攻击,而是将已知越狱技术应用于 264 条种子提示(11 个危害类别,每类 24 条),衡量模型回答违反 AILuminate v1.4 评估标准的频率。

核心指标是 Resilience Gap(RG,韧性差距):同一条种子提示被越狱技术改写后,模型合规回答比例下降了多少。共评测了八个开放权重模型。

工作原理

每条种子提示对同一模型运行两次:一次原样(基线),一次经过十一种已报告攻击之一的转换。共实现了十二种攻击,并映射到包含四个大类、八个类别、十七种机制的分类体系;其中一种(Content Framing & Deception)因评判器限制而未纳入定量结果。回答按”合法化(Legitimization)“和”助力(Enablement)“各打 0–2 分,再由针对各危害类别的规则转换为违规或不违规的判定,判定由经人工标签校准的 LLM 评判器集合给出。

作者有意不公开具体的攻击提示、模板和代码,仅向获授权的审计方提供。本文遵循同样的原则:不复现任何攻击载荷。

为何重要

以下数据来自论文以及 ActuIA 的分析(2026 年 10 月 5 日):

• 不安全响应的比例从基线的 11.08% 上升到攻击下的 18.65%,平均 Resilience Gap 为 7.57 个百分点。
• 三个较小的”Accessible”模型平均差距约 21 个百分点,作者认为样本较小,结果仅为初步。
• 暴力犯罪与大规模杀伤性武器类别增幅最大;最有效的攻击家族是角色扮演/模板类和包装/模式类。
• 三个大型模型(Gemma 4 31B、DeepSeek-V4-Pro、Kimi K2.6)出现负差距,即攻击下不安全回答反而更少。作者列出的可能原因包括真实的稳健性、评估器或解码影响,以及越狱格式本身触发的拒答。

故事的另一半是测量质量。人工标注者对最终判定的一致性为 0.88,但对”合法化”和”助力”子分数仅为 0.54 和 0.63,且仅有 40 条回答经过双重标注。ActuIA 报道,评判器漏判了 16.4% 的不安全回答,并误判了 37.9% 的安全回答,因此绝对比率不应被当作精确估计。此外,该基准只覆盖单轮文本,不涉及多轮对话、图像或使用工具的智能体。其中一种攻击由同样出现在被测模型名单中的模型生成,可能使该模型的差距被高估。

防御

该论文是一套评估方法而非防御措施,但为评估模型的团队提供了实用指引:

1. 报告配对结果。 同时测量基线与攻击下的表现,并将 Resilience Gap 与能力和过度拒答指标一起解读;拒绝一切的模型显然”很安全”。
2. 把负差距当作问题而非通过。 在断定模型稳健之前,先排查评估器误差、解码设置和格式触发的拒答。
3. 量化评判器误差。 在比较模型之前,公布误差范围,并用一致性高的人工标签校准评判器。
4. 避免污染。 将用于生成攻击或评判回答的模型排除在被测名单之外。
5. 不要止步于单轮文本。 在自己的红队测试中加入多轮、多模态和智能体场景,因为该基准未覆盖这些场景。
6. 分层控制。 基准只衡量模型自身的拒答;模型周围仍需保留输出过滤、最小权限工具和监控。

状态

项目	详情
论文	arXiv 2610.02827,2026 年 10 月 2 日提交
被测模型	8 个开放权重模型(3 个”Accessible”,5 个”Large”);未包含闭源 API 模型
基线 / 攻击下不安全率	11.08% / 18.65%
计划	v1.1 将扩大人工基准真值、更换评判器,并在之后测试闭源模型;未给出日期(据 ActuIA,2026 年 10 月 5 日)