单个安全基准无法判断你的智能体是否安全

这是什么？

这是 2026 年的一项元研究，它把智能体安全基准本身作为分析对象，而不是再提出一个新基准。在 《Taxonomy and Consistency Analysis of Safety Benchmarks for AI Agents》（arXiv:2605.16282，cs.CY）中，来自麦吉尔大学、基恩大学和扎耶德大学的研究者，编目了 2023 年 4 月至 2026 年 3 月间发布的 40 个行为型智能体安全基准，外加五个相邻的评估器与数据集工件，并提出一个看似简单的问题：如果两个团队在两个不同的”智能体安全”基准上评测同一个智能体，它们会得出相同结论吗？

答案是否定的。论文的核心结论是：基准的选择可以让一个模型从”看起来安全”翻转为”看起来不安全”，因为这些基准在同一个标签下悄悄衡量着不同的东西。对于任何依赖”在基准 X 上安全”这类说法的人，这就是全部要害：一个孤立的分数几乎毫无意义，除非你知道用的是哪个基准、它实际施加了什么压力、以及它如何打分。

工作原理

作者构建了一个描述”基准究竟如何评测智能体”的六轴分类法，并据此对 40 个基准进行编码。六个轴分别是：对抗压力来源（危险来自恶意用户、被注入的文档，还是智能体自身有缺陷的规划？）、环境保真度（文本沙箱 vs. 容器化工具 vs. 真实系统）、智能体能力范围（纯文本 vs. 真实调用工具与执行代码）、打分方法、安全评估粒度（最终结果 vs. 逐步行为），以及安全-效用耦合（衡量的是孤立的拒答，还是与完成任务之间的权衡？）。

如此编码整个语料后，暴露出这个领域有多么集中。在环境保真度上，40 个基准中有 34 个运行在沙箱里，4 个是容器化的，只有 1 个触及真实环境——因此所报告的”安全”，恰恰是在最不像生产环境的场景中测得的。论文还发现，该领域大量测试外部强加的威胁（有害请求、提示注入），却对智能体内部风险测试不足，比如一个自主智能体自行推进危险计划；论文认为鲁棒性实际上没有被基准化。

为证明这种分歧真实存在而非建模假象，作者在四个被广泛使用的基准（AgentHarm、AgentDojo、InjecAgent 和 ODCV-Bench）上、针对具有完整数据的模型，进行了跨基准一致性检验，并给出 95% 置信区间与肯德尔 W 一致性检验。结果：W = 0.10（p = 0.94）——从统计上看，没有证据表明这四个基准以相同顺序对模型排序。两两相关也不稳定，任何一对都无法在多重比较校正后保持显著。

为什么重要

智能体的安全声明正在成为一种采购货币。“通过 AgentHarm""在 AgentDojo 上得分 X”之类的表述，越来越多地出现在模型卡、销售演示和内部的 go/no-go 决策里。这项工作表明，这些数字并不可互换，甚至常常互不相关，因此把其中任何一个当作那个安全裁决都是错误的——一个模型可能在某个榜单上居首，却在另一个施加不同威胁的榜单上接近垫底。

沙箱偏差同样重要。如果那个令人安心的数字来自一个受限的文本环境，而你即将把同一个模型部署到具备真实工具访问、联网能力和代码执行的场景中，那么基准所测的问题严格来说比你面对的更简单。在该语料中，高保真度评估所报告的安全性与沙箱评估系统性地不同——而且往往更差。“在基准上安全”与”在你的部署中安全”之间的鸿沟，正是事故发生之处。

防御

这篇论文是一项测量层面的贡献；其实用价值在于你如何消费和运行智能体安全评估。

• 永远不要相信单一的基准分数。 用威胁模型明确不同的多个基准（用户主导的危害、间接注入、自主失准）做三角验证，并预期排序会分歧——这种分歧是信息，而非噪声。
• 让环境保真度匹配你的部署。 沙箱、纯文本的结果无法迁移到具备真实工具与代码执行的智能体。在相信”安全”标签之前，先在接近生产的条件下重新评估。
• 显式地测试鲁棒性。 由于自适应与对抗鲁棒性是覆盖最少的一轴，请加入你自己的自适应红队，而不要假设某个静态基准已经捕捉到了它。
• 评估智能体内部风险，而不仅是被注入的攻击。 纳入那些”失败源于智能体自身计划、而非外部载荷”的场景——这一类被系统性地测试不足。
• 要求最低限度的报告。 无论是阅读还是发布安全结果，都要求明确说明威胁模型、环境保真度、能力范围、打分方法、粒度以及安全-效用权衡。论文提出的正是这套最低报告标准，它能帮你把可比较的数字与不可比较的数字区分开。

状态

项目	参考	说明
分类法与一致性分析（本工作）	arXiv:2605.16282	40 个基准按 6 轴编码；四基准上肯德尔 W = 0.10（p = 0.94）——排序毫无一致性
智能体安全综述	arXiv:2510.06445	三支柱（应用/威胁/防御）分类法，覆盖 160+ 篇论文；勾勒更广阔的图景
保护 LLM 智能体的设计模式	arXiv:2506.08837	互补的防御视角：用架构模式约束智能体以抵御提示注入