系统:运行中
← 返回所有攻击
RESEARCH LOW NEW

被忽略而非被拒绝:低提示注入成功率背后隐藏了什么

2026 年 10 月对 33000 条智能体轨迹的审计发现,大多数失败的提示注入只是被忽略而非被拒绝,仅更改系统提示就能让攻击成功率从 0.2% 升至 43%。

2026-10-25 // 5 分钟 affects: open-weight-agents-2b-14b, injecagent, agentdojo

What is this?

2026 年 10 月 16 日,Farhan Zarif 等作者在 arXiv 上发布了《Ignored, Not Refused: What Low Prompt-Injection Success Rates Hide in Small Tool-Using Agents》(2610.23254)。间接提示注入基准通常报告攻击成功率(ASR),它把每一次失败的攻击都算作防御成功。作者在两个公开基准 InjecAgent(2024 年 3 月)和 AgentDojo(2024 年 6 月)上,审计了十一个开源权重智能体(20 亿至 140 亿参数)的 33000 条轨迹,以弄清攻击为何失败。本文概述的是一篇 v1 预印本的摘要;我们未能读到全文,文中也不涉及任何新的攻击方法。

How it works

该审计是一项评估研究,而非漏洞利用。一个不看标签的 LLM 评判器对每次失败攻击的原因进行了分类。据摘要,多数失败是智能体忽略了被注入的指令(76% 至 80%),少数是明确拒绝(17% 至 18%)。换言之,模型并没有识别出攻击,只是没有按其行动。

随后作者仅更改系统提示,权重保持不变。在 InjecAgent 上,ASR 从 0.2% 升至 43%。他们还提出了 Attack-Task Outcome Matrix(ATOM),把攻击结果与任务结果结合起来。在 21.7% 的 AgentDojo 回合中,智能体保持了安全,但没有完成用户的任务。据称标注语料、评判提示和分析代码已发布;我们查阅的 arXiv 页面未给出直接链接,因此不引用。

Why it matters

较低的 ASR 可能只是指令遵循能力弱,而非真正的稳健。一个忽略一切异常内容的智能体看起来很安全,却可能完成不了用户任务,而且提示或部署的细微改动就会让这种表面的安全消失。因此,只报告 ASR 的评估可能高估安全性,也无法区分“已防御”与“没理解”。这与更广泛的现象相符:INFUSE(arXiv 2610.20776,2026 年 10 月 14 日)在 41824 次对抗运行中测试了 19 个模型,平均攻击成功率为 19.6%,各模型从 3.2% 到 41.9% 不等。

需要注意:这是尚未独立复现的预印本,只涉及小型开源权重模型,结果依赖 LLM 评判器。我们未验证这些结论是否适用于前沿模型。

Defenses

作者的结论是,除 ASR 外,评估还应报告攻击如何失败以及用户任务是否完成。据此可采取的实际措施:

  • 同时报告任务完成情况和攻击结果,而不是只看 ASR。
  • 每当系统提示、工具集或模型版本变化时,重新运行注入评估;相同权重也可能表现迥异。
  • 在测试日志中区分“拒绝”与“忽略”,以了解模型是否识别了攻击。
  • 不要只依赖模型自身行为:实施最小权限、对敏感工具调用进行确认,并在模型之外过滤输出。
  • 使用多个基准进行评估,因为单一基准的结果未必可迁移。

Status

项目详情
论文arXiv 2610.23254v1
发布日期2026 年 10 月 16 日
被审计的基准InjecAgent(arXiv 2403.02691,2024 年 3 月);AgentDojo(arXiv 2406.13352,2024 年 6 月)
相关工作INFUSE(arXiv 2610.20776,2026 年 10 月 14 日)
CVE无;学术研究,非产品漏洞

Sources