AutoDojo：为什么「动作开放」型任务会悄悄击穿提示注入防御

这是什么？

2026 年 6 月 19 日，研究者（Xinhang Ma、Taoran Li、Chaowei Xiao、Zhiyuan Yu、Ning Zhang 与 Yevgeniy Vorobeychik）发布了 AutoDojo，它是知名间接提示注入（IPI）基准 AgentDojo 的自适应扩展。论点很直接：业界用来判定防御「有效」的基准都是静态的——它们重放一组固定的注入——因此无法说明防御面对会自适应的攻击者时能否站得住脚。一旦允许攻击者自适应，哪怕是廉价且盲目地进行，大多数已发表的 IPI 防御都远比其宣称的数字要脆弱。代码已公开。

间接提示注入指的是：智能体读取由攻击者控制的内容——网页、邮件、工具返回结果——并把其中隐藏的文本当作指令执行。AutoDojo 并不发明新的注入，而是取用已有注入，并针对当前运行的防御对其进行优化。

工作原理

AutoDojo 把 AgentDojo 的工具调用智能体包裹进一个黑盒优化循环。攻击者只能看到任何外部用户都能看到的成功/失败信号——没有模型权重，没有梯度——并在一个离线的「优化器」LLM 上花费很小的查询预算。每一轮有三步：结果反馈（把最新候选注入投向受防护的在线智能体并打分）、诊断（优化器基于历史候选的排行榜进行推理，形成关于目标的假设）、生成（在该假设指导下产出一个新候选）。每个候选都在一组读取同一被投毒内容的用户任务上评分，从而把偶然成功与稳定成功区分开。整体是一场由 LLM 驱动的进化搜索：排行榜是种群，ASR（成功率）是适应度函数，循环只跑数次迭代。

关键在于：由于是端到端地查询智能体，运行中的防御隐式地参与了每一次评估——注入会针对它专门优化，而攻击者始终无需识别出它是哪种防御。

论文评估了三大类共九种防御：提示层（Sandwich、Reminder、Spotlighting）、过滤/检测类（Llama Prompt Guard 2、PIGuard、一个 ProtectAI 的 DeBERTa 分类器，以及一个基于 LLM 的 DataFilter 净化器）、系统层（Progent 与 DRIFT，二者从用户请求推导出允许的工具调用轨迹并拦截偏离）。目标覆盖五个模型：GPT-4o-mini、GPT-5.4-mini、Gemini-2.5-Flash、DeepSeek-v4-Flash 与 Claude-Haiku-4.5。

为什么重要

有两个结果值得关注。第一，静态的「0%」并不等于稳健。面对一个把静态成功率压到 0% 的过滤器，AutoDojo 整体恢复到 28%。在 GPT-4o-mini 上，基于 LLM 的净化器从 12.6% 升到 33.4%——几乎三倍——DeBERTa 分类器从 7.2% 升到 15.4%。在固定基准上验证过的防御，一旦攻击者开始迭代就可能崩塌。

第二——这是结构性的发现——任务规格的精确度决定了风险。论文定义了三个层级：完全指定（用户给出动作与参数）、参数开放（动作固定，参数从内容中读取）、动作开放（用户不指定任何动作，一切听从内容）。在动作开放型任务上，攻击对同一个 0% 过滤器恢复到 64%，因为注入可以伪装成普通数据、而非指令式文本——而后者正是检测器被训练去捕捉的对象。如果你的产品经常对智能体说「读一下这个然后处理掉」，你就已经把动作的选择权交给了不可信内容。

数字还揭示了一项代价：拦截最多的过滤器防御，也会把合法任务上的可用性削减三分之一到一半，在某些任务集上仅剩 5–25% 可用。这里的安全并非免费，用一个从未做过自适应测试的检测器去换取安全，可能换来的极少。

防御

• 对防御做自适应测试，而不仅是静态基准。 AgentDojo 式重放得出的「0% ASR」只是下限，不是保证。信任某个控制项之前，先用自适应优化器（AutoDojo 已开源）重跑一遍。
• 优先系统层控制，而非提示/过滤小技巧。 在论文中，约束轨迹的防御（Progent、DRIFT）是面对自适应攻击最稳健的一类。请强制执行由真实请求推导出的最小权限工具轨迹，并拦截偏离。
• 收缩你的「动作开放」面。 让应用（或用户）来指定动作与参数；绝不让不可信内容决定智能体做什么。把每个任务约束到一组预先批准的动作。
• 把所有工具输出与检索内容都当作数据，绝不当作指令。 指令检测过滤器会漏掉伪装成数据的注入；因此不要只靠它们——把它们置于授权层之下。
• 盯住可用性账单。 部署过滤器时要测量合法任务的成功率；一个把可用性砍半、却仍留下两位数自适应 ASR 的防御是一笔坏买卖。

Status

项目	详情
发表	arXiv 2606.15057v2，2026 年 6 月 19 日
类型	对 IPI 防御的自适应黑盒评估（研究）
受测防御	Sandwich、Reminder、Spotlighting；Llama Prompt Guard 2、PIGuard、ProtectAI、DataFilter；Progent、DRIFT
受测模型	GPT-4o-mini、GPT-5.4-mini、Gemini-2.5-Flash、DeepSeek-v4-Flash、Claude-Haiku-4.5
代码	公开（github.com/xhOwenMa/AutoDojo）

要点：提示注入防御应当以自适应攻击者为标尺来衡量，而最危险的智能体任务，正是那些让攻击者控制的内容来选择动作的任务。