智能体的克制：AI 智能体知道何时不该行动吗？
一项新基准测试评估带工具的智能体是否知道何时“不”行动。表现最好的前沿智能体仅得 59.5% —— 而且这一能力几乎不随模型能力增强而提升。
这是什么？
2026 年 7 月 11 日，一支研究团队在 arXiv 上发表了《AgentAbstain: Do LLM Agents Know When Not to Act?》。该工作被提出为首个针对作者所称的智能体克制（agentic abstention）的系统性评测框架——即一个带工具的智能体经过校准的能力：识别出正确的做法是什么都不做、请求澄清或将控制权交还给人类，而不是径直行动。
这一视角很重要，因为迄今几乎所有智能体基准都在衡量任务的成功：智能体订到机票了吗？关闭工单了吗？执行了查询吗？极少有基准衡量相反的能力——知道何时不要去订、去关、去执行。面对含糊、相互冲突的约束或失效的工具，一个总是行动的智能体会欣然执行一项非预期、且往往不可逆的操作。AgentAbstain 试图为这一盲点给出量化数字，而这个数字并不令人安心。
工作原理
AgentAbstain 是一个成对任务基准。它建立在面向智能体的分类法之上，包含八类克制场景，分布于两个阶段：执行前推理（智能体应在行动前发现问题）与运行时发现（问题只在任务进行中才显现）。基准包含跨 42 个可执行沙箱环境的 263 组成对任务。每一对都是关键的设计要点：一个“应当行动”的任务，以及一个“应当克制”的变体，二者仅在指令、某个工具或环境状态上存在一处受控扰动。由于两个版本高度相似，智能体无法靠一味谨慎或一味积极取得好成绩——它必须真正区分这两种情形。
为防止基准泄漏进训练数据，作者构建了 AbstainGen，一条自动化流水线，端到端地合成沙箱环境并生成成对任务，通过确定性重放与语义 LLM 评审进行校验。新的任务实例可按需重新生成，人工标注者判定所抽样任务中有 94%–98% 设计良好。
在4 种智能体框架中的 17 个前沿模型上测得的结果：表现最好的智能体（Gemini 3.1 Pro）仅达到59.5% 的成对准确率——即在一对任务的两侧都答对的比例略低于十分之六。有两点发现尤为突出。其一，克制能力在很大程度上独立于一般的任务求解能力，因此换用更强的模型并不能弥合这一差距。其二，作者记录了一种他们称为事后克制的失效模式：智能体先执行了不可逆的动作，事后才意识到本应克制。
为什么重要
这是一项系统性的安全属性，而非单个可利用的漏洞，也正因如此才值得关注。提示注入、工具投毒以及“混淆代理”类攻击，最终都以同一种方式收场：智能体执行了本不该执行的动作。克制是最后一道防线，位于所有这些威胁之下：即便上游控制失守，一个能可靠地在不可逆步骤前停下的智能体也能限制影响范围。缺乏这种本能的智能体，会把每一条含糊指令、每一个格式错误的工具返回、每一条注入的指令，都变成潜在的真实动作。
“独立性”这一结论，对那些指望靠模型升级来解决安全问题的人而言尤其扎心。如果“知道何时停下”不随原始能力增长，那么部署更聪明的智能体反而可能增加风险：它执行得更多、更快，且同样盲目。事后克制让情况更糟——一个只在发出邮件、转出资金或删掉数据表之后才认识到错误的智能体，其实什么有用的东西都没有认识到。
防御
克制是模型的弱点，但缓解措施主要在架构层面——不应指望模型自我纠正。
- 在模型之外对不可逆动作设卡。 OWASP AI Agent Security Cheat Sheet 明确指出：对任何不可逆或高影响操作（转账、删除记录、更改配置、发送外部消息）都要求人工确认。不要让智能体独自裁决何时停下。
- 以确定性方式强制克制。 在智能体提出的动作与其执行之间放置一层策略或引用监控器，使“我该行动吗？”由你所掌控的规则来回答，而非由模型临场推断。
- 在评测中把克制视为一等能力。 对同一任务同时测试“应当行动”与“应当克制”两侧。只衡量任务完成度的红队套件，会把一个鲁莽的智能体评为优秀。
- 不要假设规模能解决问题。 由于克制独立于任务求解技能，应在每次模型或框架升级后重跑克制测试，而不是想当然地认为更强的模型更安全。
- 面向“行动前”而非“行动后”设计。 在不可逆步骤之前插入检查点，并在这些节点记录智能体的推理，使错误决策在关卡处被拦截，而不是在审计日志中被发现。
状态
| 项目 | 参考 | 日期 | 备注 |
|---|---|---|---|
| AgentAbstain 基准 | arXiv:2607.10059 | 2026-07-11 | 263 组成对任务、42 个沙箱环境、8 类克制场景；代码/数据见 agentabstain.github.io |
| 测得最佳智能体 | Gemini 3.1 Pro | 2026-07 | 在 17 个前沿模型、4 种框架上取得 59.5% 成对准确率 |
| 高影响动作的人在回路 | OWASP AI Agent Security Cheat Sheet | 2026 | 对不可逆操作要求显式确认 |
| 过度自治 / 未经校验的动作 | OWASP Top 10 for Agentic Applications | 2025-12-09 | 将未受控的不可逆动作列为主要智能体风险之一 |
结论令人不安却清晰：一个能完成任务的智能体，与一个知道何时不该动手的智能体，并不是同一回事。在“何时不该行动”被衡量、被强制、并在模型之外设卡之前，能力与安全将持续朝相反方向拉扯。
本文所报结果来自一项日期为 2026 年 7 月的单一基准研究，且与版本相关；在某一模型版本上观察到的结果未必在下一版本上成立。