AgentCanary：面向真实可执行环境的智能体安全基准

这是什么？

2026年6月，来自蚂蚁集团、清华大学、南京大学与北京大学的研究者发布了 AgentCanary，一套面向自主 AI 智能体的安全评测框架。它本身不是一种攻击，而是试图回答一个多数基准都答得不好的问题：当智能体被置于真实环境、并有人试图颠覆它时，它是否仍然安全、是否察觉到攻击、以及是否还能完成任务？

作者的核心判断是：智能体安全已经从内容问题转变为系统问题。一个纯文本模型被越狱，产出的只是一句不当的话；而一个被颠覆的智能体会修改文件、转移资金、发送消息，或留下持久状态，从而改变它在下一次运行时的行为。作者认为现有基准——静态问答集、模拟的工具返回、简单的”是否被攻击”二元标签——无法衡量这一类危害，于是构建了一种替代方案。

工作原理

AgentCanary 建立在三项设计选择之上。第一项是名为 Entry × Impact（入口×影响） 的风险分类法，它刻意将对抗性影响从何处进入智能体，与它最终造成何种危害区分开来。在入口一侧，涵盖直接提示注入、经由检索或工具返回内容的间接注入、记忆污染以及技能（插件）投毒；在影响一侧，则区分本地环境损坏、敏感数据泄露、持久状态污染等后果。将两者解耦很重要，因为同一种危害可经由多个入口达成，而同一个入口也可导致多种后果——只按”攻击类型”组织的基准会留下盲区。

第二项是高保真的真实可执行环境。框架并非向智能体提问再对回复评分，而是提供真实的工具与工件——收件箱、网页、日历、即时通讯、金融交易与第三方技能——让智能体在其上实际行动，并让状态在多步之间持续保留。正是这种持久性，使得对长时程与有状态攻击的评测得以诚实进行，因为副作用能够沿着一条轨迹真正累积。

第三项是基于轨迹的多维度评分。框架不将一切压缩为单一的攻击成功率，而是读取完整的执行轨迹，并沿三个正交维度打分：结果安全性（是否真的发生了危害）、安全意识（智能体是否识别出自己正被攻击）与任务效用（它是否仍完成了正当任务）。将三者分开至关重要：一个智能体可能在毫不知情的情况下避免了危害，可能识别出攻击却仍造成副作用，也可能仅凭拒绝一个完全无害的请求来”保持安全”。

为何重要

作者在三种智能体框架上评测了12个大模型，使用了单轮提示注入模板、迭代式红队测试以及针对具体场景的长时程攻击链。对防御者而言，核心发现不只是智能体可被攻击，而是它们常常无法识别自己所受的攻击，且这种”盲区”恰恰在最危险之处最为严重——在技能被投毒、状态被持久污染以及长时程执行的情形下。

结果与意识之间的这道鸿沟，才是有用之处。若采购或平台团队只盯着单一的”攻击成功率”，就会漏掉这样一种智能体：它在基准上碰巧避免了危害，却没有任何内部信号提示出了问题——而这种特性无法泛化到新环境。将意识与效用同安全性一并衡量，能更诚实地反映你真正买到的权衡，并提供一条可随模型与框架演进而重复运行的基线。

防御

其教训超越了这一具体框架。应在智能体将要运行之处评测它，而非在模拟沙箱中：危害由对文件、状态与下游工具的副作用来定义，因此无法产生这些副作用的测试也就无法衡量风险。把技能与记忆通道视为一等的攻击入口，而非事后补充——研究表明它们属于最薄弱的环节，故插件与长期记忆在被信任之前，理应具备来源可溯、最小权限与人工审查。不要把安全压缩成单一的通过/不通过；应分别追踪结果、意识与效用，因为一个避免了危害却未察觉攻击的智能体，距离失败只差一个环境之遥。同时保留那些不依赖智能体察觉的人工控制：对不可逆操作的确认、严格的工具权限，以及对不可信内容的隔离，无论某个模型表面上多么”清醒”，都仍是承重的防线。

状态

方面	详情
披露	arXiv 预印本（2606.10484），2026年6月
作者	Peiyang Li 等（蚂蚁集团、清华、南大、北大）
类别	防御性研究——智能体安全评测框架
方法	Entry × Impact 风险分类法；具备持久状态的真实工具环境；对结果安全性、安全意识、任务效用的轨迹级评分
范围	三种智能体框架上的 12 个大模型；单轮、迭代与长时程攻击
关键发现	智能体常常无法识别攻击，在技能投毒、持久状态与长时程执行下尤为突出
代码	开源（github.com/antgroup/Agent3Sigma-Canary）
野外利用	不适用——评测研究