把有害任务拆成无害步骤,即可绕过智能体护栏
2026年5月底的一个红队框架将恶意目标分解为单独看来无害的子任务,在以前沿模型构建的智能体上实现了最高100%的绕过率——现有防御只能部分遏制。
这是什么?
2026年5月29日,来自浙江大学、清华大学、上海人工智能实验室和华东师范大学的研究者在 arXiv 发布了 TRACE: Task-Aware Adaptive Self-Evolving Agentic Jailbreaking。该研究针对的是带工具智能体特有的弱点,而非回答单一问题的聊天机器人:一个负责规划并执行多步工作流的智能体,即使它收到的任何单条指令看起来都并不明显危险,也可能被诱导去完成整个恶意任务。
出发点的观察既简单又令人不安。安全对齐和大多数护栏都是逐条消息判断有害性。然而智能体的工作恰恰是把目标拆解成步骤。如果攻击者自行完成这种分解——把恶意目标拆成一系列依赖上下文的小操作,每一步看起来都无害——那么逐条消息的安全检查几乎无从标记,而智能体则会跨步骤把危害重新拼装起来。TRACE 正是作者构建的、用于衡量这一思路能走多远的框架。
工作原理
TRACE 被定位为一个用于分析的红队框架,作者明确表示其目的是揭示并缓解智能体风险,所有实验均在受控、隔离的环境中进行。其威胁模型是一名黑盒攻击者,只通过目标智能体的正常接口与之交互:不接触模型权重,无法修改工具,也不改变执行环境。攻击者提交指令,观察响应和执行轨迹,然后进行调整。值得注意的是,论文将该攻击者描述为一名安全领域的非专家,却仍能让智能体执行专家级的工作流。
该方法包含三个概念性阶段,理解每一步都无需可复现的攻击载荷。
第一,任务分解。恶意目标被按多种分解方案改写为若干候选子任务序列。一个语义一致性判别器会剔除偏离原始目标的序列,因此留存下来的序列仍忠实地代表该目标——只是被分散开来。
第二,“最少有害子任务”选择规则。在忠实的序列中,TRACE 保留使有害性超过阈值的子任务数量最少的那一条。结果是一条在语义上等价于原始请求、但其中大多数步骤单独来看都显得无害的链条。
第三,由反馈驱动的自我演化。智能体直接执行的子任务保持不变;被拒绝、或被接受但执行失败的子任务,则被改写进一个”任务感知的伪装场景”,该场景由四个部分组成——角色、环境、指令和启发式——它们取自根据智能体可用工具初始化的组件池。随后 TRACE 每次改变一个组件对这些场景进行变异,采用具名的变换动作(缩短、替换、强化、重排、剪枝、具体化),并以”完成度减去拒绝”为每次尝试打分。一个受 Q-learning 启发的规则会学习哪些变换往往有帮助,一个记忆模块则归档得分最高的场景与组件,以便在相似子任务上复用。这里没有引入任何新颖的攻击原语:所重组的技术(任务拆分、角色/场景框定、迭代精化)都是已知的;TRACE 的贡献在于以有纪律的方式将它们串联并使之演化。
为何重要
值得关注的是所测得的数字。面对以 GPT-5.2、Gemini-3-Flash 和 DeepSeek-V4-pro 构建的三个智能体,TRACE 在 AgentHarm 基准上报告的平均成功分数与绕过率分别为 0.40 / 0.90(GPT)、0.73 / 0.98(Gemini)和 0.72 / 1.00(DeepSeek)——而此前最强的基线 Red-Agent-Reflect 在 GPT 智能体上为 0.15 / 0.31。在更具挑战性的 AdvCUA 基准(面向计算机使用智能体的真实操作系统任务)上,TRACE 在三个智能体上都达到了满分 1.00 的绕过率,成功分数分别为 0.31、0.46 和 0.50,而大多数基线接近于零。
有两点超出了单纯的排行榜意义。攻击者在假设上就很弱——黑盒访问、没有安全专业知识——但分解策略却能迁移到三个不同的前沿模型上。而且该方法直接源于护栏的构建方式:一个独立评估每条消息的过滤器,对于只存在于”逐个可接受的步骤之组合”中的危害在结构上是盲的。任何让智能体代表用户串联工具调用的团队,都会继承这一盲点。
防御
在整条轨迹上追踪累积危害,而非逐条消息判断。 TRACE 之所以奏效,正是因为每个子任务都低于逐条消息的有害性阈值。一个对当前步骤序列进行推理的护栏——即追问已接受子任务的组合是否重构出被禁止的目标——恰好堵住了该攻击所利用的缝隙。仅靠逐条消息分类是不够的。
加入任务对齐与意图漂移检查。 该攻击使每一步都在语义上忠实于一个隐藏目标。持续将智能体的行为与用户所声明的合法任务进行比对、并对偏向未声明目标的漂移予以标记的防御,攻击的是机制本身,而非表层措辞。
监控工具调用链,而不只是提示词。 由于场景是为契合智能体的工具而构建的,危害体现在工具调用的序列之中。针对已知危险模式(如访问凭据后随即外泄、提权原语等)监控这些调用链,能够捕捉到提示词层过滤器所遗漏的行为。
部署分层的智能体级防御,但不要假定其足够。 论文测试了三种防御,发现它们有帮助但无法弥合差距:面对 AgentHarm 上的 TRACE,困惑度过滤几乎没有改变成功分数,而 LlamaFirewall 与 AgentDoG 削减得更多——单项最大降幅是 DeepSeek 智能体在 AgentDoG 下的 0.36。即便如此,仍残留可观的成功率(例如 Gemini 智能体在 AgentDoG 下为 0.45,DeepSeek 智能体在 LlamaFirewall 下为 0.48)。作者自己的结论是,现有防御提供了有用的缓解,但仍需要更强的智能体级保护。
在运行时约束能力。 严格的工具允许清单、范围受限的凭据、隔离的副作用通道以及网络出口控制,能够限制被误导的智能体实际能够完成的操作——即使安全判断被欺骗——从而降低一次成功分解的影响,无论护栏是否将其标记。
状态
| 项目 | 参考 | 日期 | 备注 |
|---|---|---|---|
| 论文 | arXiv:2605.30883 | 发布于 2026-05-29 | Zeng、Qi、Xiu、Zheng 等(浙江大学;清华大学;上海人工智能实验室;华东师范大学) |
| 方法 | 任务分解 +「最少有害子任务」+ 受 Q-learning 启发的场景演化 | — | 黑盒攻击者,不修改工具与环境 |
| 基准 | AgentHarm、AdvCUA | 2024 / 2025 | AdvCUA 对齐 MITRE ATT&CK Enterprise 任务 |
| 测试目标 | GPT-5.2、Gemini-3-Flash、DeepSeek-V4-pro 智能体 | — | AgentHarm 绕过率最高 1.00;AdvCUA 三者均为 1.00 |
| 评估的防御 | 困惑度过滤、LlamaFirewall、AgentDoG | — | 最大降幅 0.36(DeepSeek/AgentDoG);仍残留可观成功率 |
| 状态 | 用于分析的红队框架;仅限隔离实验 | — | 作者呼吁更强的智能体级防御 |
TRACE 与其说引入了一种新的攻击原语,不如说展示了已知原语是多么容易组合。一旦攻击者能把目标拆成各自都能通过逐条消息安全检查的步骤,护栏的分析单元——单条消息——本身就成了漏洞。对任何交付带工具智能体的人来说,实际的启示是:安全必须在完整轨迹和工具调用链的层面上评估,因为危害真正栖身的正是这一层面。