系统:运行中
← 返回所有攻击
DEFENSE MEDIUM NEW

BraveGuard:让守卫模型监控智能体的整条执行轨迹

2026 年 6 月的一篇论文指出静态安全过滤器难以发现 computer-use 智能体的危害,并用真实威胁与执行轨迹训练守卫模型——将轨迹检测从 39% 提升到 82%。

2026-07-08 // 6 min affects: computer-use-agents, openclaw, qwen3-guard, llama-guard

这是什么?

2026 年 6 月,由冯云浩(Yunhao Feng)与马兴军(Xingjun Ma)领衔的团队(复旦大学、蚂蚁集团,以及来自阿里巴巴集团、新加坡管理大学、迪肯大学、南洋理工大学等机构的合作者)发布了 BraveGuard: From Open-World Threats to Safer Computer-Use Agents(arXiv:2606.01166)。这是一篇防御论文,而非新型攻击:它针对 computer-use 智能体(代表用户操作文件、终端、浏览器和外部工具的系统)所特有的监控盲区。

其核心观察对依赖提示词级审查的人而言颇为尴尬。在聊天机器人中,不安全行为通常存在于单条提示或单条回复里,分类器能够捕获。而在 computer-use 智能体中,危害往往只从整条轨迹中浮现:一连串工具调用、文件编辑、搜索和命令执行,每一步在局部看都无害,但其累积效果却会外泄数据、执行未授权操作,或逃逸沙箱。BraveGuard 试图构建一个能对整条轨迹进行推理、而非仅看孤立消息的守卫。

工作原理

BraveGuard 是一套用于训练守卫模型(伴随智能体、将其行为标注为安全或不安全的辅助分类器)的流水线。作者不用固定的有害提示语料来训练守卫,而是将威胁空间视为非平稳的,构建了一个四阶段的自演化闭环。

首先是开放世界威胁发现:流水线从近期研究来源、开源工具和智能体框架中提取结构化的风险类别、攻击模式与失效模式分类,从一小组种子关键词起步并逐步扩展。其次是任务实例化:每个威胁模式被转化为可执行的 computer-use 任务,而非静态文本样本。第三是轨迹采集:在 computer-use 智能体上运行这些任务(论文使用 OpenClaw 的执行回放),产生真实的多步执行轨迹,并标注安全标签、风险类别和依据说明。第四是闭环精炼:留出验证集上的错误驱动下一轮分类扩展与任务合成,使训练分布与守卫随着新威胁的出现而协同演化。

作者称合成了 7,308 个可执行任务,覆盖 28 个风险类别和 32 种攻击方法,并训练了包括 Qwen3-GuardLlama-Guard 变体在内的多个守卫骨干。由于监督信号根植于真实执行而非合成提示,守卫学会的是判断动作序列,而非表层字符串。需要说明的是,这是轨迹级的检测——一个标记不安全运行的监控器——而非在每次工具调用执行前将其拦截的强制运行时拦截器。

为何重要

computer-use 与浏览器智能体正是”数据不等于指令”这条边界崩塌之处,也是错误动作不可逆之处:被删除的文件、被泄露的凭据、已发出的邮件。用聊天机器人时代数据训练的守卫模型难以适配这一场景,而论文量化了这一差距。在 AgentHazard 基准上,现成守卫模型对有害 computer-use 轨迹的平均检测准确率为 38.79%;经 BraveGuard 训练的守卫达到 82.38%。一个会漏掉约十分之六不安全运行的检测器,作为最后一道防线几乎无用,因此将该比率翻倍以上意味着切实的运营差异——这也印证了我们报道反复强调的一点:智能体安全基准彼此并不一致,而 computer-use 智能体的良性任务安全 的衡量方式与提示词安全大不相同。

防御

其实用启示是架构层面的,即使你从不采用 BraveGuard 本身也依然成立。监控轨迹,而非消息:面向工具型智能体的安全信号应位于动作序列与环境状态层面,而不只是输入提示或最终回复。将你的威胁分类视为易腐品——在固定基准上训练一次的守卫会随着新工具、技能与攻击模式的出现而失去覆盖,因此应为其配备一个吸收最新威胁情报的刷新回路。让监督根植于真实执行:从真正执行任务的智能体处采集的轨迹,能捕捉合成提示数据集遗漏的、局部无害的组合式失效。

检测是必要的,但并不充分。轨迹守卫应处于分层设计之中,与最小权限的工具作用域限定、对不可逆动作的人工确认,以及将不可信内容视为提供信息但绝不授权的运行时权限控制并肩协作——参见我们关于按域条件化的 computer-use 安全以及截图级 Web 智能体注入防御的说明。此外,由于守卫模型本身也是 LLM,请记住它们会继承 LLM 的弱点,包括针对守卫自身推理的拒绝服务;一个可被耗尽或分散注意力的监控器,正是攻击者会绕开的监控器。

状态

BraveGuard 是一项研究贡献(arXiv:2606.01166,2026 年 6 月发布),作者已在 github.com/Yunhao-Feng/BraveGuard 公开代码。没有 CVE 或厂商公告——其意义在于方法论。论文主张:当今大多数守卫模型在固定的提示词级语料上训练的方式,在结构上对 computer-use 智能体覆盖不足,并证明将守卫监督根植于开放世界威胁发现与真实执行轨迹,能弥合其中很大一部分差距。部署具备真实系统访问权限智能体的团队,应将轨迹级监控视为一等控制手段,并假定其威胁分类需要持续维护,而非一次性维护。

Sources