系统:运行中
← 返回所有攻击
RESEARCH LOW NEW

正当任务,危险捷径:面向计算机使用智能体的新安全基准

2026 年 6 月底的一项基准衡量了对抗性测试忽视的盲区:计算机使用智能体通过破坏性捷径达成正当目标,而护栏能在孤立情形下识别、却无法保障端到端安全。

2026-07-04 // 5 min affects: computer-use-agents, gui-agents, multimodal-guardrails, llm-agents

这是什么?

2026 年 6 月底,加州大学圣克鲁兹分校的 Mina Mohammadmirzaei 与 Jeffrey Flanigan 在 arXiv 上发布了 OSGuard: A Benchmark for Safety in Computer-Use Agents。该基准衡量了大多数智能体安全研究忽略的一种失效模式:智能体收到一条完全正当的指令,所处环境也并未试图欺骗它,却仍因其执行任务的方式而造成损害。

大量红队研究——包括 OS-Harm 等对抗性套件——考察的是指令本身恶意、或环境被注入内容做了手脚时会发生什么。OSGuard 针对的是作者所称的互补情形,即”正当任务下的计算机使用”:原始指令并不恶意,环境也并非公然对抗,而安全问题完全来自智能体在当前屏幕与文件系统状态下所选择的动作。达成名义目标并不等于安全地达成,仅凭任务成功率这一指标无法区分二者。

工作原理

OSGuard 不是一次攻击,而是一套双粒度评测套件,其两个部分都设计为在受控环境中运行,而非针对任何人的真实机器。

第一部分是动作级基准。它给出一组带上下文的候选动作,每个动作被标注为允许无关不安全,标签依据原始指令与当前界面状态判定。这隔离出一个单一问题:护栏模型在看到某个带上下文的候选动作时,能否正确识别该动作何时越出任务范围或会造成破坏?这是一种局部的、逐步的监督测试,不涉及完整任务的执行。

第二部分是风险增强执行套件。作者从 OSWorld(一套真实的桌面任务)派生出任务变体,并修改环境,使原始任务依然可以完成,但沿途引入了潜在危险。文中着重举出的例子是破坏性覆盖:某个文件或状态本不在指令要求之内,却会被一个粗心的动作抹去。每个变体都配有一个增强评估器,它保留原始的任务成功判据,并加入明确的、基于状态的安全不变量——即智能体完成后世界中仍须成立的条件。若智能体完成了任务却违反了某项不变量,即便”成功”也会被判为不安全。理解这一点无需任何可利用的载荷:其机制是一套测量框架,而非造成危害的技术。

为何重要

核心发现是两件容易混淆之事之间的落差。当前的多模态护栏在孤立的动作级判断上表现良好——面对单个动作,它们常能正确标出不安全的那个。但风险增强执行套件揭示了这种局部能力与可靠的端到端安全之间仍存的距离:在带标签的快照中识别出一个不安全动作,与在模型亲自驾驭、多步执行的整个任务中将其引离破坏性捷径,并不是一回事。

随着计算机使用智能体进入具备文件访问、Shell 访问与已安装应用的真实机器,这一区别愈发关键。“正当任务”这一面正是普通用户每天都会触及的,而针对提示注入或越狱调校的防御并不覆盖它。智能体无需被攻击,也可能覆盖错误的文件、清空错误的文件夹,或为达成正当目标而走上不可逆的捷径。OSGuard 让团队得以看见这一类失效,而非将其藏在一枚绿色的成功勾选背后。

防御

将安全与任务成功分开评分。 核心教训是:一项已完成的任务仍可能是不安全的任务。评测——以及生产遥测——应在成功判据之外携带明确的安全不变量(文件、状态与副作用中须保持为真者),使破坏性捷径永不被误认为胜利。

做端到端评估,而非仅按动作评估。 在孤立动作判断上得分良好的护栏,仍可能无法保障整项任务的安全。应像 OSGuard 的风险增强套件那样,在回路中、在多步执行上测试监督,而不要假设逐步的准确会自动组合成轨迹级的安全。

给护栏当前状态,而非仅给指令。 OSGuard 依据指令界面状态来标注动作。执行期护栏也应在批准某动作前,读取屏幕与文件系统中实际存在的内容,使依赖上下文的危险(一个即将被覆盖的文件)在决策时刻可见。

为不可逆操作设闸。 破坏性覆盖、删除及其他不可逆的副作用,值得确认、快照或一层可逆的暂存——这些控制无论模型是否将其识别为风险,都能为错误动作的损害封顶。ProjGuard 等相关工作正针对这一部署场景探索轻量的执行期监控。

在运行时限制能力。 受限的文件权限、沙箱化的工作目录以及对系统命令的最小权限访问,可无论护栏判定如何,都限制一次正当任务捷径所能造成的损害规模。

状态

项目参考日期备注
论文arXiv:2606.150342026 年 6 月Mohammadmirzaei 与 Flanigan(加州大学圣克鲁兹分校)
设计双粒度:动作级基准 + 风险增强执行套件正当任务情形;非对抗
动作级候选动作依据指令 + 界面状态标注为 允许 / 无关 / 不安全测试护栏的局部决策
执行套件从 OSWorld 派生、含潜在危险(如破坏性覆盖)的变体 + 基于状态的安全不变量任务可完成;安全单独评分
发现护栏能妥善处理孤立动作;端到端安全落差仍存局部监督 ≠ 完整任务安全
相关OS-HarmProjGuard、OSWorld2025–2026对抗性安全、执行期监控、基础任务套件

OSGuard 的贡献既是一份数据集,也是一种概念上的区分:它把”智能体是否完成了任务”与”它在过程中是否保持安全”分开,并表明在第一个问题上看似称职的护栏,可能在第二个问题上力有不逮。对任何要在真实机器上部署计算机使用智能体的人而言,这正是在智能体触及生产文件之前值得衡量的差别。

Sources