浏览器智能体已能抵御手写注入——编码智能体却不能

这是什么?

2026 年 6 月,Nicholas Saban(Patronus AI / 加州大学伯克利分校)在 arXiv 上发布的预印本 Domain-Conditioned Safety in Frontier Computer-Using Agents 提出了一个每位部署智能体的从业者都应自问的问题:当一篇红队论文报告注入成功率超过 90% 时,这个数字在你今天实际运行的模型上还成立吗?

论文记录的答案是否定的——原因让整个领域颇为尴尬。computer-use 智能体(CUA)文献中发布的攻击成功率(ASR)从约 42% 到 98% 不等,但这些数字集中在已下线的模型,以及每篇论文测试面板中最脆弱的那个模型上。当把这些技术重写成简单的手写模板、施加于当前前沿模型时,大多数技术会彻底失效。然而这种加固是狭窄的:它只存在于厂商重点承压测试的浏览器面向面,并不会迁移到编码智能体的 skill 文件上。

工作原理

该研究发布了 CUA-HANDCRAFTED,一个包含 793 个回合的公开基准,涵盖分布于 8 个站点的 24 项多步网页任务、来自 8 个攻击家族的 56 个攻击模板、5 个注入深度层级以及 4 种系统提示词配置。关键在于:这些攻击并非新创——它们是对既有红队论文(RL-Hammer、WASP、TRAP、RedTeamCUA、MUZZLE、弹窗覆盖)所述技术的人类可读重建,是从这些论文的文字描述中转录而来,而非从已发布的字符串重放。

在两个当前前沿模型上运行,浏览器结果构成一个下限:

基准面向面               模型             手写 ASR
-----------------------  ---------------  --------------------------------
浏览器(多步)           Sonnet 4.6       0 / 140  (95% 上界 2.60%)
浏览器(多步)           GPT-5.4          计入同一个 0/140
浏览器,提示词消融       L0_bare/L1_help  仍为 0% —— 抵抗力在权重中
编码 skills(SKILLBENCH) Sonnet 4.6       高达 40 / 40  = 100%
编码 skills(SKILLBENCH) GPT-5.4          高达 79 / 100 = 79%

两项设计选择使浏览器结果可信。其一是提示词消融:把系统提示词削减到裸配置或仅”乐于助人”的配置,并不会重新打开这些攻击,这说明注入抵抗力是烙进模型权重的,而非由防御性系统提示词外加。其二是RL 攻击者上限:一个集成在测试框架中的自适应随机后缀攻击者(一条 AutoInject 式基线)在每个目标五次查询、约 10 美元 API 花费的预算内同样得到 0/100,证明手写攻击与已发布攻击之间的差距在于被优化的措辞,而非攻击类别。对图像通道弹窗类(VPI-Bench)进行的 50 回合复现在前沿模型上降至约 3%,关闭了旧模型会中招的一类图像通道攻击。此处不复现任何被优化的 payload;意义完全在于测量本身。

为何重要

论文重新审视了安全团队相互引用的一个数字。文献中 42%–98% 的比率,似乎主要来自 RL 发现的、分布外的注入字符串,而非这些论文所命名的攻击思路。当字符串未被公开时——审计发现”目标模型已下线 + 字符串未公开”适用于所受审的六篇论文中的四篇——所报告的数字在你部署的模型上无法复现。这既是安全问题,也是溯源问题,而这正是防御者在据此制定预算前应能核实的那类论断。

影响更深远的发现是分领域加固。抵御浏览器注入达 0/140 的同一套 Claude Sonnet 4.6 权重,在编码智能体测试框架中面对手写 skill 注入时失守率高达 100%;GPT-5.4 高达 79%。Anthropic 自家的 Sonnet 4.6 系统卡也报告,浏览器注入在两代模型之间从约 49% 降至约 1.3%——这是实实在在的 38 倍改进,但本研究表明它仅限于浏览器模态。厂商加固的是研究者敲打得最狠的面向面,而这份努力并不会自动推广到编码智能体所暴露的工具调用与 skill 文件面向面。这是对早前观察——文本层面的安全并不迁移到工具调用面向面——的工具对工具式延伸。

实践要点:不要把浏览器智能体的安全评分外推到你的编码智能体、你的 MCP 工具或你的智能体 skill 流水线。它们是不同的威胁面向面,加固程度不同——而且以当前证据看,弱得多。

防御

• 把已发布的 ASR 视为面向面特定的数字。 前沿模型上较低的浏览器注入率,几乎不能说明该模型在编码智能体或 MCP 框架内的表现。请在你实际部署的面向面上重新测量,并优先选择公开其攻击字符串、便于你复现的基准。
• 单独加固编码智能体的 skill 摄取。 既然 skill 注入正是前沿权重仍会失守之处,就在那里施加溯源检查、对第三方 skill 的审查或沙箱化,以及最小权限的工具作用域限定——不要假设模型层面的对齐已覆盖此点。参见我们对恶意智能体 skill 与 skill 红队的报道。
• 无论模型评分如何,保留带外控制。 权重层面的抵抗力值得欢迎,但跨领域时很脆弱;请将其与自适应评估的带外防御、外发限制,以及对有后果动作的人工确认结合,与致命三要素框架保持一致。
• 做红队时,请公开字符串。 可复现性本身即防御:一次你无法重放的攻击,就是一次在下一版模型更新后你无法做回归测试的攻击。请报告被优化的文本、确切的模型版本与测试框架,否则数字将退化为传闻。
• 留意基准之间的分歧。 这一结果与更广泛的发现相印证:安全基准彼此矛盾;在信任任何单一数字之前,请交叉比对多个来源。

状态

项目	详情
发布	arXiv 预印本,2026 年 6 月(Saban,Patronus AI / 加州大学伯克利分校)
浏览器 ASR(前沿)	0/140 多步;Clopper–Pearson 95% 上界 2.60%
编码 skill ASR(相同权重)	高达 100%(Sonnet 4.6)、高达 79%(GPT-5.4)
已发布基准	CUA-HANDCRAFTED —— 793 回合、56 个模板、8 个攻击家族
可复现性审计	”目标已下线 + 字符串未公开”见于 6 篇论文中的 4 篇
厂商参考	Anthropic Sonnet 4.6 系统卡:浏览器注入 ASR 约 49% → 约 1.3%

这是一项研究/基准发现,而非产品漏洞;不适用任何 CVE。模型版本与数字均以所引预印本及厂商系统卡的报告为准。