视觉混淆代理：当电脑操作智能体点错按钮

这是什么？

2026 年 3 月发表在 arXiv 的一篇论文为一种此前被业界当作单纯准确率问题的失败模式命名：视觉混淆代理（visual confused deputy）。电脑操作智能体（CUA）——一个观看原始截图、并通过 click(x, y) 之类低层命令行动的大语言模型——会基于它错误感知的屏幕来授权某个操作。它点击自认为的某个按钮，而坐标实际落在了另一个按钮上。作者主张这并非质量缺陷，而是一类安全漏洞，并以一个极简演示以及首个被设计为置于智能体视线之外的防御来佐证。微软 AI 红队也独立得出了相同结论，在其2026 年 6 月 4 日发布的智能体失败模式分类法 v2.0 中新增了「Computer Use Agent (CUA) Visual Attack」这一类别。

工作原理

对 CUA 而言，感知即信任锚点。像 click(450, 320) 这样的命令离开截图便毫无意义——同一坐标既可能是无害的「确认」，也可能是需要权限的「重置凭据」，全看模型认为屏幕上有什么。而这一「认为」常常出错。论文引用了基准测试的证据：智能体在 56.7% 的操作中未命中目标；在专业图形界面上，某专用模型的定位（grounding）准确率低至 18.9%，而一个约 1.8 万亿参数的通用模型在同一测试中得分不足 1%。感知屏幕与真实屏幕之间的偏离有三个独立成因：普通的定位错误（占主导、非对抗性的来源）、被攻陷运行时对截图的对抗性篡改，以及屏幕在截图与点击之间发生变化的「检查时到使用时」（TOCTOU）竞态。

论文称之为 ScreenSwap 的演示，利用了智能体运行时本就占据的中间人位置。被攻陷的运行时位于显示器与模型之间，因此它可以在大语言模型看到画面之前，裁剪两个按钮的像素区域并将各自粘贴到对方的位置。模型在危险按钮的坐标处读到一个无害标签并点击它。该篡改使用的是原生渲染的真实像素，因此被改动的截图与真实截图无从区分——而由于 CUA 本就大多数时候会点错目标，一次被引导的点击也与常规失误无从区分。这个演示的要点不在代码，而在于：日常感知错误与权限提升之间的界线极其微小。

为何重要

这将经典的混淆代理问题推广到了感知层面：权限属于智能体，意图源自模型，但目标坐标处真正存在什么，却无人核验。这使人们首先想到的防御纷纷失效。访问控制无法就 click(450, 320) 进行推理，因为坐标不携带语义内容。智能体内部的护栏与模型自我审查是循环的——它们运行在产生了错误操作的、可能已被污染的同一感知之上，而被攻陷的运行时更可直接绕过它们。论文指出，扩大模型规模无法拯救这一点：定位准确率随规模增长十分微弱。因此这是系统层面的弱点，而非小模型的一时局限。随着 CUA 从研究演示走向生产环境的工作站，一个「点错地方」的缺陷便成为通往凭据重置、数据删除与隐私泄露的路径。

防御

在智能体的感知回路之外核验操作。 核心教训是架构性的：授权不应依赖于产生该操作的同一感知。论文的护栏——双通道对比分类——在执行前拦截每一次点击，并同时以两种方式判定：图像通道裁剪点击坐标处的像素，对照部署专属的知识库（允许与禁止的目标）进行分类；文本通道则将模型陈述的推理对照允许与禁止意图的知识库进行分类。任一通道均可否决。二者捕捉互补的失败：像素揭示目标层面的错配，推理揭示看似无害控件背后的危险意图。在真实的专业界面截图上，仅图像通道在检测定位错误时即达到 0.889 的 F1，而「图像决定／文本否决」的融合将其提升至 0.915——优于任一单独通道。参考代码发布于 vllm-project/semantic-router。

限制一次被错误感知的点击所能造成的后果。 将致命三元组视为设计约束：把高影响半径的控件（凭据重置、删除、支付、权限变更）置于不依赖智能体截图的确认之后，并收紧智能体账户的权限，使单次错误点击无法升级。

加固运行时的供应链。 对抗性变体假设运行时或工具服务器已被攻陷：因此应在安装前核验 MCP 服务器与工具集成的来源与签名——正是微软 v2.0 分类法针对智能体组件所强调的供应链建议。这与在工具服务器上观察到的 MCP 混淆代理模式 属于同一类信任问题，只是移到了像素层。

状态

项目	详情
发现	视觉混淆代理被正式确立为一类 CUA 漏洞
来源	arXiv 论文，2026 年 3 月（v1）
演示	ScreenSwap——在被攻陷运行时中交换像素区域
佐证	微软 AI 红队分类法 v2.0（CUA Visual Attack），2026 年 6 月 4 日
防御	双通道对比分类，置于智能体回路之外
最佳报告结果	F1 0.915（图像+文本否决），基于真实界面截图
受影响	任何以截图驱动的电脑操作智能体
修复状态	无补丁——防御为附加护栏；参考代码开源