当计算机操作智能体点击过时像素：截图到动作之间的竞争

这是什么？

2026 年 6 月 25 日，安全研究员 Johann Rehberger（Embrace The Red）发表了 Computer-Use and TOCTOU: What You Click Is Not What You Get，剖析了一类影响所有”看着屏幕来操作屏幕”的智能体的竞争条件。该文复现并扩展了一项更早的发现：2025 年，Jun Kokatsu 披露 OpenAI Operator 可被诱导点击任意来源，方法正是利用智能体”所见”与”所为”之间的延迟（见 Google security-research 公告）。

底层缺陷由来已久。TOCTOU——检查时刻到使用时刻（time-of-check to time-of-use，CWE-367）——泛指任何”先校验某条件、随后就当作期间毫无变化地采取动作”的系统。操作系统与之搏斗已有数十年。计算机操作智能体把它重新引入到一个新地点：屏幕上的像素。

工作原理

计算机操作智能体以循环方式运行：先获取一张截图，对所见进行推理，然后发出一个动作——在这些坐标点击、输入这段文字。推理即检查，点击即使用。然而模型推理需要数秒，屏幕在这一窗口内可以自由变化。一旦发生变化，动作便落在此刻位于这些坐标处的元素上，而非智能体以为在那里的元素。

Rehberger 先用一个极简页面确认了该效应：一个标注 OKAY 的按钮在两秒后被替换成另一个按钮。Claude Computer-Use 仍然照点不误，且可稳定复现。随后他构造了一条真正有害的链条。Outlook（以及其他邮件客户端）支持一种深度链接，可由单个 URL 打开一封已完整预填的邮件——收件人、主题、正文均已填好，只差点击发送。攻击者的钓鱼页面显示一个看似无害的*“点此继续”按钮，将其放在草稿加载后 Outlook 发送按钮将要出现的精确坐标处。被要求点击继续的智能体，实际点击的却是发送*，寄出了一封由攻击者拟好的邮件。

一个实操细节让这场竞争由”碰运气”变为”可靠”：攻击者需要目标界面在推理间隙内完成加载。Rehberger 的概念验证使用了一条提示注入指令，要求智能体先用 shell 命令计算 1+1——一次刻意的拖延，恰好为 Outlook 渲染争取到点击前所需的四到五秒。换言之，时间窗口可以被攻击者拉宽，而不只是被动等待。

为何重要

这是一个坐标层面的混淆代理问题：智能体的权限是真实的，但其动作的目标被悄然替换。由于点击是一次真实且改变状态的动作——发送消息、确认支付、修改设置——事后才执行的安全检查已然为时过晚。同一机制还会造成单纯的事故，而不仅是攻击：任何作用于过时画面的智能体，只要页面重排、弹出对话框或内容迟迟加载，都可能操作到错误的对象。

它把更宽泛的智能体 TOCTOU 一类问题一直下推到像素层面。凡是”感知世界—停下思考—再依据先前感知行动”的东西都在暴露之列——GUI 智能体首当其冲，但该模式在浏览器智能体和工具型智能体中同样反复出现。

防御

修复之道与缺陷同样古老：在使用时刻重新检查。 在推理开始时截取相关屏幕区域，在派发动作前核实该区域未发生显著变化；若已变化，则重新感知并重新规划，而非提交这次过时的点击。Anthropic 向 Rehberger 确认，其在 Computer-Use 预览阶段便已跟踪该风险；在其推出带计算机操作能力的 Cowork 时，团队表示如今会确保像素在动作前未发生变化——正是这项像素稳定性检查。

在其周围叠加更多控制。将有后果的动作——发送、购买、删除、授予访问权——视为需要确认或需要重新、审慎观察的检查点，而非”发出即忘”的点击。约束智能体可以行动的范围：只在已知应用内操作的智能体，更难被重定向到攻击者叠放的元素上。尽量缩短推理到动作之间的窗口，因为间隔越长，竞争窗口越宽。也别忽视注入这一环：Rehberger 的链条起始于一条既操纵又拖慢智能体的提示注入，因此对不可信内容的处理、以及对拖延具有抗性的循环，与视觉检查同等重要。

状态

计算机操作 TOCTOU 竞争最初由 Jun Kokatsu 于 2025 年针对 OpenAI Operator 报告，随后由 Johann Rehberger 在 Claude Computer-Use 上复现。他于 2025 年 10 月向 Anthropic 报告，并同时通报了其他若干厂商。Anthropic 予以确认，指出 Computer-Use 当时仍属预览功能，并随后在其 Cowork 计算机操作版本中加入了像素稳定性检查。Rehberger 于 2026 年 6 月 25 日发表该文，此前曾在斯坦福 Real-World AI Security 会议上进行演示。针对 Claude 的复现没有分配 CVE；Operator 上的原始问题由一份 Google security-research 公告跟踪。请将其视作一个提醒：加固计算机操作智能体，意味着重新引入操作系统数十年的纪律——首先，永远不要相信几秒钟前所做的一次检查。