系统:运行中
← 返回所有攻击
DEFENSE LOW NEW

在到达敏感执行点之前审计智能体的令牌流

2026 年 7 月的一篇论文围绕自然语言令牌流重新定义持久型智能体的安全,在内容写入内存或调用工具之前于边界处进行检查。

2026-07-14 // 5 min affects: llm-agents, openclaw, persistent-agents, gemini-3.1-pro, agent-memory

这是什么?

持久型 AI 智能体不是聊天机器人。它跨会话运行,写入长期记忆,安装并复用技能,并调用会触及文件、网络和第三方服务的工具。这种持久性改变了安全模型:模型输出不再是转瞬即逝的回复,而是一次状态转移——它可能被写入内存、触发某个动作,或修改某个可复用组件,进而在数天之后左右智能体的行为。在某次交互中注入的受污染输入,可能潜伏下来并在另一次交互中被激活。

2026 年 7 月 9 日发布于 arXiv 的论文 Token-Flow Firewall: Semantic Runtime Auditing for Persistent AI Agents(2607.08395),作者为中国科学院人工智能安全全国重点实验室与计算技术研究所的 Puji Wang、Yingchen Zhang、Ruqing Zhang、Jiafeng Guo 和 Xueqi Cheng,提出了一种基于如下观察的运行时防御:在这类智能体内部,几乎所有与安全相关的交互都以自然语言文本的形式流动。这是一项防御性研究,而非攻击技术。

工作原理

作者将这些传递称为语义令牌流——即跨越系统边界、并可能被提交到持久状态或外部执行的、模型可见内容的最小单元。内存写入、工具参数、检索到的文件以及组件之间的消息,都是令牌流。核心思路是:安全应在此处强制执行——不是在动作已经发生之后(这是通常构建执行轨迹和工具调用图的层级),而是在语义传递的当下、状态改变之前。

他们的框架 TokenWall 像防火墙一样位于这些边界处。每个流被建模为一条紧凑记录——载荷片段、来源、汇点(sink)、运行时元数据以及所要跨越的边界——并归入三种面向:上下文流(即将进入推理、内存或技能的内容)、权限流(改变智能体为谁行动、其会话或其动作目标的传递)以及能力流(工具参数、命令、文件操作、对外披露)。对每一个流,从四个选项中作出决定:放行、改写后继续、交由人工,或阻断。

强制执行采用分层设计以控制成本。轻量的确定性预检捕获显式违规——机密、破坏性操作、已知恶意目的地。含糊的情形交由一个本地小型审计模型(论文采用 Qwen3-4B),它对风险、可利用性和影响打分,并可在保留合法任务的前提下改写有风险的片段。只有真正高影响或不确定的流才升级到更强的仲裁者。将默认路径保持在本地是刻意为之:以往「把整个上下文发给远端大模型」的架构既慢,又会把敏感的智能体状态暴露到机器之外。格式错误的报告、无效的改写以及审计超时,均按失败即阻断(fail-closed)处理。

在 CIK-Bench 上——这是一个针对个人智能体、聚焦持久状态与跨会话攻击的基准,通过一个经过插桩的 OpenClaw 式运行时执行——作者报告攻击成功率降至 12.5%(相同预算下最强运行时基线为 14.7%),同时保持 97.4% 的良性通过率,每个良性用例仅增加 0.69 秒延迟。这是对一类防御的介绍:价值在于令牌流抽象及其介入的位置,而非可直接套用的载荷。

为何重要

重新框定正是关键。多数智能体防御作用于「门口」(输入过滤)或「动作」(工具调用策略),却留下一个盲区:不可信文本在其中悄然变成持久状态。边界层面、传递之前的中介,正好瞄准那些延迟发生、层层累积、难以撤销的失败——内存投毒、权限重绑定、错时的工具滥用——这些是动作层面的检查会漏掉的,因为损害早在动作触发之前就已被种下。从攻击者一侧看,同一张地图指明了何处下手:任何会修改内存、改变智能体为谁行动、或触及工具的传递,都是值得探测的边界;而任何未被审计的边界,都是一处盲区。

防御

面向运行长期或带记忆智能体的团队:

  • 为边界而非仅为端点插桩。 找出每一处内容进入内存、改变权限或触及工具的点,并在传递提交之前检查它——事后日志只是在损害发生后加以记录。
  • 将意图与证据分离。 仅从可信的运行时信号和所有者的明确请求推导智能体的目标;把检索到的文档、工具输出和第三方文本当作待核验的证据,绝不当作指令。
  • 优先本地且 fail-closed 的中介。 一个机上小型审计器可避免把敏感的智能体上下文送往远端模型;当检查格式错误或超时,应阻断而非放行。
  • 将重度审查留给疑难情形。 对显式违规用确定性规则,对含糊情形用轻量模型,仅对高影响或不确定的流升级——只有当多数流能低成本解决,全覆盖检查才负担得起。
  • 将此视为研究结果。 数据来自单一基准和特定模型(任务模型 Gemini 3.1 Pro,审计器 Qwen3-4B);面对自适应攻击者及其他智能体栈的持久有效性仍是开放问题。

状态

项目详情
发现持久型智能体中与安全相关的状态变化以自然语言令牌流的形式流动;在传递边界处审计它们可实现执行前的遏制
来源Token-Flow Firewall: Semantic Runtime Auditing for Persistent AI Agents,Wang 等,中国科学院人工智能安全全国重点实验室 / 计算技术研究所,arXiv,2026 年 7 月 9 日
框架TokenWall——确定性预检 + 本地小型审计模型 + 回退仲裁;动作:放行、改写、转交、阻断
关键结果攻击成功率 12.5%,最强基线为 14.7%;良性通过率 97.4%;CIK-Bench 上每个良性用例延迟 +0.69 秒
类型防御性研究 / 运行时遏制方法(预印本;无 CVE)

Sources