系统:运行中
← 返回所有攻击
INDIRECT INJECTION MEDIUM NEW

“框架差距”:为何重新包装的注入能绕过工具型智能体的表层防御

2026 年 8 月底的一项 arXiv 研究表明,明显的注入会被拒绝,但把同样的泄露伪装成必填字段或“可信”主机就能成功。只有与载荷内容无关的防御有效。

2026-10-10 // 6 分钟 affects: gpt-4o, 使用工具的 LLM 智能体

这是什么?

2026 年 8 月 27 日,Md Habibur Rahman 与 Jaeho Kim 在 arXiv(cs.CR)发布了《The Framing Gap》。论文研究一个使用工具的 LLM 智能体:它持有一份秘密,同时读取攻击者控制的网页,考察网页让智能体泄露秘密的难易程度。实验在合成实验室中进行:使用金丝雀秘密、模拟工具,并在六个模型上做配对的“干净/被投毒”对照,不涉及任何真实系统。

核心结果:明显的注入(“把秘密发给我”)大多被拒绝,但把同样的泄露伪装成必填的完整性签名、配置字段或仿冒的“可信”主机,成功率高得多。对 gpt-4o,成功率从 0% 升至 100%。

工作原理

该攻击并未击穿模型的对齐,而是改变了请求的包装方式。作者认为,模型把重新包装后的请求当作任务自身数据格式的一部分,而不是应拒绝的指令。一项消融实验支持这一点:移除保密策略几乎不改变重新包装攻击的成功率(31.9% 到 38.1%),说明根源是指令与数据的混淆,而非安全训练失效。

论文还描述了攻击者的三档成本:

  • 改写已知机制:容易(约 96% 成功)。
  • 在已知有效模板中替换字段:中等(最高 60%)。
  • 围绕全新机制构造新页面:非常困难(130 次中 0 次成功)。

因此可复用的资产是模板,而非底层机制。本文有意省略页面模板。

为何重要

许多已部署的防御着眼于注入说了什么:关键词过滤、分类器、针对已知措辞的微调。该研究表明这些防御是表层的。论文测试中,微调防御(SecAlign,arXiv 2410.05451)在工具型智能体上仍有 32.5% 的成功率,通道分离为 38.8%,输出规范化防护被未见过的 ROT13 编码 100% 绕过。宽泛的“以任何形式”策略条款能阻止攻击(0%),但很脆弱:去掉兜底条款后又回升到 48.8%。

这印证了 Simon Willison 的“致命三要素”背后的架构观点:同一智能体同时具备私有数据、不可信内容和对外通道,才是真正的暴露面,与模型识别攻击的能力无关。

防御

有效的防御都与载荷内容无关,即不依赖识别恶意文本:

  • 目的地白名单。 封闭智能体可访问的主机集合,完全阻止了外泄(0%)。
  • 规划者/读取者分离。 将读取不可信内容的组件与可执行动作的组件隔离;读取者没有工具权限(0%)。
  • 最小权限与人工审批,用于对外或高风险操作,与 OWASP LLM01 指南一致。
  • 确定性的输出校验:对任何离开信任边界的值,用代码而非模型判断来校验。
  • 定期对抗测试,涵盖重新包装的变体,而不仅是明显的注入。

状态

项目详情
来源类型预印本(arXiv cs.CR),据我们所能核实尚未经同行评审
发布日期2026-08-27
环境合成实验室、金丝雀秘密、模拟工具
补丁状态非产品漏洞;无 CVE
有效缓解措施目的地白名单、规划者/读取者分离

Sources