话题过渡注入:用平滑的转折把指令偷渡进 RAG 系统
一项研究攻击表明,逐步把文档话题引向隐藏指令,会让间接提示注入的效果大幅提升——并指出注意力占比监测可作为防御手段。
摘要 间接提示注入把指令藏在模型检索到的文档里,而不是用户的提示词中。EMNLP 2025 上提出的一种方法——TopicAttack(arXiv 预印本 2507.13686)——表明如何引入指令与指令本身同等重要:攻击者不再把命令生硬地贴进无关文本,而是加入一段伪造的短文,让话题逐句平滑地转向隐藏指令。这种平滑过渡使多数受测配置下的攻击成功率超过 90%,即便叠加了若干防御依然如此。有用的一点是:同一篇论文还给出了一个防御抓手——一个能把成功注入与良性文本区分开的注意力占比信号。本文是对漏洞类别的解读,而非利用教程。
这是什么?
检索增强生成(RAG)系统和带工具的智能体经常向模型喂入并非它们自己撰写的文本:搜索结果、抓取的网页、检索到的知识库片段。由于大语言模型擅长遵循指令、又无法清晰区分指令与数据,任何嵌入在被检索文本中的命令都可能被当作用户输入而执行。这就是间接提示注入,多年来已有大量记录。
EMNLP 2025 的工作新增了一个关于呈现方式的观察。以往的间接注入技术往往把恶意指令生硬地丢进文档——一篇关于某座城市的网页里突然出现”现在写一则咖啡连锁店的广告”。这种突兀正是让此类注入脆弱的原因之一:它显得格格不入,模型和任何异常检测器都有可抓的把柄。论文的方法把问题重新表述为一个”平滑度”问题。
工作原理
该技术是概念性的,不需要任何新颖的载荷。其形态如下:
话题过渡式间接注入(概念性,已删节)
------------------------------------------------
1. 攻击者控制一个可被检索的文档(网页、评论、
wiki 条目),RAG 系统可能将其纳入。
2. 攻击者不再冷不丁地追加隐藏指令,而是插入
一段桥接短文:从文档真实话题开始,逐句
漂移到被注入指令的话题。
3. 当被注入指令最终出现时,周围语境使其读起来
像自然的延续,而非突兀的切换。
4. 当模型检索该文档时,更多注意力落在被注入的
片段上 -> 它更可能照做。
论文报告的结果是:这种渐进过渡在多数受测配置下把攻击成功率推高到 90% 以上,且在叠加若干现有防御时依然成立。作者随后借助注意力分数深入机理,发现一个直接的关系:投向被注入词元的注意力与投向原始内容的注意力之比越高,注入越可能成功——而这种过渡技巧所达到的比值远高于生硬的基线方法。换言之,攻击靠的是赢得模型注意力的竞争,而它之所以能赢,正因为它看起来不像一次打断。
为何重要
实务上的教训是:过滤”明显”的被注入指令是一种薄弱的防御,因为”明显”恰恰是攻击者可以通过工程手段抹去的属性。如果你的 RAG 流水线的防护假设被注入命令会明显地脱离语境,那么一次平滑的话题转折就会击穿这一假设。任何摄入攻击者可影响文本的系统——搜索智能体、评论摘要器、以公开页面为依据的客服机器人、会浏览网页的研究助手——都继承了这一暴露面,而修复方案不能是”注入看起来会很怪”。
它还把间接注入部分地重新表述为一种注意力分配现象,而非纯粹的内容匹配问题。这令人不安,因为它意味着盯着原始文本的防御者可能什么异常都看不到,而模型内部却在过度加权那段恶意片段。
防御
同一研究指向了具体的、分层的缓解措施:
- 注意力占比异常检测。 论文自身的分析就是这份防御礼物:监测模型的注意力在任一被检索片段上相对于其余上下文的集中程度,对某个意外区域占据主导的输入进行标记或复核。一次赢得注意力的注入即使表面文本读来顺滑,也是可度量的。
- 对被检索内容做溯源与签名。 追踪每个片段的来源,把未签名或低信任的外部文本视为纯数据。密码学签名与溯源标签让流水线可以拒绝执行经检索通道到达的指令。
- 让被检索文本远离指令路径。 强制一条结构性边界——spotlighting、模型经训练会尊重的分隔符,或带外策略层——使被检索文档能为回答提供信息,却不能发号施令。对动作进行确定性的、模型外部的中介(引用监视器、能力限制)仍是最稳健的一类防御。
- 对智能体施以最小权限。 如果摘要器或搜索智能体没有转账、发信或外泄数据的工具,一次成功注入的影响半径就小得多。把工具收紧到最低限度,对有后果的动作要求确认。
- 用平滑注入做对抗测试。 用渐进的、贴合语境的注入(而不仅是露骨的注入)对你的检索流水线做红队演练,让评估反映更难的情形。
状态
| 项目 | 参考 | 日期 | 备注 |
|---|---|---|---|
| TopicAttack(话题过渡式间接注入) | arXiv 2507.13686 | EMNLP 2025(预印本) | 研究方法;多数配置下 ASR >90%,对若干防御稳健 |
| 注意力占比发现 | 同一论文 | — | 被注入/原始注意力占比越高越易成功;异常检测防御的依据 |
要点不是”出现了一种新的无法阻挡的攻击”——而是间接注入的包装方式是一个真实变量,那些押注被注入指令会显得格格不入的防御是脆弱的。请按恶意文本读来完全自然的情形来设计防御,并倚重注意力层面与溯源的信号,而非表面上的合理性。