注意力：RAG 投毒的主战场——操纵它，还是读取它
单个被投毒的段落即可通过俘获模型的注意力劫持 RAG 的回答。新的研究把这同一份注意力转化为检测信号——并借此将文档彼此隔离。
这是什么？
检索增强生成（RAG）在查询时从语料库中检索文档，用以支撑模型的回答。语料库投毒是与之对应的攻击：攻击者植入一个或多个精心构造的段落，使其被检索到时能够引导生成的答案。长期悬而未决的问题是，为什么一个淹没在众多合法段落中的单一段落能够主导输出——2025 至 2026 年逐渐汇聚的一系列研究给出了具体答案：注意力。当被投毒的段落在生成过程中俘获了模型不成比例的注意力份额时，它便得以胜出。这一机制层面的洞见如今既推动了一种更具可扩展性的攻击，也催生了两种直接读取或重塑注意力的防御。其中最新的一篇——基于稀疏注意力的防御——发布于 2026 年 2 月，而基于注意力的检测路线则在 ICML 2026 上发表。
工作原理
攻击一侧由 Eyes-on-Me（预印本 2025 年 10 月，2025 年 12 月修订）加以强化。它不再为每个目标短语重新优化整份被投毒文档——正是这一昂贵步骤令以往的语料库投毒难以扩展——而是将对抗性文档拆解为两个可复用的部分：注意力吸引子（Attention Attractors）与焦点区域（Focus Region）。吸引子只需优化一次，即可将一小部分注意力头——经验上与攻击成功最相关的那些——拉向焦点区域，攻击者随后在其中放入面向检索器的诱饵或面向生成器的指令。在 18 种端到端 RAG 配置中的测量表明，这使得 1000 篇文档的语料库中的单篇文档（污染率 ≤ 0.1%）即可改变回答方向，而昂贵的优化成本则可摊薄到众多目标之上。
防御的洞见恰好是镜像。既然一次成功的攻击必然过度集中注意力，那么注意力本身便是攻击的可观测证据。Through the Stealth Lens（预印本 2025 年年中，ICML 2026）将此形式化为一个可区分性博弈，并引入两件轻量工具：按段落归一化的注意力分数（NPAS），用以估计每个被检索段落对回答的影响程度；以及注意力方差过滤器（AV Filter），用以标记那些影响力相对其余段落异常偏高的段落。其核心论点是一种权衡：一次仅污染输入极小部分却仍然奏效的攻击，不可能同时做到完美隐蔽，因为过度的效果会表现为过度的注意力足迹。
2026 年 2 月的一篇论文则从结构层面而非检测层面着手。其**稀疏文档注意力（SDAG）**以块稀疏掩码取代标准的因果注意力，禁止不同被检索文档之间的交叉注意力：每个段落可以关注自身与查询，但不能关注其邻居。其思路是：投毒不仅是内容问题，更是生成机制内部的交互问题——恶意文档借助良性文档来构建一个令人信服的回答。切断这些跨文档路径只是推理时对掩码的一处改动——无需微调，无需改动架构——作者报告称，相较稠密注意力，攻击成功率大幅下降。
为什么重要
RAG 如今已是让助手扎根于私有或快速变化数据的默认范式，这意味着语料库本身就是攻击面：维基、工单系统、抓取的网页与共享盘，都可被某人写入。将这场较量重新聚焦于注意力，在两个有用的方面改变了防御方的选择。其一，它提供了一个模型内部信号，无需事先知晓攻击者的触发词，这与可被自适应对手通过编辑绕过的关键词或内容过滤器不同。其二，SDAG 展示了一种结构性缓解，无需重新训练即可消除一整类跨文档操纵。但告诫是双向的：Eyes-on-Me 已经能引导特定的注意力头，因此若攻击者对防御方的注意力统计量建模，便可能试图分散其影响力以保持在方差阈值之下。这是围绕同一变量的军备竞赛，而非已经解决的问题——这也是为何近期的综述工作将基于注意力的方法列为诸多防御家族之一，而非万灵药。
防御
没有任何单一控制足以奏效，需要层层叠加。
- 为段落影响力打分，而不仅是匹配内容。 在生成时计算每段的注意力/影响力分数（如 NPAS 之类），并标记影响力远超该批方差的段落。将离群值视为可疑，剔除后重新生成以比较回答。
- 在注意力掩码中隔离文档。 在你能掌控服务栈之处，评估稀疏/块状文档注意力，使被检索段落无法交叉关注；这是推理时的改动，可与检测相结合。
- 假定语料库可被写入。 管控摄入环节：文档的来源与签名、来源的白名单，以及对任何用户或网络提供的内容在进入索引前进行审阅。
- 用注意力感知的攻击进行测试。 用可迁移的低污染攻击（单篇文档，≤ 0.1%）以及刻意压平其注意力足迹的自适应变体进行红队演练，而不仅是显而易见的关键词注入。
- 对高风险回答保留人工与差异审查。 记录被检索的段落及其影响力分数；当某个排名靠后的文档主导回答时发出告警。
- 不要依赖单一信号。 将注意力打分与检索时过滤、输出校验以及可证明聚合方法相结合；自适应攻击者会针对你部署的那一道单一防御进行优化。
状态
| 项目 | 参考 | 日期 | 说明 |
|---|---|---|---|
| Eyes-on-Me（可迁移的注意力引导攻击） | arXiv 2510.00586 | 2025-10（2025-12 修订） | 可复用的注意力吸引子 + 焦点区域；语料库中单篇文档 ≤0.1% |
| Through the Stealth Lens（NPAS + AV Filter） | arXiv 2506.04390 | 预印本 2025，ICML 2026 | 可区分性博弈；将注意力作为检测信号 |
| Sparse Document Attention（SDAG） | arXiv 2602.04711 | 2026-02 | 块稀疏掩码禁止跨文档注意力；仅在推理时生效 |
| RAG 安全分类（背景） | arXiv 2604.08304 | 2026 | 将基于注意力的方法置于更广泛的防御之中 |
贯穿始终的一条线索是：RAG 投毒及其最有前景的防御，如今都围绕同一个变量展开较量。攻击者靠将模型的注意力集中到植入段落上取胜；防御者则可以将这种集中视作异常加以监视，或禁止那些让被投毒段落借用诚实段落可信度的跨文档交互。没有哪一种防御能就此终局——自适应攻击者可以试图分散其足迹——但从注意力的角度来推理，赋予了运营者一个信号与一个结构性杠杆，而在语料库投毒被当作单纯的内容过滤问题处理时，他们并不具备这些。