系统:运行中
← 返回所有攻击
ADVERSARIAL MEDIUM NEW

一份投毒文档,就能劫持推理模型的思维链

一篇面向 SIGIR '26 的论文表明,RAG 语料库中的单一对抗文档就能把推理型大模型引向攻击者选定的答案——无需淹没式投毒,只需模仿模型自身的推理风格。

2026-07-14 // 5 min affects: deepseek-r1, qwen3, glm-4.5, rag-pipelines, reasoning-llms

这是什么?

已发表的针对检索增强生成(RAG)的攻击,大多依赖淹没式手法:攻击者把大量近乎重复的投毒文档灌入语料库,使其中至少一份被检索到,从而让模型被有毒上下文淹没。这种方式动静大、易被察觉,而最新研究表明,它对那些会权衡证据而非照搬证据的推理优化模型越来越无效。

一篇被 ACM SIGIR 第 49 届会议(SIGIR ‘26,墨尔本,2026 年 7 月 20–24 日)接收的论文——《AdversarialCoT: Single-Document Retrieval Poisoning for LLM Reasoning》(arXiv 2604.12201),作者为中国科学院计算技术研究所的 Hongru Song、Yu-An Liu、Ruqing Zhang、Jiafeng Guo、Yixing Fan、Xueqi Cheng,以及阿姆斯特丹大学的 Maarten de Rijke——展示了更隐蔽、更精准的一手:仅一份精心构造的文档注入知识库,就能可靠地让现代推理模型在特定查询上输出攻击者选定的答案。诀窍在于,该文档模仿了模型自身的思维链(chain-of-thought, CoT)推理风格。这是一项揭示某类漏洞的受控研究,而非可直接使用的攻击工具包。

工作原理

核心洞见是:推理模型会泄露自身的推理结构。当 DeepSeek-R1、Qwen3 或 GLM-4.5 这类模型「出声思考」时,其推理轨迹暴露出一种粗粒度但可观测的模式——它如何开启推理、如何在各证据之间过渡、以及如何汇聚得出结论。这一模式本身就是攻击面。

AdversarialCoT 在基于决策的黑盒环境下运作:攻击者看不到检索器或模型的内部,只能提交查询并读取输出,且只能向语料库新增文档,不能修改或删除既有文档。方法分两步。首先是观察阶段,用少量查询探测目标并提取一个三段式推理骨架(发起 → 审视并在证据间过渡 → 汇总),随后撰写一份嵌入对抗性思维链、模仿该流程并导向目标答案的文档。其次是反馈驱动的迭代优化循环,把模型的每次回应都当作诊断信号。若文档未被检索到,攻击代理便改写表层内容以提升相关性,同时不改变对抗意图;若文档被检索到但模型仍不为所动,推理轨迹会显示哪条证据或哪次过渡被拒绝,代理据此调整证据顺序、强调点和逻辑衔接,以贴合目标模型的推理偏好。

由于载荷被塑造成合法推理的模样,而非「忽略上下文并输出 X」这类显眼指令,它能绕过那些拦截幼稚劫持文档的内容过滤器。作者指出,迭代版本在推理模型上明显优于以往的语料投毒基线,通常在约三轮交互内收敛,增益呈对数曲线。值得注意的是,针对某一模型调优的对抗文档,只能部分迁移到其他模型——每个模型都暴露出各自独特的推理弱点——这把双刃剑既限制了影响范围,也意味着针对一个模型的防御几乎无法保证对另一个模型有效。

为何重要

RAG 如今是支撑助手、搜索副驾和企业问答的默认范式,正因为被检索到的证据会被当作事实。这项工作表明,检索器是不可信语料库与模型推理之间一道无人把守的闸门:一份隐蔽文档——一次 wiki 编辑、一个被索引的网页、一条共享知识库条目——就能充当「推理形态」操纵的投送载体。其后果既非越狱也非数据外泄,而是定向虚假信息:对于某个选定问题,系统会自信地返回攻击者的答案,并附上一段看似合理的推理轨迹。对于任何以 RAG 答案驱动决策的应用——合规查询、医疗或金融问答、读取自身知识库的智能体规划——这都是实实在在的完整性风险,而推理优化模型并不会自动抵御它。从淹没式转向单文档精准打击,也降低了整类攻击的成本、提升了其隐蔽性。

防御

论文明确指出:目的是防御而非攻击——攻击轨迹本身正好揭示了模型推理的脆弱之处。给运行 RAG 的团队的具体措施:

  • 将语料库视为不可信的输入面。 任何允许外部方新增文档的流水线(网页抓取、用户上传、共享 wiki)都需要来源溯源、准入审查,以及把答案追溯到具体被检索段落的能力。
  • 不要依赖「看起来像正常文本」的过滤器。 这类载荷被设计成能通过内容审核,因为它读起来就像普通推理;检测必须着眼于检索与推理行为,而非仅仅表层毒性。
  • 对高风险答案跨多个检索来源交叉核验。 单文档投毒依赖单一段落主导推理;要求在独立文档间相互印证,能显著抬高门槛。
  • 关注推理轨迹,而不只是答案。 突然过度依赖某份新索引文档,或轨迹围绕单一证据急转,都是值得上报的信号。
  • 用「感知推理」的红队测试自家技术栈。 推理模型改变了威胁模型——请在你实际部署的具体模型上评估投毒鲁棒性,因为论文表明攻击在很大程度上因模型而异。

状态

项目详情
发现单文档知识库投毒,模仿模型思维链以在基于决策的黑盒 RAG 中强制输出攻击者选定的答案
来源《AdversarialCoT: Single-Document Retrieval Poisoning for LLM Reasoning》,Song、Liu、Zhang、Guo、de Rijke、Fan、Cheng——arXiv 2604.12201;被 SIGIR ‘26 接收,墨尔本,2026 年 7 月 20–24 日
测试对象DeepSeek-R1、Qwen3、GLM-4.5(以及 Qwen2.5-7B-Instruct、Qwen-7B-R1-distilled);MS-MARCO、NQ、HotpotQA 语料
关键结果迭代攻击在推理模型上明显超越以往语料投毒基线;效果大体因模型而异,跨模型迁移有限
类型对抗研究/RAG 完整性(预印本 + 会议论文;无 CVE)

Sources