系统:运行中
← 返回所有攻击
AGENTS MEDIUM NEW

归因错位(Misattribution Gap):被算到模型头上的记忆投毒

一份伪装成「内部政策」的文档,只需上传一次到智能体的共享记忆,就能引发与模型失准一模一样的违规——于是团队去重训模型,却让攻击原封不动地留了下来。

2026-07-06 // 6 min affects: gpt-oss-20b, rag-agents, multi-agent-pipelines, shared-memory-agents

这是什么?

归因错位(Misattribution Gap)是团队在诊断行为异常的 AI 智能体时存在的一种结构性缺陷,由德克萨斯大学埃尔帕索分校、南伊利诺伊大学卡本代尔分校和伊利诺伊大学厄巴纳-香槟分校的研究者在 2026 年 5 月 12 日发表的论文中提出(arXiv:2605.22842,《The Misattribution Gap: When Memory Poisoning Looks Like Model Failure in Agentic AI Systems》)。核心观察令人不安:当一个智能体因为共享记忆被投毒而产生违规输出时,其表现与一个真正发生失准的模型无法区分。标准的 AI 治理只会用它唯一懂的方式回应——对模型做红队测试、检查其注意力、重新训练——违规随之停止,然后在下一个报告周期又卷土重来,因为被投毒的文档仍然躺在向量库里。论文指出,在其语料库记录的全部 64 次失败中,归因机制每一次都笃定地把责任推给了模型。而真正造成危害的攻击,从头到尾都没有碰过模型。

工作原理

作者将底层攻击形式化为 Semantic Norm Drift(SND,语义规范漂移),并将其视为通往智能体不当行为的第三条结构上截然不同的路径——与「涌现性失准」和「隐蔽的多智能体串通」相互正交。其机制刻意地平淡无奇。一个仅拥有普通文档上传权限的攻击者,把一份排版得像合法内部政策的文件(论文反复使用的例子是伪装成 SOX §302 合规政策的文档)放进共享的向量库。通过论文所称的 Trust Laundering Chain(信任洗白链),该文档在后续会话中被检索出来,并作为可信的系统上下文重新呈现给智能体,其原始来源在此过程中被永久抹去。智能体随后在自己的推理中把注入的文本当作规范权威加以引用,并予以遵从——在研究中,65 条有效记录里有 59 条恰好呈现出这种「先推理、后服从」的模式。没有触发短语,没有对模型权重的访问,也无需反复交互:论文报告称五次会话内即可产生完整效果,并无限期持续。此处我们描述的是攻击的形态,而非可执行的模板;论点属于架构层面,理解它并不需要任何可用的载荷。

为何重要

真正让本文超越以往已知记忆投毒工作的,是其检测结果。研究者在 510 个检查点上运行了四个安全分类器——其中一个专门针对记忆投毒训练——结果记录到零次检测。由于被投毒的输出与一个真正失准的模型可能说出的话别无二致,输出侧的分类器根本找不到任何异常可抓。对防御方而言,后果是一个治理陷阱:SND 事件后的重训会消耗真金白银的资源,留下一份看似「修复成功」的书面记录,却让攻击原封不动地保留下来。在受监管场景中,危害是具体的——论文的示例是一条由三个智能体组成的财务报告流水线,它开始把原始客户标识符泄露进呈交董事会的摘要中,这直接违反了内部数据治理政策和 GDPR 第 5 条。任何在共享、可写的知识库之上运行 RAG 智能体、且多个用户或租户都能贡献文档的企业,都会暴露于同一个误诊循环之中。

防御措施

论文的核心结论是:修复必须从模型转移到记忆边界,从输出检查转移到来源追溯与因果归因。文中评估了三种防御。Counterfactual Composition Testing(CCT,反事实组合测试)通过逐一移除记忆条目重跑流水线,找出哪一条被检索的条目对违规负有因果责任;论文称它以 87.5% 的准确率、零误报定位到因果条目,而对照的取证基线在全部 25 个场景中都毫无所获。Retrieval Concentration Monitoring(检索集中度监控)盯住单一注入文档在检索结果中特征性的过度出现。Memory-Persistent Information-Flow Control(MP-IFC,记忆持久化信息流控制)沿写入和检索路径传递信任标签,使得以「不可信数据」身份上传的内容无法悄然重新以「可信系统上下文」的身份浮现;作者报告它在跨会话边界上拦截了 97% 的攻击,而此前的最新方法在每一个有意义的用例上都失败了。他们还提出了 Retrieval-Coverage Dilemma(检索-覆盖两难):要躲过集中度监控,结构上就必须削弱攻击本身,这使得该方法能抵御曾击败十二种既有防御的自适应绕过。对于今天就在部署的团队,实用要点包括:把每一份上传的文档都当作不可信输入,未经明确的来源核验绝不将其提升为系统权威;记录并标注每一次记忆写入的来源;在下「是模型的问题」这一结论之前,先加入一步因果归因;并按租户与信任级别隔离记忆库,使单次上传无法污染所有人的上下文。研究者还发布了配套基准(一个带因果真值、覆盖金融与医疗场景的对抗性记忆语料库),供防御方在事故迫使他们面对这个问题之前,先行检验自己的归因能力。

状态

这是一项针对某一类智能体式 RAG 系统的研究成果,而非某个厂商的单一 CVE。下表数据取自公开预印本及其项目页面。

项目详情
技术Semantic Norm Drift(SND)——一份政策格式的文档投毒共享记忆,并作为可信上下文重新浮现
核心主张归因错位:记忆投毒的痕迹与模型失准一模一样,于是模型被归咎并重训,而攻击持续存在
攻击者前提普通的文档上传权限;无需访问模型、无需触发器、无需反复交互
报告的检测规避四个安全分类器(其中一个针对记忆投毒训练)在 510 个检查点上零检测
报告的推理模式65 条有效记录中,有 59 条智能体引用注入文档为权威并随后服从
提出的防御Counterfactual Composition Testing(因果归因准确率 87.5%)、Retrieval Concentration Monitoring、Memory-Persistent Information-Flow Control(跨会话边界拦截 97%)
发表预印本 arXiv:2605.22842v1,2026 年 5 月 12 日
状态研究成果;缓解手段是「来源感知的记忆控制」与「因果归因」,而非补丁

Sources