系统:运行中
← 返回所有攻击
DEFENSE MEDIUM NEW

MAGE:用影子记忆捕捉智能体的长程攻击

2026 年 5 月的一篇论文借鉴系统安全中的影子栈思想,为 LLM 智能体配备并行的安全记忆,将一种成功率 100% 的多轮攻击降至 8.3%。

2026-07-06 // 5 min affects: gpt-5.1, gpt-4o-mini, qwen3-235b, llama-3.3-70b

这是什么?

2026 年 5 月 4 日,石溪大学与思科的研究者发布了 MAGE(Memory As Guardrail Enforcement),这是一种针对单轮护栏经常漏检的攻击类别——长程威胁——的防御方案。这类攻击利用用户、智能体与环境之间的长时间交互,用作者的话说,其恶意意图「只在轨迹层面显现,而在单个回合内保持潜伏」。

典型例子是工具链攻击:一串单看均无害的工具调用,其累积效果却是破坏性的——数据外泄、财务损失或策略违规。每一步在单轮过滤器看来都没有问题,只有整条轨迹才是恶意的。同样的模式出现在多轮投毒与持久性提示注入中,而这正是在短上下文中训练的传统安全对齐所无法泛化到的场景。

工作原理

MAGE 借用了系统安全中的一个抽象:影子栈——它通过维护一份独立且受保护的返回地址副本来抵御控制流劫持。MAGE 运行一个类似的影子记忆,与智能体的工作记忆并行。工作记忆以完成任务为目标,而影子记忆则在轨迹展开的过程中,有选择地提炼出与安全相关的上下文,并丢弃其余部分。

其上有两个组件。一个记忆管理器在每一回合更新影子记忆;一个评判器对轨迹进行回溯性审查,并对待执行的动作作出裁决,同时返回决策(批准或拒绝)与人类可读的理由。具体而言,在每个动作执行之前,MAGE 强制设置一个检查点:记忆管理器刷新影子记忆,评判器基于该记忆评估待执行动作,只有评判器批准时执行才会继续;否则动作被拦截,理由被上报给人工操作员。

这两个角色都实现为对外部 LLM 的工具调用(同一共享模型,通过角色专属提示加以区分),因此 MAGE 无需重训目标模型即可接入现有智能体。这一选择对成本也很关键:每回合都朴素地重判整条轨迹是二次复杂度,而提炼进固定大小的影子记忆则将总体 token 开销保持为线性。管理器与评判器通过一种逐回合的强化学习变体进行微调,将记忆更新与风险评估的奖励信号解耦——作者表明,若没有此训练,未经训练的评判器只有靠拒绝几乎一切才能把攻击成功率压到零,从而摧毁正常任务的可用性。

为何重要

结果量化了无防护智能体在多回合中的暴露程度。在 SHADE-Arena 基准上的顺序工具攻击链(STAC)中,面对 GPT-5.1 智能体,攻击成功率从两回合时的约 89.7% 上升到五回合及以上时的 100%。MAGE 运行在小型的 Qwen3-4B 骨干上,将各时间跨度下的攻击成功率控制在约 4.6%–10%——总体从 100% 降至 8.3%,同时保留 94.4% 的正常任务可用性,每个任务仅增加约 7,000 个 token。在扩展版 AgentDojo 上的环境即对手场景中(银行与 Slack 套件,每个任务多达 18 次工具调用),MAGE 将持久性间接提示注入的成功率降至 0.0%,同时在 GPT-4o-mini、Qwen3-235B 与 Llama-3.3-70B 智能体上将正常可用性维持在与无防御基线相当的水平。

对防御者而言有两点值得注意。检测发生得很早——平均延迟接近零回合,因此恶意动作通常在其出现的那一步就被拦截。此外,一些在前沿模型上看似有竞争力的防御,在开放权重智能体上出现退化:文中对比的一种既有防御在 Llama-3.3 上跌至 42.1% 的攻击成功率、在 Qwen3 上为 20.7%,而 MAGE 仍接近于零。

防御建议

其经验超越了这一具体系统。把安全上下文当作轨迹层面的状态,而非逐回合的附加项:维护一份紧凑、受保护、能在上下文压缩中存续的记录,涵盖用户意图与已知攻击模式,并在待执行动作运行之前而非之后,将其与该记录对照审查。让安全记忆及其模式保持显式——消融实验表明,去掉用户意图字段或攻击模式字段都会明显提高攻击成功率。设置严格的检查点,使被拦截的动作能够终止智能体;并记录评判器的理由,使被操纵的轨迹可事后审计。最后,MAGE 自身的自适应攻击测试提醒我们:任何监控器本身也是攻击目标——未受保护的影子记忆可能被投毒,只有经过训练的配置才能在对手专门针对记忆与评判器时依然稳固。

作者对适用范围表述明确:MAGE 仅在单智能体设置下、针对两种有代表性的长程攻击进行了评估,并将记忆投毒、目标漂移、编程与计算机使用类智能体,以及多智能体扩展列为待解决的开放问题。

状态

方面详情
披露arXiv 预印本,2026 年 5 月 4 日提交
类别防御——面向长程智能体攻击的轨迹层运行时护栏
测试对象GPT-5.1、GPT-4o-mini、Qwen3-235B、Llama-3.3-70B 智能体;Qwen3-4B 防御骨干
评估攻击顺序工具攻击链(SHADE-Arena);持久性间接提示注入(AgentDojo)
结果STAC 100% → 8.3% ASR,可用性 94.4%;PI2 → 0.0% ASR
野外利用未见报告;研究性发现

Sources