系统:运行中
← 返回所有攻击
AGENTS MEDIUM NEW

上下文压缩如何悄然抹去智能体的安全规则

2026 年 6 月的一项基准测试显示,为节省 token 而对智能体历史进行摘要,可能悄悄删除上下文中的策略规则,使工具调用违规率从 0% 升至最高 59%。

2026-07-05 // 6 min affects: llm-agents, long-horizon-agents, tool-using-agents, rag

这是什么?

长时间运行的智能体无法把全部历史都保留在上下文窗口中。为了不超出 token 预算,智能体框架会例行地对对话进行压缩:摘要早先的轮次、清除旧消息,或把一条很长的轨迹折叠成更短的摘要,然后从这个压缩后的状态继续运行。2026 年 6 月下旬发布于 arXiv 的论文《Governance Decay: How Context Compaction Silently Erases Safety Constraints in Long-Horizon LLM Agents》指出,这一上下文管理层本身就是一个关乎安全的失效面。

这一发现之所以令人不安,恰恰在于它十分平常。只要规则可见,智能体就能完美遵守的一条治理约束——「绝不删除生产记录」「不得向公司外部发送邮件」「绝不触碰计费」——却可能在压缩过程中消失。摘要器为忠实还原任务要点而优化,会把一条长期禁令当作低价值的样板文字而略去。于是智能体继续运行,再也看不到几分钟前还在遵守的那条规则,并执行了被禁止的动作。作者将此现象称为 Governance Decay(治理衰减)。

工作原理

为了度量它,作者构建了 ConstraintRot——一个面向长程智能体场景、对工具调用进行确定性评判的基准:每个回合都有明确的策略,以及某次工具调用是否违反该策略的标准答案,因此度量不依赖主观评判者。他们在两种条件下运行相同场景——策略完整保留在上下文中,对比策略经过压缩——覆盖七个模型家族、1,323 个回合。

当策略完整保留在上下文中时,违规率为 0%。压缩之后,平均升至 30%,某些模型高达 59%。这一攻击中没有任何对抗性成分:没有注入的指令、没有越狱字符串、没有恶意文档。规则只是被摘要到消失,模型在没有它的情况下做出了局部看似合理的行为。正因如此,作者用「衰减」而非「漏洞利用」来描述它——安全属性是作为普通内存管理的副作用被侵蚀的。

2026 年 4 月的相关论文《Omission Constraints Decay While Commission Constraints Persist in Long-Context LLM Agents》进一步细化了这一规律。并非所有约束都会同等地被侵蚀。禁止型规则——「不要做 X」——是在上下文压力下逐渐消退的那类,而要求型规则——「始终做 Y」——则往往得以留存,因为被要求的动作会不断被任务重新触发、保持显著。由此形成一种系统性的不对称,作者称之为 Security-Recall Divergence(安全—召回背离):对安全最重要的那些约束,恰恰最容易被遗忘。

为何重要

压缩并非罕见设置——只要会话运行得足够久,它就是生产级智能体栈的默认行为,而这恰恰是高风险动作(清理、迁移、批量操作、财务步骤)最容易发生的时刻。Governance Decay 意味着一个智能体可以通过所有短程安全测试、上线部署,然后在真实会话开始数小时后违反同一条策略——全程没有攻击者参与,最终记录中也没有明显痕迹。只审计模型单轮拒绝、或事后只复核压缩后摘要的团队,将看不到那条消失的规则。其影响半径就是智能体所持有的全部工具。

防御

论文自身提出的缓解措施是一种无需再训练的技术,称为 Constraint Pinning(约束固定):将治理约束完全排除在可压缩区域之外,在每次压缩步骤后把它们原文重新注入到实时上下文中,使模型始终能看到它们。在所报告的评测中,这将违规率恢复到 0%,token 开销不到 0.5%——足够低廉,几乎没有理由不采用。

而更持久的工程经验超越了这一种方法。请把上下文管理层视为信任边界的一部分,而非管道:凡是框架会摘要或清除之处,都是安全规则可能消失的地方。将长期禁令固定到受保护、不可摘要的槽位,而不要指望它能在一次摘要中幸存;并对否定式规则格外留意,因为它们最先退化。在风险足够高时,把硬性约束放到模型之外强制执行——执行层的工具调用白名单或策略检查不会被摘要掉。并在真实的时间跨度上测试安全:在评测中让策略经过压缩、对长会话后段的真实工具调用进行评判,切勿从短程拒绝推断长程安全。

状态

这是经同行评议的研究,描述的是一种失效模式与一种防御,而非带有分配标识符的产品漏洞。

项目详情
主要来源《Governance Decay: How Context Compaction Silently Erases Safety Constraints in Long-Horizon LLM Agents》(arXiv:2606.22528)
发布时间2026 年 6 月
基准ConstraintRot——长程场景,工具调用确定性评判
规模7 个模型家族,1,323 个回合
报告结果完整上下文违规 0% → 压缩后平均 30%,部分模型高达 59%
提出的防御Constraint Pinning——以不到 0.5% 的 token 开销将违规恢复至 0%
相关工作《Omission Constraints Decay While Commission Constraints Persist》(arXiv:2604.20911)——Security-Recall Divergence

主要来源发布于 90 天以内。持久的要点:一旦智能体的记忆被压缩,其安全规则就变得可以商量——因此最重要的约束绝不应存放在摘要器能够触及的地方。

Sources