OEP：用干净的边界案例毒化自进化智能体

这是什么？

自进化智能体是能在运行时自我改进的 LLM 系统：完成一项任务后，智能体会反思发生了什么，提炼出一条经验，再把它写回记忆或规则库，用以指导后续的运行。这正是一类日益增长的「经验驱动」智能体背后的循环，它们理应越用越好。

2026 年5 月底发布于 arXiv 的论文 OEP: Poisoning Self-Evolving LLM Agents via Locally Correct but Non-Transferable Experiences 表明，这同一条反思循环本身就是一个攻击面。作者描述了一种技术——过度泛化经验毒化（OEP）——它用逐个来看都正确的输入来破坏智能体所学到的规则。没有恶意载荷，没有越狱字符串，也不需要对系统提示词或记忆库的特权访问。攻击者只需向智能体提交看似普通的任务，然后让它自我毒化。据报告，在多个领域对 GPT-4o 的攻击成功率超过 50%，且论文指出它在面对现有防御时比先前的毒化方法更为稳健。

工作原理

关键洞见在于：危险不在于坏的输入，而在于坏的泛化。在记忆巩固阶段，一个对自身运行进行反思的智能体往往会过度信任自己得出的结论，并把一个狭窄的、一次性的解法压缩成一条宽泛且高优先级的规则。

OEP 通过构造论文所称的「对抗性干净边界案例」来利用这一点。每个案例结合三种成分：一个存在局部正确答案的任务、一个在此处有效但无法迁移到一般情形的解法，以及一个把严重后果与出错相绑定的表述框架。面对少量此类案例，智能体的反思步骤恰恰做了它被设计去做的事：注意到这次险些出错，权衡所声称的利害，并写下一条谨慎而过度泛化的规则，以在未来规避这一「风险」。随后，这条畏首畏尾的规则会错误地在它被不当涵盖的普通任务上触发，使智能体对之后的每一位用户都变差。

由于毒化是经由智能体自身的效用计算发生的，而非通过注入的指令，它得以避开那些寻找恶意内容的防御。下面的示意是说明性且防御性的——它展示了一个被毒化案例的形态，而非可运行的载荷：

# 对抗性"干净边界案例"的示意结构（防御用途）
任务:   一个存在正确局部答案的狭窄场景
方法:   仅对此场景有效的捷径          [不可迁移]
后果:   "在此出错造成了严重故障"       [框架表述]
# 智能体反思 -> 提炼出一条过于宽泛且高优先级的规则
# -> 该规则在正常任务上错误触发         [载荷已删节]

这些工作延续了 2026 年初的一系列研究，它们警告：经验驱动的自进化智能体可能会错误进化——仅凭自身的交互就漂移到不安全的行为，而从未接触过刻意投喂的有害数据。

为何重要

多数智能体安全研究都假设攻击者必须注入某种可识别之物：一段提示词、一份被毒化的文档、一条被篡改的记忆记录。OEP 把这一门槛降到近乎为零。它是一种低权限、黑盒的攻击，只需要对任务的正常访问——而这恰恰是共享的、多租户的或面向公众的智能体默认所提供的。这种破坏还是持久且具有连带性的：一旦过度泛化的规则被写入，它就会伤害之后与攻击毫无关系的用户。随着反思—记忆循环从研究演示走向生产环境中的副驾和长期存续的助手，「智能体教会了自己错误的经验」将成为一种现实的失效模式，而非假想。

防御

• 在验证之前，把自生成的规则视为不可信。 一次反思是一个假设，而非事实。在赋予任何被提炼规则以高优先级之前，先要求其获得来自多个独立案例的证据支持。
• 在提升之前测试可迁移性。 在一条局部经验成为通用规则之前，用留出任务或反例来检验它；只在其原始场景中有帮助的规则应被限缩或丢弃。
• 限定规则的权限与作用范围。 为每条学到的规则附上来源与有效范围，限制单次经验能施加的权重上限，并防止一次反思设定全局的高优先级策略。
• 衰减与复审。 让不再被强化的规则过期，并定期审计规则库，找出那些抑制正常行为、过于宽泛而畏缩的规则——这正是此类攻击的特征。
• 把后果框架与效用分离。 不要让输入中所声称的利害直接抬高一条规则的权重；由不可信任务所主张的严重性并非证据。
• 监控能力回退。 随时间跟踪任务成功率；过度谨慎的拒绝或在先前已解决任务上的失败突然增多，可能意味着巩固过程被毒化。

状态

这是已发表的学术研究，而非现实中观测到的事件。它是一项防御性贡献：作者刻画了自我改进循环中的一处弱点并加以评估，以便构建者加固其智能体的记忆与反思环节。

项目	详情
技术	过度泛化经验毒化（OEP）
目标	反思型 / 经验驱动的自进化智能体
所需访问	低权限、黑盒（仅需正常任务输入）
报告的 ASR	在 GPT-4o 上按领域超过 50%
披露	arXiv 预印本，2026 年 5 月底
性质	研究 / 防御性刻画

关键日期：关于「错误进化」的奠基性工作出现于 2025 年底；经验驱动自进化智能体的安全性分析在 2026 年 4 月跟进；OEP 技术于 2026 年 5 月底发布至 arXiv。对任何部署会从自身运行中学习的智能体的人而言，要点在于：记忆写入路径值得与输入路径同等的审视，因为一个会反思的智能体，也可能被诱导去错误地反思。