Persona Attack：对话记忆的累积如何侵蚀安全对齐

这是什么？

2026 年 6 月 1 日，研究者发表了 Persona Attack: Incremental Memory Injection Jailbreak Attack against Large Language Models，研究了一种不依赖单条精心构造提示词的多轮越狱。攻击者将指令分散在整段对话中，使其在模型的上下文窗口——即对本次交流的短期”记忆”——中不断累积。随着这些片段层层堆叠并强化某个既定”人设”，模型逐渐把它们当作当前生效的上下文，并开始将其置于自身安全对齐之上。

其要害在于：被攻击的是每个聊天机器人天然具备的一个面——正在进行的对话本身。它与 Anthropic 的 many-shot 越狱（Anthropic，2024）以及 State-Dependent Safety Failures in Multi-Turn Language Model Interaction（2026 年 3 月）所述的多轮退化属于同一类，但本文把问题聚焦于对话记忆是如何被存储与反复读取的。

工作原理

核心观察是：安全对齐主要在单条提示词的层面被施加与评估，而一段活跃的对话是一个不断增长的序列，模型每一轮都会重新读取它。所述技术正是利用这一缝隙，全程不出现任何会触发内容过滤的单条消息。

第 1..n 轮   攻击者播撒看似无害的人设与铺垫片段
              （每一轮单独看都能通过审核）
                    |
                    v
累积          上下文窗口被相互强化的指令填满；
              人设成为占主导地位的"近期"上下文
                    |
                    v
临界点        模型将累积的上下文指令的权重置于其安全默认之上；
              拒绝的概率随之下降

论文指出，成功与否取决于具体系统如何实现和截断对话记忆，以及注入指令的组合方式——在特定配置下成功率最高可达 95%。此处不复现任何可操作的载荷；重点在于机制（在上下文中逐步强化），而非某个具体脚本。这是针对已公开系统的、有据可查的研究结果，并非针对在线目标的新型攻击。

为什么重要

实践教训是：逐条提示词地衡量安全，会低估真实暴露面。单独看无害的一条消息，可能只是一条最终抵达”单发过滤本应拦截之处”的链条中的一环。更长的上下文窗口与按用户持久化的记忆——当前助手与智能体的两大卖点——恰恰放大了这种攻击所利用的面。

对于部署带记忆助手的人而言，由此有三点后果。只测试单条提示词的评估会完全错过这一类攻击。对每条消息独立打分的护栏会带来虚假的覆盖感。而在工具调用或会话之间保留对话状态的智能体系统，会把累积窗口延伸到单次聊天之外，让缓慢塑造的人设有更多空间落地。

防御

没有任何单一措施能消除风险，但多项措施可降低风险且叠加良好。

跨轮次评估，而非仅评估提示词。用会让人设得以累积的多轮、长上下文场景进行红队测试，而不是单发载荷。上文关于多轮失效的工作以及many-shot 缓解研究（2026 年 5 月）是设计测试的良好起点。

对整段对话打分，而非单条消息。让护栏在近期轮次的滑动窗口上运行，从而使漂移与强化变得可见，而不是孤立地评判每条消息。

定期重新锚定安全。在长会话过程中反复重申系统约束，并限制累积的用户内容能在多大程度上改变行为。上文 2026 年 5 月的研究表明，一处放置得当的小型纠正示例，就能大幅削减长上下文越狱的成功率——这是一个廉价而实用的杠杆。

约束并隔离记忆。限定对话与按用户记忆的长度，用摘要代替原样保留注入文本，并隔离会话，使某一上下文中构建的人设不会带入另一上下文。对智能体而言，应将跨会话状态视为不可信输入并重新校验。

监测缓慢漂移。留意那些在多轮之间持续朝受限领域推进的对话——这是逐条消息日志容易掩盖的模式。

状态

项目	详情
披露	学术论文，arXiv，2026 年 6 月 1 日
向量	多轮增量式上下文（“记忆”）注入
报告成功率	特定配置下最高约 95%（随记忆实现方式而异）
受影响面	对话式 LLM、带记忆的聊天机器人与智能体
修复状态	属行为层面弱点，非单一补丁可修的缺陷；以纵深防御缓解