长上下文越狱:目标位置如何削弱大模型安全
CMU 的研究表明,用无害填充内容包裹有害请求、并把目标放在长上下文的靠前位置,会在 LLaMA、Qwen、Mistral 和 Gemini 上稳定地削弱模型拒答。
这是什么?
卡内基梅隆大学(Carnegie Mellon University)的研究团队——Rishi Rajesh Shah、Chen Henry Wu、Shashwat Saxena、Ziqian Zhong、Alexander Robey 与 Aditi Raghunathan——发表了题为《Jailbreaking in the Haystack》的论文(arXiv,首次提交于 2025 年 11 月 5 日)。论文提出了一种被作者称为 NINJA(needle-in-haystack jailbreak attack,草堆中的针式越狱)的技术,并给出了一个简单却令人不安的观点:如今支撑文档分析与”计算机使用”型智能体的百万级 token 上下文窗口,同时也打开了短上下文所没有的安全缺口。
这一发现在 2026 年尤为重要,恰恰因为长上下文已成为默认配置。模型如今常规性地摄入整套代码库、超长文字记录以及多文档集合,而使其有用的正是这一长度,本研究却将其反过来加以利用。这里是对一项已发表、进入同行评审流程的成果的分析,采用防御性视角。我们仅在概念层面描述其机制,不复现任何可用的越狱字符串。
工作原理
NINJA 不依赖对抗性后缀、混淆载荷或巧妙的角色扮演。它取一个有害目标,并用大量无害、切题、由模型自身生成的填充内容——即”草堆”(haystack)——将其包裹,使请求融入一个外表无害的长上下文之中。两点观察使其奏效。
第一点与位置有关。作者指出,有害目标在上下文中的位置会强烈影响模型是否拒答。将目标放在靠前位置获得的攻击成功率最高,这似乎是因为模型对靠前 token 给予了很高的注意力,而一旦生成开始,安全检查几乎没有机会重新接管。把同一目标推到长上下文的末尾会降低成功率,这表明模型会相对轻视靠后出现的指令,而更倾向于其已经据以生成的前文内容。
第二点是经济性。在算力预算固定的情况下,论文发现 NINJA 在算力上是最优的:把 token 花在更长的无害上下文上,可能胜过将同等预算投入到 best-of-N 式的更多次尝试上。由于填充内容是无害且由模型生成,而非对抗性乱码,该方法还被描述为低成本、可在模型间迁移,并且更难被针对可疑字符串调校的检测器捕获。在 HarmBench 安全基准上,该技术在 LLaMA、Qwen、Mistral 和 Gemini 上——无论开源还是专有——都提高了攻击成功率。
为何重要
令人不安的含义是:该漏洞是结构性的,而非措辞上的花招。它源于对齐与长序列的相互作用:主要在短提示上学习和评估得到的安全行为,当有害意图变成庞大无害草堆中的一根针时,未必仍然成立。这是我们此前报道过的一种模式的”长上下文版本”——安全性往往驻留在回答早期且浅层的部分,因而可被稀释,正如稀释拒答的思维链劫持,以及用海量上下文示例淹没对齐的多样本越狱。
风险面最大的地方,恰恰是长上下文最有价值之处:摄入不可信内容的”计算机使用”型与文档处理型智能体。当一个智能体被要求对一份冗长附件进行摘要或据此行动时,它实际上被交到手里的,是由提供文档者所选定的一堆”草堆”。这也印证了更宽泛的教训:安全对齐必须比最初的少数 token 走得更深,而不应集中在生成的开头。
防御
实践层面的结论是:仅靠提示层过滤并不足够,因为触发内容在构造上就是无害的。防御方应把外部提供的长上下文视为高风险,并在整个窗口范围内施加安全评估,而不仅在开头 token 处:采用分块或滑动窗口式审核,无论目标出现在何处都重新核查意图;并采用输出侧分类器,对生成结果作出判断,而非信任看起来”干净”的输入。位置不变的安全性——拒答行为不取决于请求落在何处——是应当直接测试的属性;红队测试集应纳入长上下文与目标位置的用例,而不仅是简短的对抗性提示。
更根本的缓解措施是架构性的,这也是 2026 年独立红队分析得出的相同结论:假定某些越狱终将得逞,并限制一个被越狱的模型实际能做什么。工具的最小权限、沙箱隔离、对有后果动作的人工审批闸口,以及输出把关,都能在拒答是否守住的情况下限制影响半径。这种收敛姿态——收窄能力,而不是把一切押在模型说”不”上——正是防止长文档深处的一个位置花招演变为现实动作的关键。
状态
| 项目 | 详情 |
|---|---|
| 发表 | 《Jailbreaking in the Haystack》,arXiv 2511.04707,提交于 2025-11-05 |
| 作者 | Shah、Wu、Saxena、Zhong、Robey、Raghunathan(卡内基梅隆大学) |
| 方法 | 长上下文无害填充(NINJA),目标置于靠前位置;无对抗性后缀 |
| 证据 | 在 HarmBench 上对 LLaMA、Qwen、Mistral、Gemini 提高攻击成功率;相较 best-of-N 在算力上更优 |
| 修复状态 | 无单一补丁;缓解 = 全窗口安全评估、输出把关、最小权限智能体设计 |
| 性质 | 对已发表研究的教育性分析;未复现任何越狱载荷 |
本文总结截至 2026-07-15 的学术研究。模型在长上下文上的行为会因版本与厂商而异;请将上述位置相关的发现视为一类需要测试的弱点,而非某一模型固定不变的属性。