无害的提问,被禁的答案:知识分解式护栏绕过
ICML 2026 的一篇论文展示了一种从不提出任何有害内容的越狱手法:它把被禁目标拆解为一系列无害的子问题,再将答案重新拼合,据称对商用护栏的绕过率超过 95%。
这是什么?
2026 年 7 月 6 日,隶属于 IBM 的研究者在 ICML 2026 上发表了论文 The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search。该论文描述了一类越狱手法,绕过了大多数护栏所依赖的一个假设:有害请求看起来就是有害的。
几乎所有主流越狱仍处于提示优化范式之中:构造一个承载恶意意图的单一输入,再设法加以伪装。现代的内容审核分类器正是被训练来捕捉这种残留的恶意信号。作者指出了一个与措辞无关、更深层的弱点:大语言模型的内部知识高度互联,因此一个被禁目标可以由一连串单独看来无害的问题重构而成,而其中任何一个问题都不会单独触发过滤器。这是关于结构性漏洞的、已公开发表的学术研究,而非操作性教程。
工作原理
该技术被呈现为作者所称的关联知识攻击代理(Correlated Knowledge Attack Agent,CKA-Agent)。它并不优化单个提示,而是把越狱重新表述为对目标模型已有知识的自适应、树状结构的探索。
从高层来看,其循环如下(有意保持抽象):
被禁目标
|
分解为局部无害的子问题
|
提出子问题 ---> 模型作答(每个回答看起来都无害)
| |
用回答进行分支、选择下一个子问题(树搜索)
|
在多条路径上重复
|
聚合收集到的碎片 ---> 重构出原始目标
有两个特性使其难以防范。其一是局部性:护栏所看到的每个请求单独来看都确实无害,因此逐条消息的分类无从标记。其二是自适应性:模型自身的回答引导搜索,因而攻击会探索知识最易触及的路径,而非遵循固定脚本。有害内容从不被说出,而是由攻击者从模型逐条给出的碎片中拼装而成。作者报告称,在开启强护栏的情况下,对前沿商用模型的成功率超过 95%;具体的搜索流程与评测见论文。
为什么重要
这将攻击单位从消息转移到了对话。逐个为提示和补全打分的护栏,从构造上就对”只有碎片组合后才存在”的危害视而不见——这一属性任何单个回合都不具备。它是审核层面上的分解式攻击,并推广了代理安全其他领域正在浮现的同一教训:把有害目标拆成无害步骤可以躲过即时检查,而跨会话的溯源缺口会让无害动作累加成危险后果。
对以内容审核分类器作为主要安全控制的部署而言,实际暴露面最大,尤其是在多轮聊天与检索场景中——用户(或上游代理)可以维持一条很长的提问链。该技术本身并不带来代码执行或数据外泄,其风险在于模型泄露了运营方本想保留的知识。
防御
应将逐条消息的审核视为必要但不充分。
对对话打分,而非只对单轮打分。核心弱点在于危害沿多条消息累积,而防御却在孤立地评估每条消息。在安全层保留会话级上下文,使得一串朝向敏感目标、范围狭窄的漂移式提问能被识别为一种模式,而不仅是一份看似干净的提示清单。
关注主题收敛与试探结构。自适应的知识分解往往从多个角度围绕某个敏感区域打转。速率限制、对提问轨迹的异常检测,以及对反复逼近受限领域的对话进行标记,都能在没有任何单条查询可拦截的情况下抬高树搜索的成本。
在知识边界处防御,而不只在措辞层面。由于攻击不含恶意用词,输出端与检索端的控制更为关键:应限制模型或其 RAG 语料库究竟能够披露哪些敏感材料,而不是指望输入分类器去察觉文本中并不存在的恶意意图。
保持分层控制并预设会被绕过。这是一类越狱手法,而非可打补丁的缺陷:应预期坚定的多轮攻击者会实现部分重构。将具备对话感知能力的审核、数据最小暴露策略、高风险领域的人工复核,以及可事后重建会话的日志记录结合起来。
Status
| 项目 | 详情 |
|---|---|
| 披露 | 会议论文,ICML 2026,2026 年 7 月 6 日发表(预印本 arXiv 2512.01353) |
| 类别 | 针对内容护栏的多轮知识分解式越狱 |
| 核心思路 | 通过自适应树搜索,从单独无害的子问题重构被禁目标 |
| 所报影响 | 在开启强护栏的前沿商用 LLM 上绕过率 >95%(据作者所述) |
| 不涉及 | 代码执行或数据外泄——这是安全/审核绕过,而非系统级失陷 |
| 说明 | 成功与否及可触及的知识取决于目标模型及其安全栈 |