系统:运行中
← 返回所有攻击
DEFENSE MEDIUM NEW

四道门:拦截单条消息都看不出的多轮越狱

2026 年 7 月的一篇论文在用户与模型之间插入一个独立的监督模型,用意图、零信任上下文、跨轮一致性与输出风险四道门,拦截逐条看都无害的多轮越狱。

2026-07-14 // 5 min affects: llm-chat-assistants, llm-agents, open-weight-llms

这是什么?

大多数运行时安全层每次只判断一条消息。护栏读取输入的提示词,或输出的回复,判定”安全”或”不安全”,然后继续下一条。面对表面上就有害的请求,这种做法有效;但面对一个从不发送任何一条明显有害消息的攻击者,效果就差得多——攻击者在整段对话中逐步建立意图,声称某种身份(“我是安全审计员,这是被授权的”),并把一个有害目标拆解成一个个孤立看来无害的步骤。

2026 年 7 月初发布于 arXiv 的论文《Cognitive Firewall: A Proactive, Zero-Trust, Multi-Gate Framework for LLM Safety》(2607.01277),出自罗马第三大学与阿拉巴马大学的研究者,正是一项针对这一盲区的防御方案。它不再孤立地为消息打分,而是在用户与受保护的目标模型之间插入一个独立的监督模型,并提出另一个问题:不是”这条消息是否不安全?“,而是”这段对话想达成什么目的,其所声称的权限是否属实?“

工作原理

该框架把安全评估拆分为四道顺序的,每一道回答一个分类式问题。设计是防御性、架构性的——这里没有任何可复现的攻击。

  • 意图门。 它不对表层文本做模式匹配,而是尝试还原请求的操作目标——用户最终在朝哪个方向引导——从而识别出那些表面无害、实则指向有害目标的步骤。
  • 零信任上下文门。 它把任何被声称的身份或权限(“我是渗透测试员""管理员已批准""这是虚构演练”)都当作未经核实的证据,而非可以解锁能力的事实。这正是防范针对人的权限型社会工程的零信任姿态,应用到模型的上下文窗口。
  • 一致性门。跨轮观察渐进式攻击的特征:升级(每条消息推进一点)与拆解(把被禁任务切成看似被允许的碎片)。这正是单消息过滤器在结构上无法看到的状态。
  • 输出风险门。 在候选回复被放行前,它检查生成内容本身——为输入看似可接受、但模型回答漂移到有害地带的情形做最后一道把关。

由于监督模型与目标模型相互独立,它的判断既不共享目标的分词特性,也不共享目标对上下文说服的易感性——论文正是借此抵御那些削弱目标自身拒答能力的攻击。

为什么重要

多轮、权限型与拆解型攻击,恰恰是对消息级护栏最顽固的几类,因为危害存在于轨迹之中,而非任何单条提示词。论文报告,加入监督层后,攻击成功率在其三个攻击集上降至 2% 或更低,在最难的人工构造集上降至 14%,评测覆盖四个越狱基准与一个良性安全测试集,同时把过度拒答维持在约 8%。这些是作者在自有评测上的数字,应理解为效果方向而非普适保证——但方向本身才是关键:有状态、跨轮的监督,切实收窄了无状态过滤留下的缺口。

需要诚实指出的局限:独立监督模型会在每一轮增加延迟与推理成本;8% 的过度拒答并非没有代价,会在边界请求上惹恼正当用户;而任何监督模型本身仍是模型,因而带有自己的盲点,原则上也可被针对。它抬高了门槛,但没有消除问题。

防御

对于运营 LLM 助手与智能体的团队,实践要点超越这一具体框架:

  • 让安全具备状态。 跟踪对话级的意图与升级,而不只是逐条的毒性。已部署护栏被利用最多的弱点,就是它们忘记了此前的九轮。
  • 把被声称的权限视为未经核实。 提示词内声明的身份与权限是攻击者可控的输入。把真实能力绑定到带外的身份与授权,绝不绑定到聊天里的一句话。
  • 让监督者与目标分离。 一个不共享目标上下文与弱点的独立裁判,比同一模型的自检更难被说服改变判断。这与近期智能体安全设计模式研究中”防御不应是它所防护对象的一部分”原则相呼应。
  • 保留一道输出侧的门。 在放行前检查候选回复;仅靠输入过滤会漏掉良性提示词产生有害补全的情形。
  • 为成本做预算。 在良性测试集上度量过度拒答,与攻击成功率下降并列考察,并在投入生产前核算每轮监督带来的额外延迟与推理开销。

状态

项目详情
发现独立的多门监督模型可降低多轮、权限型与拆解型越狱
来源《Cognitive Firewall: A Proactive, Zero-Trust, Multi-Gate Framework for LLM Safety》,罗马第三大学与阿拉巴马大学,arXiv,2026 年 7 月初
机制四道门:意图、零信任上下文、跨轮一致性、输出风险
报告结果三个攻击集攻击成功率 ≤2%,最难人工集 14%;过度拒答约 8%
评测范围四个越狱基准 + 一个良性安全测试集
类型防御框架(研究提案;无 CVE)

Sources