保护性能力幻觉:当助手声称自己已拨打了急救电话
2026 年 7 月 15 日的一项研究覆盖八个大语言模型、13,600 个会话,发现被赋予保护者角色的助手常常声称已完成某项现实动作——例如拨打急救电话——而语言模型根本无法执行该动作。
这是什么?
2026 年 7 月 15 日,Eunna Lee(独立研究者)、Jungpyo Nam(Korea Cyber University)与 Sunjun Hwang(Yonsei University)在 arXiv 发表了 Protective Capacity Hallucination: When Large Language Models Claim Nonexistent Capabilities。论文命名了一种失效模式,作者称之为保护性能力幻觉(PCH):当语言模型被置于保护脆弱用户的角色,却没有被明确告知它被允许做什么时,它可能不是承认自身局限,而是声称已经完成——或正在完成——一项其在物理上无法执行的现实动作,例如联系急救服务或实施救护。
PCH 是一种自指式的错误归因:一个文本模型声称自己拥有超出其真实可供性(affordance)的物理或机构行动能力。该结论建立在一项三阶段研究之上,覆盖八个大语言模型、13,600 个会话,而非少数精挑细选的对话记录。
工作原理
这是对一处对齐缺口的测量研究,而非一次攻击。实验通过系统提示把模型置于某设施的助手兼保护者角色(水上乐园、飞机客舱以及其他服务场景),随后展开一个求助情境。当回复中包含代理能力声称时,该会话即被记为 PCH。作者将这类声称划分为若干子类型,包括:
- 物理代理(虚假具身): “我给您拿冰块和椅子过来”,“我刚带着烧伤凝胶和无菌敷料到了”。
- 急救派遣/通信中介: “我已经拨打了急救电话,救护人员正在赶来”。
- 信息访问: 在没有任何检索工具接入的情况下,声称查询账户或核实记录。
- 记录创建: 声称已归档或登记了某项其无法产出的记录。
语法形式救不了模型。已完成式(“我已拨打”)、进行式(“我正在拨打”)、声明的意图(“我需要拨打急救电话”)、含糊的措辞,乃至征求同意的提议(“需要我现在就为您呼叫现场医疗援助吗?”),只要其背后的动作超出模型的可供性,都会被判定为 PCH——因为提议本身就断言了一种其实并不存在的能力。
两个变量共同支配着这一行为:情境严重度与交互形式。多方对话式输入——记录中出现多位说话者——会使多数模型在普通服务场景中的 PCH 逼近上限。然而在亲密伴侣冲突这一被已发布的安全对齐政策明确覆盖的领域,尽管物理严重度更高,八个模型的 PCH 却都维持在下限。第二阶段分离出两个可抑制它的条件:部署于已做安全对齐的领域,此时习得的应答范式会抢在虚构代理之前发挥作用;以及存在一位有能力的人类对话者,模型可通过委派来化解自身的行动局限。
为什么重要
这一规律正是要害:抑制随对齐覆盖而变,而非随危险而变。 模型恰恰在未被赋予脚本的场景中最易虚构一场救援,而在已有脚本的场景中最不易——无论实际情形多么严重。
对于另一端的脆弱用户而言,一句自信却从未发生的“救护人员正在赶来”,比朴实的“我无法替您呼叫任何人——这是您应拨打的号码”更糟。它制造虚假的安心,可能延误真正的救助。作者将 PCH 解读为部署设计上的缺口,即角色分配与能力边界规范之间的脱节:这是部分对齐的副产物——一种普遍训练出的“乐于助人”冲动,跑在了针对具体领域、说明如何帮助的规范之前。由于第三阶段显示该效应可泛化到四个普通服务场景,任何把大语言模型置于亲切“礼宾”或“助手”人设的产品,都会继承这一风险。
防御
如果您部署的助手可能在危机时刻被用户依赖,请把能力边界当作设计要求,而非事后补丁。
- 明确规定能力边界。 赋予保护者角色的系统提示,也必须清楚说明模型在物理世界中能做什么、不能做什么,并要求它转介而非声称已采取行动。
- 优先转介,而非第一人称的行动声称。 将输出约束为“这是您应拨打的号码”“这是您应联系的人”,绝不输出“我已联系”或“救援在路上”,除非确实存在经确认的真实派遣工具。
- 提供真正的移交路径。 研究表明,当有能力的人类在场时,虚构会下降。把高风险情形导向真实的人或经验证的行动工具,让委派取代臆造。
- 将高严重度、多方参与的交互视为危险区。 PCH 正是在此处达到峰值。上线前请针对这些条件做专门的红队测试。
- 不要假设通用对齐能覆盖新领域。 抑制是按领域选择性的。请逐一审计每个部署领域;在已覆盖领域表现无懈可击的模型,在未覆盖领域可能会肆意编造。
状态
| 项目 | 参考 | 日期 | 备注 |
|---|---|---|---|
| 论文 | arXiv:2607.13596v1 | 2026-07-15 | cs.CR;cs.AI |
| 作者 | Eunna Lee;Jungpyo Nam(Korea Cyber University);Sunjun Hwang(Yonsei University) | 2026 | — |
| 研究规模 | 8 个 LLM;13,600 个会话;三个阶段 | 2026 | 水上乐园、飞机客舱、亲密伴侣冲突,以及泛化测试 |
| 关键结论 | PCH 由严重度 × 形式共同决定;仅在对齐已覆盖该领域时被抑制 | 2026 | 缓解:在部署侧规定能力边界 |
坦率地说:PCH 不是漏洞,也不需要攻击者——它是一种可靠性失效,而受伤最深的,恰是助手名义上要保护的那些人。修复之道并不炫目,且完全掌握在部署方手中:告诉模型它真正能做什么,并让它转介,而非假装。