提示注入检测器需要决策策略，而不只是更好的分数

这是什么？

提示注入检测器通常被当作二分类器来评估。但生产环境中的应用需要做出更具体的决定：放行输入、拦截输入，或将其升级给人工或更强的模型处理。2026年10月14日提交到arXiv的一篇预印本（arXiv:2610.20907，《From Detection to Decision: Calibration and Deferral for Prompt-Injection Detection》，作者为Qianlong Lan、Anuj Kaul、Vinothini Pandurangan和Indranil Sanyal）直接研究了这一决策层。

对防御者的启示：能输出概率的检测器，并不自动等于可以放心用来把关流量的检测器，尤其是在流量分布与训练数据不同的时候。

工作原理

作者在来自TensorTrust、BIPIA、NotInject和PIDS-Bench v3的47,611个留出样本上评估了四个系统：一个托管的概率决策模型（Jev）、两个Llama Prompt Guard 2分类器（22M和86M参数）以及一个LLM裁判。Meta将Prompt Guard 2描述为基于BERT的分类器，只输出“benign”或“malicious”标签，上下文窗口为512个token。

研究衡量了三件事。区分能力（AUROC）：LLM裁判为0.897，Jev为0.871，Prompt Guard 2 86M为0.757，22M模型为0.714。校准：经过温度缩放后，Jev的原生概率并未持续优于Prompt Guard 2；温度缩放改善了校准指标，但不改变区分能力。策略行为：作者构建了放行/拦截/延后策略，不确定的输入会交给固定的LLM复核者。

最关键的结果与成本有关。要把系统漏报率降到1%或更低，每一种“闸门加复核者”的组合都必须升级超过91.8%的输入，仅约7%至8%能自动处理，系统误报率约为40%至46%，平均延迟约为3.7至3.9秒。作者指出，在分布偏移下，仅靠概率输出无法建立可靠的安全决策。

论文自身列出的局限：合并测试集中约88%为攻击样本且以BIPIA为主；Jev作为托管模型只用一个提示词测试；结果为点估计，没有置信区间；研究衡量的是检测与路由，而非端到端的智能体被攻陷。

为什么重要

许多团队在智能体前放一个小型分类器，并把它的分数当作安全控制。这项研究表明，分数只是策略的第一个输入。如果分类器的置信度在你的流量上校准不佳，依据公开基准选定的阈值可能会拦截正常用户或漏掉攻击，而为极低漏报调校的复核者可能会把几乎所有内容都标记出来。决定该控制是否可用的，不仅是准确率，还有运营成本。

Defenses

• 在自己的流量上测量校准和错误率，而不只依赖公开基准，并在模型或提示词变更后重新测量。
• 同时报告误报和漏报：漏报率低但过度拦截的闸门，会被用户绕过或被运维人员关闭。
• 采用三向策略（放行、拦截、延后），并在设定阈值之前明确规划复核预算，包括延迟。
• 单独测试复核者的工作点：为“零漏报”校准的复核者可能让整个系统变成全部拦截的闸门。
• 按数据集或流量分段查看结果，因为合并指标可能掩盖构成效应。
• 把检测器当作多层防御中的一层：配合工具最小权限、敏感操作确认和输出过滤，使漏掉的注入不至于变成成功的注入。
• 使用Prompt Guard 2时遵循Meta的建议：将超过512个token的输入分段处理，并考虑用应用自身的数据进行微调。

Status

项目	详情
来源类型	arXiv预印本（cs.CR），尚未经同行评审
提交日期	2026年10月14日
评估系统	Jev、Llama Prompt Guard 2（22M、86M）、LLM裁判
漏洞 / CVE	无；这是一项评估研究
修复建议	运营层面：校准、定义延后策略、叠加多层控制