权衡三角：LLM 教学助手的提示注入防御

What is this?

2026 年 5 月，Alexandre Cristovão Maiorano 在 arXiv 上发布了 Evaluating Prompt Injection Defenses for Educational LLM Tutors: Security-Usability-Latency Trade-offs（arXiv:2605.06669，v2）。这不是一种新攻击，而是一篇测量性论文，它所测量的正是护栏工程中被产品说明书悄然略过的那一部分：当你启用一项防御时，你究竟付出了什么代价。

场景是一个 LLM 教学助手——帮助学生学习的对话式智能体，它必须遵循学生的意图，同时拒绝泄露答案、脱离教学角色或泄露系统提示。论文在同一个受控集（480 条查询，其中 369 条注入、111 条良性）上评估了三种防御，并同时从三个维度报告每一种：注入被放过的频率（绕过率）、合法查询被误拦的频率（误报率，FPR），以及增加的延迟。同时报告这三者正是其贡献——大多数论文只报告第一项。

How it works

作者构建了一个面向该领域的四层流水线——确定性模式过滤、结构化校验、上下文沙箱和会话级行为检查——然后在统一的检测条件下，于同一数据集上将其与两套广泛部署的系统正面对比：NVIDIA NeMo Guardrails 和 Meta 的 Prompt Guard。结果落在三角形上三个截然不同的位置：

Defense                     Bypass↓   FPR↓      Added latency
--------------------------  --------  --------  -------------------
Custom 4-layer pipeline      46.34%    0.00%     ~2.5 ms
Meta Prompt Guard            38.48%    3.60%     (classifier-speed)
NVIDIA NeMo Guardrails        0.00%   16.22%     ~1.5 s
--------------------------  --------  --------  -------------------
Bypass = 被放过的注入（越低越安全）
FPR    = 被误拦的合法查询（越低越可用）

逐行阅读，权衡一目了然。NeMo 拦下了集合中全部注入——代价是误拦了大约六分之一的合法查询，并且每轮增加约 1.5 秒延迟。自研流水线从不误拦真实查询，响应时间不到三毫秒——但放过了 46% 的注入。Prompt Guard 在每个维度上都居中。没有任何一行能在三项上都最优。

第二个发现进一步强化了论点：语料涵盖英语和巴西葡萄牙语，而基于英语校准的词法过滤器，在 PT-BR 查询上的绕过率明显更高。在一种语言上调好的护栏会在另一种语言上悄然退化，这对任何跨地区部署的教学助手都很重要。

评估方法是其中最具持久价值的部分。作者报告了分层自助法置信区间、配对 McNemar 显著性检验和多随机种子敏感性扫描，并发布了可复现包（Docker 镜像、数据集、脚本），以便在完全相同的条件下重跑同一对比——这种”同等条件”的协议，是”0% 攻击成功率”之类的说法极少能提供的。

Why it matters

大多数提示注入防御都以单一数字来推销——攻击成功率或绕过率——而且是针对一组固定的已知载荷测得的。本文提醒我们：离开它的两个伴随指标，那个数字毫无意义。 一个靠拦下 16% 良性流量来达到 0% 绕过率的护栏，在任何运营意义上都不”更安全”；在课堂上，它是一个让教学助手无法使用的护栏，而护栏正是这样被关掉的。

对真正运营这些系统的人来说，教训在于：正确的工作点是一个机构层面的选择，而非技术选择。 高风险的测评工具可以接受较高的 FPR 以保证零泄露；而学生一旦遭遇首次误拒便会放弃的作业助手，则需要相反的取舍。同一篇论文、同一份数据，支撑了这两种决策——这正是要点所在。从实证一侧看，这也呼应了上下文完整性论证：一项防御无法同时做到既最大限度安全又最大限度宽容；在这里，你能以基点为单位观察到这种权衡。

多语言差距是最不起眼也最具普遍性的警示。如果你的过滤器是基于英语调优的，而你的用户并非全部使用英语书写，那么你真实的绕过率高于基准所显示的数字。

Defenses

可付诸行动的要点是一套挑选护栏的方法，而非某一款现成可装的护栏。

1. 要求三个数字一起给出。 在采用任何输入护栏之前，索取它的绕过率、在你自己良性流量上的误报率，以及增加的延迟——并且要在同一数据集上测得，而非三个不同的数据集。只报攻击成功率的供应商隐藏了三分之二的真相。

2. 先依风险确定工作点，再据此调参。 判断你的应用更不能容忍误拦（作业助手：不能）还是泄露（计分测评：不能），然后选择对应的那一行。不要照搬默认阈值。

3. 快慢分层叠加。 数据支持分级设计：以亚毫秒级的确定性过滤作为廉价的首道关卡，仅将模糊样本升级到像 NeMo 这样较慢的模型护栏。你能在不放弃关键处重型护栏的前提下，把大部分延迟预算赚回来。另见输出侧过滤与指令层级方法，可作为互补层。

4. 按语言重新校准。 若跨多语言部署，应按语言分别测量绕过率，并为每种语言调整词法模式。仅基于英语的校准会悄然抬高你在其他所有语言上的绕过率。

5. 采用可复现的基准协议。 使用固定的留出集，配合置信区间和配对显著性检验（McNemar），让护栏之间的对比保持诚实。论文公开的复现包是一个可直接使用的起点。

6. 将间接注入单独对待。 该基准针对直接注入；作者将间接注入——通过检索到的文档或 LMS 内容到达的载荷——标为待研究方向。如果你的教学助手会摄入外部材料，那一攻击面在此并未测量，需要单独的控制措施。

Status

项目	来源	日期	备注
论文发布于 arXiv（v2）	arXiv:2605.06669	2026-05	作者：Alexandre Cristovão Maiorano
基准数据集	论文	2026-05	480 条查询（369 注入 / 111 良性）
自研四层流水线	论文	2026-05	绕过率 46.34%，FPR 0.00%，约 2.5 ms
NeMo Guardrails（基线）	NVIDIA	2026-05 评估	绕过率 0.00%，FPR 16.22%，约 1.5 s
Prompt Guard（基线）	Meta	2026-05 评估	绕过率 38.48%，FPR 3.60%
可复现包	论文（公开产物）	2026	Docker + 数据集 + 脚本

结论并不是”护栏没用”。而是：护栏的安全数字单独来看是不完整的，为 LLM 教学助手——或任何面向用户的助手——挑选防御，本质上是在鲁棒性、可用性和延迟之间分配一笔固定预算。本文的贡献，正是让这笔预算变得可见。