让大模型推理提速失效：针对投机解码的攻击

这是什么？

Mistletoe 是一种针对*投机解码（speculative decoding）*的机制层面攻击。投机解码是绝大多数高速大模型服务栈背后的推理加速技术。该研究由一支研究团队于 2026 年 5 月 13 日发布在 arXiv 上（5 月 18 日修订），其目标很不寻常：它针对的不是模型的答案，而是产生该答案的速度。攻击几乎不改变可见输出，却悄悄榨干投机解码本应带来的吞吐收益。换句话说，模型仍然说出正确的内容——只是要花费多得多的算力才能说出来。

投机解码将一个小而快的*草稿（drafter）模型与大型目标（target）*模型配对。草稿模型一次提出多个候选 token，目标模型在一次并行步骤中进行验证，接受它认可的那些。整个加速都取决于一个数字：平均接受长度，也就是每次验证中有多少个被提议的 token 能够存活。Mistletoe 直接攻击这个数字。

工作原理

论文将攻击面定位在草稿模型与目标模型之间的差距上。草稿模型被训练来逼近目标模型的分布，但这种逼近永远不完美。这种不完美的重叠通常只是一个性能细节；Mistletoe 却把它变成一个杠杆。其核心洞见是：微小的输入扰动可以将生成引导到草稿模型与目标模型产生分歧的区域，使得几乎没有被提议的 token 被接受——而目标模型自身的输出分布几乎不动。

Mistletoe 联合优化两个本来会相互冲突的目标。一个退化目标压低草稿–目标一致性，缩短接受长度。一个语义保持目标约束目标模型输出分布可被允许的偏移，让答案看起来正常。为避免前者破坏后者，作者加入了零空间投影：将退化梯度投影到局部语义保持方向之外，从而在没有明显语义变化的情况下压制接受。在其评估的各类投机解码系统中，报告的效果是平均接受长度大幅下降、加速崩溃、token 吞吐量降低，同时输出质量与困惑度得以保持。我们在概念层面描述该机制；预印本给出了优化细节与测量结果。

为何重要

投机解码并非小众优化。基于模型的草稿方案——包括 EAGLE、Medusa 等被广泛部署的方法——在高吞吐服务中是标准做法，因为它们能在硬件不变的情况下成倍提升每秒 token 数。能够按需瓦解这种加速的攻击者，会把一项节省成本的功能变成一项放大成本的功能。在共享的多租户端点上，每个被伪造的请求都会回退到缓慢的逐 token 生成，从而抬高整台机器上所有人的延迟与算力开销，而且永远不会触发质量或安全过滤器，因为响应本身看起来毫无问题。

这种隐蔽性才是真正的要点。大多数关于大模型鲁棒性的工作都监视输出：模型是否拒绝、是否泄露、答案是否改变。一种保持输出正确却摧毁效率的攻击，会从这一整类监控之下溜过去。它把投机解码重新定义为一个可用性与成本的攻击面，而不仅仅是一个速度旋钮——这提醒我们，性能机制会继承其自身的威胁模型。

防御

对于自建推理的团队而言，要点是运营层面的，而非单一补丁。

• 监控接受长度，而不只是输出。 这类攻击最清晰的信号是平均接受长度和加速比出现与输入相关的骤降。对每个请求和每个租户的接受率进行度量并对异常告警；输出质量看板不会显示任何东西。
• 按真实算力计量与设限，而非按 token 数。 按验证步数或实际耗时计费与限速，使一个瓦解投机解码的请求像它本应是的昂贵请求那样被限流，而不是在 token 计数器上显得廉价。
• 在服务层隔离租户。 让不可信流量远离共享的投机解码批次，可以限制某个对手拉低同租户吞吐的影响范围。
• 准备有意识的回退。 把「为该请求/租户禁用投机解码」当作一种由你选择的受控降级模式，这样攻击者就无法通过拉低所有人的接受率来全局性地强制它。
• 将加速纳入威胁模型。 采用新的草稿模型或投机方案时，问一问对手通过最小化接受能获得什么，并在依赖该加速进行容量规划之前，先在对抗性输入上测量最坏情况（而非仅平均）的吞吐量。

状态

项目	值
类型	对抗性研究——针对投机解码的可用性/效率攻击
威胁模型	攻击者向使用基于模型的投机解码的服务栈提交伪造输入
效果	瓦解平均接受长度与加速比；降低吞吐；保持输出质量与困惑度
方法	退化目标 + 语义保持目标的联合优化，配合零空间投影
影响	延迟与算力成本膨胀，尤其在共享/多租户端点上；不破坏输出
发布	2026 年 5 月 13 日（arXiv:2605.14005），5 月 18 日修订
状态	学术预印本；并非产品漏洞或 CVE

关键日期：2026 年 5 月 13 日——Mistletoe 预印本（arXiv:2605.14005）提交；2026 年 5 月 18 日——v2 修订。该工作与关于投机解码攻击面的一条日益增长的研究线并列，其中包括通过投机解码产生的时序侧信道（arXiv:2411.01076）。结果与方法均以预印本所述为准。