在智能体动作之前读出其工具使用意图：预动作探针

这是什么？

2026 年 6 月 8 日，Hariom Tatsat 与 Ariye Shater（巴克莱量化分析部）发表了Beyond the Black Box: Interpretability of Agentic AI Tool Use，这是一项机制可解释性研究，其防御性结论很明确：智能体调用某个工具的决定——以及该动作后果的严重程度——往往在动作真正发生之前，就可以从模型的内部状态中读出。

智能体的可观测性大多是外部的、滞后的。提示词揭示的是相关性，评测给输出打分，而日志只在模型已经调用工具之后才到来。论文的论点是：对于关乎安全的决策，这是错误的时机。在长时程运行中，早期一次错误调用会重塑其后的每一步，因此一个在决策边界——即执行之前——读出意图的监控器，能获得基于日志的工具永远得不到的干预窗口。

工作原理

该方法结合了两种成熟的可解释性工具。**稀疏自编码器（SAE）**把智能体稠密的激活分解为稀疏、可检视的特征；线性探针——轻量的逻辑回归分类器——再从这些特征中读出特定信号。在每次动作之前，该框架把动作前最后 32 个 token 的隐藏状态做池化，通过公开的 SAE（GPT-OSS SAE 与 Gemma Scope）编码，并运行两路读出：

• 一个**「是否需要工具」探针**（二分类：模型在这一步是否会调用工具？），以及
• 一个**「工具风险」探针**（三档：低、中、高），估计下一次工具动作的后果。

这里的风险指的是影响，而非主题：低风险动作是只读的查询与检索，中风险是有界的写入，高风险则是身份认证、外发通信或代码执行——想想 getusertoken、sendemail 或 shell-exec。颇具启示的是，对风险探针影响最大的特征聚集在凭据与认证相关的概念周围，而决策信号则集中在 transformer 的后段层，靠近模型决定直接作答还是委派工具的那一点。

探针仅在 NVIDIA 的 Nemotron 函数调用数据集上训练，随后应用于两个开源权重模型 GPT-OSS 20B 与 Gemma 3 27B，并把 Berkeley Function Calling Leaderboard 保留为严格的零样本迁移测试。

为何重要

对防御方而言，这把工具调用的安全性重新框定为可以主动检视的对象。高风险工具动作——发邮件、签发令牌、执行 shell 命令——正是提示词注入与混淆代理攻击所利用的那类步骤。预动作探针让监督层有机会在该动作触发之前暂停或要求确认，而不是事后在日志里才发现它。它还具有通用性：由于监控器读取的是内部表征，而非某个工具特有的输出模式，同一套探针框架可以监视众多工具与众多步骤。

结果有前景但也很坦诚。「是否需要工具」的准确率在 GPT-OSS 上为 75.3%、在 Gemma 上为 71.4%；「工具风险」在有工具调用的步骤上约达 90%，不过其宏 F1 被拉低，因为中风险样本稀少且难以区分。在回放中，探针标记出约四分之三被遗漏的工具调用——其最强的角色是遗漏审计器。在向新基准的零样本迁移中，「是否需要工具」信号得以保留（GPT-OSS 上 Probe-1 与真值的一致度为 87.7%），但阈值在不同工具命名空间之间会明显漂移，在重新校准之前会产生较高的误报率。

防御

把这些探针当作一个内部监督层，而非安全边界。若部署得当，这套做法既廉价又可解释：在高价值决策点有选择地捕获激活，在派发工具调用之前运行这两路读出，并在风险探针触发「高」时，把后果性动作——认证、外发通信、代码执行——置于一个确认步骤之后。应将其与外部控制（最小权限的工具作用域、对不可逆动作的人工确认、执行日志）搭配使用，而非取而代之。

请留意作者坦率承认的局限。「工具风险」依赖于一套启发式风险方案，其迁移不如「是否需要工具」干净，因此在信任某条告警之前，阈值须按工具分布重新校准。研究仅涉及两个开源权重骨干模型和一组选定的层，因此跨架构、跨后训练方案的可移植性尚未得到证明。而且最关键的是，探针读取的是模型自身的内部信号：它是一个意图诚实度监控器，而非注入检测器——一个重塑了模型意图的攻击者，原则上也能移动该信号。请用它来捕捉被遗漏的和有风险的调用，而不要把它当作独立的保证。

状态

项目	详情
发表	预印本，2026 年 6 月 8 日（arXiv:2605.06890v3）
作者	Hariom Tatsat、Ariye Shater（巴克莱）
评测模型	GPT-OSS 20B、Gemma 3 27B（指令微调）
「是否需要工具」准确率	75.3%（GPT-OSS）/ 71.4%（Gemma）
「风险」准确率（有工具调用的步骤）	90.3% / 88.5%
最佳用途	在工具调用边界处进行遗漏与风险的预动作审计

这项工作属于一条不断壮大的激活探测研究脉络——包括从隐藏状态标记幻觉性工具选择与高风险交互的探针——它指向一种方向：把内部的预动作监督，作为当今大多数智能体技术栈所依赖的外部评测与日志的实用补充。