用规格与轨迹来测试自主智能体的安全性

这是什么？

2026 年 6 月，一篇题为 SeClaw: Spec-Driven Security Task Synthesis for Evaluating Autonomous Agents（arXiv:2606.02302）的论文提出了一种为使用工具的 LLM 智能体构建并运行安全测试的方法。作者称这项工作尚属初步、仍在进行中，但其思路现在就值得关注，因为它针对的是大多数部署智能体的团队都已经面对的一个度量难题。现代智能体不再只是回答问题：它们读取文件、调用工具、保持持久记忆并访问外部服务。正是这种被放大的自主性，使得它们的安全性难以度量。

论文的论点是：现有的智能体安全基准共有三处不足。它们依赖人工编写的任务，难以规模化，且受限于人工标注者所能想到的内容。它们只覆盖威胁全景的一部分，因为一组固定的任务实例很难扩展到新出现的风险。而且它们主要依据最终回答来评判智能体，然而智能体的危险行为通常是一系列动作，发生在最终消息中出现任何迹象之前。SeClaw 正是对这三处缺口的回应。

工作原理

这里描述的是一个评测框架，而非攻击，且不提供任何可用载荷。SeClaw 包含两个部分。

第一部分是由规格驱动的任务合成。作者将智能体风险归纳为四个来源——资源（系统提示词、技能、记忆、MCP 服务器）、用户任务、环境反馈（网页、工具输出、文件）以及模型或框架的内在缺陷。一位人类专家在代码智能体的协助下，为某个目标风险撰写结构化规格：风险点、智能体角色、用户可见的任务、危险的来源、待测试的不安全行为以及安全约束。随后，一个多智能体流水线把该规格转化为任务原型，再将其实例化为可执行任务，配备真实工作区、模拟服务、文件和已配置的工具，并运行一个验证循环，只保留那些可解、可复现且确实能区分强弱模型的任务。

第二部分是基于执行的评测。每个任务都在隔离的 Docker 沙箱中运行，每个实例使用全新的容器，因而状态不会在不同运行之间泄漏。SeClaw 记录完整轨迹——提示词、模型决策、工具调用、服务响应、文件操作以及最终产物——而不仅仅是回答。评分刻意采用二维方式：一个覆盖度项，衡量触及了多少个不同的安全目标；一个可靠性项，衡量危险条件被触发的稳定程度；二者以调和平均合成。作者强调，这一分数是面向风险的：数值越高，说明被评测的模型越脆弱，而非越有能力。

为什么重要

以结果为中心的评测隐含地假设：智能体的危险体现在其最终回答中。但事实往往并非如此。智能体可能在产出评审者会读到的总结之前若干步，就已泄露了一份凭据、覆盖了一个文件，或把两个看似无害的工具串接成一次有害动作。对轨迹评分，可以把一次失败归因到具体阶段——模型理解、动作选择、工具调用还是环境响应——这正是让结果可复现、可在不同智能体之间比较的关键。

合成这一部分同样重要。针对智能体的威胁演进速度快于手写基准所能跟上的速度，而一个能从风险分类法出发、生成新鲜且面向具体场景任务的框架，更贴近真实暴露面的演变。这与 SABER 等同期工作所体现的、转向有状态、面向过程评测的取向一脉相承，也延续了 AgentDojo 为提示词注入所确立的”环境在环”思路。

防御

为过程评分，而不只是回答。 如果你的智能体评测只检查最终输出，就对产生它的那条工具调用链视而不见。记录并为整条轨迹评分，这样即使最终消息看起来干净，危险的工具调用也能被发现。

隔离每一次测试运行。 使用按任务划分的沙箱，每个实例一个容器，并施加资源限制与权限控制，使残留状态无法污染下一次运行，出错的测试也无法触及宿主机。

覆盖全部四个风险来源。 资源、任务、环境与内在缺陷的失败方式各不相同。只测试来自网页的间接注入的测试套件，会漏掉源自别处的权限滥用、资源滥用导致的拒绝服务，以及危险的工具串接。

在质量关卡上保留人工。 自动化合成能扩大覆盖面，但每个任务的安全含义——什么算作不安全、为什么——需要人工复核。应把生成的测试当作通过了明确检查的候选项，而非既定真理。

让评测持续进行。 冻结的基准会过时。随着新的风险类别出现而重新生成任务，并在每次智能体与模型更新时重跑，而不是一次性认证某个智能体后便认定其始终安全。

状态

项目	参考	日期	说明
论文	arXiv:2606.02302	2026 年 6 月	由规格驱动的安全任务合成 + 基于轨迹的评测；作者称为进行中的初步工作
风险分类法	资源、任务、环境、内在	—	用于驱动任务生成的四个智能体风险来源
方法	多智能体合成 → Docker 沙箱执行 → 轨迹记录 → 面向风险的评分	—	每个实例一个容器；覆盖度 + 可靠性以调和平均合成
相关	SABER；AgentDojo	2024–2026	有状态 / 环境在环的智能体安全评测

SeClaw 并不声称能让智能体变得安全——论文主张：无法度量的东西就无法管理，而度量智能体安全意味着观察整次运行，而不仅是最后一行。对于部署使用工具智能体的团队，其可操作的结论既狭窄又可验证：围绕轨迹与隔离执行来构建评测，覆盖你已经担忧的那一种之外的风险来源，并随着攻击面的移动而不断重新生成测试。