系统:运行中
← 返回所有攻击
DEFENSE MEDIUM NEW

AgentLens:在模型激活中捕捉编码智能体的危险步骤

2026 年 6 月底的一篇论文提出一种白盒防御:读取编码智能体自身的隐藏状态,在任务进行中标记有害执行步骤,并通过一个很小的激活子空间加以纠正。

2026-07-07 // 6 min affects: coding-agents, llm-agents, llama-3.1, qwen-2.5, gemma-2

这是什么?

2026 年 6 月底,Weidi Luo、Qiming Zhang、Yihao Quan、Mingyu Jin、Jie Cai、Chaowei Xiao、Jingcheng Niu 和 Zhen Xiang(分属佐治亚大学、南佛罗里达大学、罗格斯大学、南加州大学和约翰斯·霍普金斯大学)在 arXiv(2606.22673)发表了 AgentLens: Interpretable Safety Steering via Mechanistic Subspaces for Multi-Turn Coding Agent。该论文针对大多数编码智能体安全研究留下的一个盲点:风险不会出现在单条提示里,而是沿着多轮执行轨迹逐步累积;当外部护栏看到一次恶意的工具调用时,智能体往往已在有害计划中走了好几步。

AgentLens 是一种白盒防御。它不是从外部依据输入输出来评判智能体,而是在每一步读取模型的内部表示,判断当前执行状态是否正在滑向有害方向。这是在开放权重环境下开展的防御性、教育性研究,不涉及任何可操作的攻击代码。

工作原理

该方法分为两部分:检测与缓解。

在检测方面,AgentLens 将智能体轨迹的每一步视为模型隐藏状态空间中的一个点。有害与良性的执行状态在该空间中彼此分离,因此在步级隐藏表示上训练的一个轻量探针,就能在智能体发起下一次工具调用之前,标记出轨迹是否已进入不安全区域。

在缓解方面,论文既不重新训练模型,也不额外挂载第二个 LLM 作为裁判。它识别出一个紧凑的“有害性”方向,并在单层内部一个 10 维子空间中进行干预,把表示推回到安全行为。干预小而局部,这正是关键:它把智能体从不安全的续写中拉开,同时尽量不破坏其完成正当编码工作的能力。

逐步防御回路(概念示意)

  第 t 步隐藏状态 ──► 子空间探针 ──► 是否安全?
        │                              │
        │                    否 ──► 在某一层的 10 维
        │                            子空间内纠正,再继续
        └────────────────► 是 ──► 让该步骤正常执行

要衡量这一切,需要带标注的多轮轨迹,而这类数据几乎不存在。因此作者构建了 Mechanistic Agent Safety(MAS)基准:覆盖 194 个任务的带标注多轮执行轨迹,由三个开放权重模型 —— LLaMA-3.1-8B、Qwen-2.5-7B 和 Gemma-2-9B 生成,使每一步都带有安全标签,供探针训练与评估之用。

为什么重要

编码智能体是生产环境中权限最高的 LLM 部署之一:它们读取代码仓库、执行 shell 命令、接触密钥。外部护栏和单轮分类器是为对话设计的,面对只有在整体上才变得危险的轨迹时力不从心 —— 这正是智能体面对间接注入的脆弱性以及编码智能体的残留权限背后的同一盲点。AgentLens 的价值在于把决策移到模型内部、并逐步进行,而这正是风险真正演化的地方。

其中的取舍应当坦诚说明:白盒防御需要访问隐藏状态,因此更适合自托管的开放权重智能体,而非通过 API 提供、激活不可见的闭源模型。而表示层面的引导,如同其他基于表示的检测工作一样,成败取决于“有害性”方向能否泛化到用于发现它的任务之外。

防御建议

对于运行自托管编码智能体的团队,论文指向了一层可与现有控制叠加(而非替代)的防御。

监测整条轨迹,而不只是首尾。记录并检查智能体在每一步的状态,使坏计划在其最终工具调用之前即可被发现,而不是只依赖输入过滤和输出审核。

优先采用局部、低维的干预。窄子空间引导比一刀切的拒绝或激进的系统提示加固更能保住可用性,后者往往会破坏正当的长程任务 —— 即“自主性税”问题

构建带标注的多轮评估数据。没有为安全打过标注的轨迹,就无法调优或信任一个步级检测器;MAS 式数据集是前提,而单轮基准会高估你的覆盖率。

保留经典控制。表示引导是模型内部的最后一道缓解 —— 工具最小权限、沙箱隔离以及对破坏性操作的人工确认仍然重要,因为内部信号是概率性的,可能漏判。

状态

项目详情
披露arXiv 预印本 2606.22673,2026 年 6 月底(cs.AI / cs.SE)
类型白盒运行时防御 —— 面向多轮编码智能体的步级检测 + 表示层缓解
机制在步级隐藏状态上的探针;在单层的 10 维子空间内引导
基准Mechanistic Agent Safety(MAS):194 个任务,带标注的多轮轨迹
研究模型LLaMA-3.1-8B、Qwen-2.5-7B、Gemma-2-9B(开放权重)
主要局限需要访问隐藏状态(自托管模型);有害性方向在训练任务之外的泛化

Sources