为什么独立 AI 智能体开发者总是忽视安全风险

摘要 生产环境中 AI 智能体的大多数安全失误并非奇异的漏洞利用，而是构建者从一开始就没有建模的风险。2026 年 6 月发表的一项研究（arXiv 2606.03190）访谈了独立 AI 智能体开发者，了解他们如何看待安全与隐私。结论是：构建者几乎完全从用户视角思考，把”输出是否有害”当作安全的全部，却对提示注入、工具滥用、数据外泄等对抗性风险缺乏认识。他们采用的防护是手工编写的，零散且不完整。这是一项关于人因的发现，而非漏洞利用——但它解释了为什么我们记录的众多攻击至今仍然奏效。

这是什么？

论文 Focused on the User, Overlooking the Risks（arXiv 2606.03190，2026 年 6 月）是一项基于访谈的研究，对象是构建并部署 AI 智能体的独立开发者——他们是当下大量助手、自动化流程和”GPT 风格”应用背后的个人开发者与小团队。研究者并未测试模型，而是询问在模型之上做开发的人：他们如何理解安全与隐私、实际上做了什么、又卡在哪里。

主要结论是开发者的心智模型与真实威胁面之间存在结构性错位。构建者从最终用户的视角出发，优化的是面向用户的安全——防止智能体说出有害、冒犯或偏离品牌定位的内容。这种取向挤掉了对抗性视角：在对抗视角里，威胁不是用户，而是把指令塞进网页、文档、工具返回结果或记忆存储的第三方。

研究发现了什么

有三点尤为突出，都与防御者在实战中所见一致。

第一，把安全等同于内容审核。 被问及”安全”时，开发者想到的是有害输出过滤，很少提及注入、外泄或权限边界。安全风险与模型的能力局限被混为一谈，于是在构建者看来，一处架构漏洞像是可以靠更好的提示词来抹平的质量问题。

第二，防御是手工而临时的。 研究指出，开发者几乎完全依赖手工方案——定制的提示词措辞、一次性的输入检查——在不同项目之间零散且不完整。系统化、自动化的护栏很少使用，发布前的对抗性测试也很少。

第三，跨境数据流动是未受管理的风险。 由于许多独立开发者把智能体接入全球 LLM API 并服务多个司法辖区的用户，用户数据经常在没有明确隐私模型的情况下跨越国界。研究将其定位为全球生态问题，而非局部问题：凡是小团队在托管的前沿模型之上做开发，都会出现同样的模式。

这一图景与2026 年 6 月另一项测量工作相印证，即剑桥主办的 AI Agent Index，它发现大多数已部署的智能体根本没有附带基本的安全与风险披露。两项结果从两端描述了同一道缺口：不建模风险的构建者，与不记录风险的产品。

为何重要

本站几乎每一类攻击都假定防御者想到过该攻击：致命三要素、间接提示注入、工具描述投毒、记忆投毒。这项研究从供给侧解释了这些攻击为何如此高产——大量智能体构建者根本没有对对手建模。你无法对一个未被表示出来的风险做限流、沙箱化或过滤。

它也重新界定了防御该投在哪里。如果缺口在于认知与工具，而非恶意或无能，那么默认安全的框架、内置的对抗性测试夹具、清晰的隐私默认值，远比又一篇科普博文更有用。修复必须落在开发者已经在用的平台与库里，因为那是唯一能触达那些从未去寻找威胁模型的构建者的层面。

防御

研究自身的启示指向自动化、测试与问责。对任何部署智能体的人，具体而言：

1. 采用真正的威胁模型，而非内容过滤器。 把智能体读取的每一个外部输入——网页、文件、工具输出、检索到的文档、先前的记忆——都视为攻击者可控。有害输出过滤是必要的，但它不等于安全。

2. 使用结构性模式，而非提示词措辞。 依靠受约束智能体的设计模式（最小权限、动作白名单、将规划与工具执行分离、对不可逆动作要求人工批准），而不是试图把系统提示词”写得安全”。加固的提示词带来的鲁棒性很有限。

3. 让对抗性测试自动化。 把注入与外泄的测试用例加入 CI，使智能体在每次变更时都被攻击，而非只手工评审一次。逐项目的手工检查，恰恰是研究判定为零散的那种做法。

4. 显式建模跨境数据流动。 记录哪个供应商看到哪些数据、在何处处理、有什么离开了用户的司法辖区。默认最小化智能体转发给托管模型的内容。

5. 发布风险披露。 说明智能体的能力、它接触的数据及其已知局限——正是 AI Agent Index 发现大多缺失的东西。披露成本低，且会倒逼威胁建模的讨论。

现状

项目	参考	日期	备注
Focused on the User, Overlooking the Risks	arXiv 2606.03190	2026-06	访谈研究；以用户为中心的心智模型、安全意识低、防御手工且临时
AI Agent Index 安全披露	剑桥大学	2026-06	大多数已部署的智能体未附带基本的安全/风险披露
保护 LLM 智能体的设计模式	arXiv 2506.08837	2025-06	受约束智能体模式，被引为结构性替代方案

有用的定性结论不是”开发者粗心”，而是：智能体安全的主流心智模型——为用户保持输出干净——并不包含对手，而大多数构建者所依赖的工具也没有把它补回来。在默认安全与自动化测试于框架层面弥合这道缺口之前，本文记录的攻击会继续找到未被建模的攻击面。