系统:运行中
← 返回所有攻击
DEFENSE LOW NEW

阻止敏感数据泄露到第三方大模型对话中

2026 年 7 月的一篇论文构建了一个开源的客户端防火墙,在提示词发往 ChatGPT、Claude 或 Copilot 之前拦截,阻止个人信息、密钥和专有代码外流。

2026-07-14 // 5 min affects: chatgpt, claude, gemini, github-copilot, llm-chat-assistants

这是什么?

每当员工把客户记录、API 密钥或一段内部源代码粘贴到公共聊天机器人时,敏感数据就跨越了一道没有任何防火墙看守的组织边界。这正是 OWASP 大模型应用十大风险中记录的《敏感信息泄露》(LLM02),其成因与其说是攻击者,不如说是日常的效率压力。静态的”请勿粘贴密钥”提示会造成告警疲劳;一刀切的禁令则把人推向影子工具。

2026 年 7 月 9 日发布于 arXiv 的一篇论文《Multi-Agent Firewall Architecture for Privacy Protection of Sensitive Data in Interactions with Language Models》(2607.08282),作者为马德里卡洛斯三世大学的 Hugo García Cuesta、Pablo Mateo Torrejón 与 Alfonso Sánchez-Macián,提出了一种防御性方案:一个客户端防火墙,检查用户即将发送给第三方模型的内容,并在敏感数据离开本机之前将其拦下。该系统名为 Minos Verdict Mesh,以开源方式发布(MIT 许可)。这是一项数据泄露防护研究,而非攻击技术。

工作原理

其设计将拦截分析分离。两个传感器捕获出站流量。一个浏览器扩展(Chromium,Manifest V3)通过按平台编写的适配器挂接到每个站点的聊天界面,在文本和文件上传到达页面之前即予捕获。一个透明代理(基于 mitmproxy)覆盖程序化调用,同时拦截发往已知大模型提供商的 HTTP(S) 请求和持久的 WebSocket 会话;为读取 TLS 加密的报文体,它在本地信任库中安装自己的证书颁发机构,并通过按消息的 role 字段过滤来隔离用户撰写的内容。

被捕获的内容会发送到本地后端(FastAPI),后端运行一条以 LangGraph 有向无环图编排的多智能体流水线。其拓扑刻意保持静态:作者曾原型化一个由大模型驱动的路由器,但发现它更慢、更贵且不确定,最终采用带条件边的固定图。检测按层级推进,以保持常见情形的低成本。第一层并行运行三个检测器——确定性模式匹配(带邻近关键词窗口的正则与校验和验证,因此一串 16 位数字只有在附近出现银行卡相关词时才被标记为卡号)、基于 GLiNER 的零样本命名实体识别,以及模糊代码相似度检查(在已建索引的 Git 仓库上使用 RapidFuzz),即便代码被改名或轻微重构也能识别专有代码。只有含糊的情形才升级到第二层:由一个大模型对提示词的已匿名化副本进行推理,因此明文密钥绝不会被送往分析模型。

这种”先匿名化”的顺序至关重要。确定性与 NER 命中会在任何模型看到文本之前被涂改为带类型的占位符,从而化解了一个悖论——隐私工具本身反倒泄露它所检查的数据。随后由加权风险评分汇总各项发现(多个低风险项合计也可越过阈值),并映射为逐请求策略:允许、告警或拦截。在浏览器中,拦截表现为带人工介入的模态框(取消、强制放行,或发送自动匿名化的版本);在代理中则自动执行(HTTP 403,或丢弃 WebSocket 消息)。若后端不可达,两者均以关闭方式失败。

在 Nemotron-PII 基准(美国区域,500 例)上,最佳配置——经过微调的本地 Gemma 3 4B——达到 94.93% 的 F1(精确率与召回率均约 94.9%),而以延迟为先的设置在亚秒级响应下保持约 82% 的 F1。多模态、代码相似度与匿名化保真度路径在该基准中被禁用,尚未测量。

为何重要

大多数大模型安全研究关注模型输出的内容——越狱、注入指令、不安全的回复。这里关注的是输入的内容,且是在信任边界的用户一侧,而非将流量再转经又一个供应商。这弥补了一处真实缺口:SDK 层的护栏需要改动应用源代码,而云端检查服务恰恰把你想保护的数据转交给第三方。一个本地优先、与应用无关的拦截器规避了这两种弊端。其分层设计也是一个有用的范式——对显而易见者用确定性规则,仅对含糊者用小型本地模型——适用于任何为 AI 工具构建出站管控的人。

防御措施

对于担心数据经聊天机器人外流的团队:

  • 将提示词视为一条出站通道。 发往第三方大模型的敏感数据,应与电子邮件或文件上传享有同等的 DLP 姿态;在发送当下检查,而非事后。
  • 先匿名化再检查。 在第二个模型读取文本之前,把确定性命中涂改为占位符,别让安全层反成泄露源。
  • 覆盖两个面。 浏览器聊天与程序化 API/WebSocket 流量是不同通道;只做纯文本或只做网页的过滤会让另一面门户大开。
  • 让检测保持本地并以关闭方式失败。 设备端分析可避免导出你所守护的数据;当检查器不可用时,宁可拦截也不放行。
  • 把数据当作起点来看。 结果来自单一英文 PII 数据集,且代码相似度与多模态路径被关闭;在设定阈值前请用自己的数据验证。

Status

项目详情
结论与应用无关的客户端防火墙,在 PII、密钥与专有代码到达第三方大模型之前将其拦截,对应 OWASP LLM02
来源《Multi-Agent Firewall Architecture for Privacy Protection of Sensitive Data in Interactions with Language Models》,García Cuesta、Mateo Torrejón、Sánchez-Macián,马德里卡洛斯三世大学,arXiv,2026 年 7 月 9 日
系统Minos Verdict Mesh——浏览器扩展 + mitmproxy 传感器,LangGraph DAG 流水线(确定性 + GLiNER NER + 代码相似度 + 条件式 LLM);开源,MIT
关键结果在 Nemotron-PII 上 F1 达 94.93%(微调后的本地 Gemma 3 4B);延迟优先模式下亚秒级约 82% F1
类型防御性研究 / 数据泄露防护工具(预印本;无 CVE)

Sources