你的智能体日志真能证明它做了什么吗？一个证据充分性基准

What is this?

DEMM-Bench 是一个基准，由 Oleg Solozobov 于 2026 年 6 月底发布在 arXiv 上，它提出了大多数智能体部署从未检验的一个问题：当一个自主智能体采取具有重大后果的行动时，它留下的记录是否真的包含足够的证据，供事后复核这一决策？其名称代表 Decision Evidence Maturity Model（决策证据成熟度模型）。它的核心论点，对于任何依赖智能体日志进行监督、审计或事件响应的人来说都很不舒服：一条轨迹、一本审计账本、一份结构化模式或一张合规清单的存在，几乎无法说明审计者真正需要的那些属性是否存在。

这一区分很重要，因为关于智能体的治理讨论通常止步于「我们把一切都记下来了」。DEMM-Bench 主张，记录一切与能够证明发生了什么是两回事，并为这一差距赋予了可度量的形态。

How it works

该基准根据论文所称的 Decision Event Schema（决策事件模式）来评估证据——这是对一条完整的智能体决策记录应当包含内容的属性级描述，例如看到了哪些输入、行使了何种权限、提交了何种动作。DEMM-Bench 并不检验日志是否存在，而是检验每一项所需属性能否从可得的证据中被确立。

它在一个刻意多样化的矩阵上进行：八种证据机制（捕获智能体所作所为的不同方式）、八种退化条件（真实日志变得残缺、延迟或损坏的各种方式），以及五条「容器存在」基线，代表常见的「我们有轨迹／我们有账本／我们有模式」姿态。两个指标主导结果。Property Sufficiency Accuracy（属性充分性准确率）衡量所需属性是否根据证据被正确判定。Overclaim Rate（过度声称率）——核心指标——衡量治理最关心的失效模式：在某一所需属性实际缺失时，仍将记录声称为可供复核的「充分」。标签由每个案例的构造方式确定性地推导而来，因此评分本身不涉及主观判断。

所报告的结果十分鲜明。在该基准的 64 个案例组中，仅仅拥有轨迹或模式的基线，在约 75% 的案例中过度声称充分；「账本存在」基线约为 50%。论文所评估的候选方法没有任何过度声称，但其平均属性充分性准确率仅约 56%——这意味着即便是为避免虚假保证而设计的系统，仍在相当大比例的案例中无法完整重建其所需内容。教训不在于某一设计胜出，而在于「我们有日志」是一个一经检验大多会失败的论断。

Why it matters

证据充分性是智能体安全、治理与事件响应的交汇点。当一个智能体转移资金、修改记录或向外发送数据时，事后的问题始终相同：我们能否说明它看到了什么、为何行动？如果诚实的回答是「我们的轨迹存在，但没有捕获所行使的权限」，那么事后复核、监管报送与争议解决，就都建立在悄然过度声称的记录之上。这与 2026 年一个更广泛的研究脉络相呼应——关于智能体中的证据追溯与执行溯源，该脉络同样主张：对智能体行动的信任必须可重建，而非被假定。

对于围绕智能体构建监督的团队，实际启示是：可观测性工具应以其让你能够证明什么来评估，而非以它收集了多少数据来评估。一个充满轨迹的仪表盘，仍可能让你无法回答审计者或调查者将要提出的那唯一一个问题。

Defenses

先确定属性，再选择工具。 决定审计者必须能就一项决策确立哪些内容——看到的输入、使用的权限、提交的动作、获得的批准——并将这份属性清单视为要求。日志量不是目标；属性覆盖才是。

用「属性缺失」的案例检验证据，而非顺利路径。 该基准的价值在于方法论：构造某一具体属性缺失的案例，检查你的复核流程是否仍（错误地）将记录判为充分。一条从不在此测试中失败的监督流水线，说明测试得还不够严苛。

跟踪过度声称指标，而不仅是日志完整度。 度量在所需属性缺失时「充分」被宣告的频率，能直接暴露虚假保证。完整度百分比会将其掩盖。

假定退化。 真实日志到达时往往残缺、延迟或损坏。只在干净捕获下成立的证据设计，在你真正需要它的那次事件中将无法成立。要为退化机制而设计。

将证据与权限绑定。 充分性差距的很大一部分在于证明智能体行使了哪一项特权。捕获每个动作的权限上下文——而不仅是动作文本——才是让记录可复核的关键。

Status

项目	参考	说明
核心论文	arXiv:2606.20634，2026 年 6 月底	DEMM-Bench（决策证据成熟度模型），Oleg Solozobov
范围	同一论文	8 种证据机制、8 种退化条件、5 条「存在」基线
指标	同一论文	属性充分性准确率；过度声称率
关键发现	同一论文	「轨迹／模式存在」基线在 64 案例组中约 75% 过度声称；「账本存在」约 50%
相关背景	arXiv:2606.04990	关于 LLM 智能体证据追溯与执行溯源的综述
独立收录	Adversa AI 摘要，2026 年 7 月 2 日	归类于防御框架／智能体运行时治理

持久的要点是一次重构：对于智能体系统，「我们记录了」是一个假设，而非保证。你的记录能否真正支撑监督，是需要度量的——而根据本基准的证据，基于存在的日志大多做不到。