Vos journaux d'agent prouvent-ils vraiment ce qu'il a fait ? Un banc d'essai sur la suffisance des preuves

What is this?

DEMM-Bench est un banc d’essai, publié sur arXiv fin juin 2026 par Oleg Solozobov, qui pose une question que la plupart des déploiements d’agents ne testent jamais : lorsqu’un agent autonome prend une action lourde de conséquences, les traces qu’il laisse contiennent-elles réellement assez de preuves pour réexaminer cette décision après coup ? Le nom signifie Decision Evidence Maturity Model. Sa thèse centrale est inconfortable pour quiconque s’appuie sur les journaux d’agents pour la supervision, l’audit ou la réponse à incident : la présence d’une trace, d’un registre d’audit, d’un schéma structuré ou d’une check-list de conformité ne dit presque rien sur le fait que les propriétés dont un auditeur a réellement besoin soient, elles, présentes.

La distinction compte, car les discussions de gouvernance sur les agents s’arrêtent d’ordinaire à « on journalise tout ». DEMM-Bench soutient que tout journaliser et pouvoir prouver ce qui s’est passé sont deux choses différentes, et il donne à cet écart une forme mesurable.

How it works

Le banc d’essai évalue les preuves au regard de ce que l’article appelle un Decision Event Schema — une description au niveau des propriétés de ce que devrait contenir un enregistrement complet d’une décision d’agent : quelles entrées ont été vues, quelle autorité a été exercée, quelle action a été validée. Plutôt que de vérifier qu’un journal existe, DEMM-Bench vérifie si chaque propriété requise peut être établie à partir des preuves disponibles.

Il le fait sur une matrice volontairement variée : huit régimes de preuve (différentes façons de capturer ce qu’a fait un agent), huit conditions de dégradation (les manières dont la journalisation réelle devient partielle, tardive ou corrompue) et cinq lignes de base « par présence de conteneur » représentant les postures courantes « on a des traces / on a un registre / on a un schéma ». Deux métriques structurent les résultats. La Property Sufficiency Accuracy mesure si les propriétés requises sont correctement jugées à partir des preuves. L’Overclaim Rate — la métrique phare — mesure le mode de défaillance qui compte le plus pour la gouvernance : déclarer un enregistrement « suffisant » pour la revue alors qu’une propriété requise est en fait absente. Les étiquettes sont dérivées de manière déterministe de la façon dont chaque cas est construit ; la notation n’est donc pas elle-même affaire de jugement.

Les résultats rapportés sont tranchés. Sur le lot de 64 cas du banc d’essai, les lignes de base qui se contentent d’avoir une trace ou un schéma présents surévaluent la suffisance sur environ 75 % des cas ; une ligne de base « registre présent » surévalue sur environ 50 %. L’approche candidate évaluée dans l’article n’enregistre aucune surévaluation, mais avec une Property Sufficiency Accuracy moyenne d’environ 56 % seulement — ce qui signifie que même un système conçu pour éviter la fausse assurance ne parvient toujours pas à reconstituer ce dont il a besoin dans une large part des cas. La leçon n’est pas qu’un design l’emporte, mais que « on a des journaux » est une affirmation qui échoue le plus souvent dès qu’on la teste.

Why it matters

La suffisance des preuves est le point de rencontre entre sécurité des agents, gouvernance et réponse à incident. Quand un agent déplace de l’argent, modifie un enregistrement ou envoie des données vers l’extérieur, la question a posteriori est toujours la même : peut-on montrer ce qu’il a vu et pourquoi il a agi ? Si la réponse honnête est « notre trace existe mais ne capture pas l’autorité qui a été exercée », alors la revue post-incident, le reporting réglementaire et le règlement des litiges reposent tous sur des enregistrements qui, discrètement, surévaluent. Cela rejoint un fil de recherche plus large de 2026 sur la traçabilité des preuves et la provenance d’exécution dans les agents, qui soutient de même que la confiance dans les actions d’un agent doit être reconstituable, et non présumée.

Pour les équipes qui construisent une supervision autour des agents, l’enseignement pratique est que l’outillage d’observabilité doit être évalué sur ce qu’il permet de prouver, non sur la quantité de données qu’il collecte. Un tableau de bord rempli de traces peut tout de même vous laisser incapable de répondre à la seule question qu’un auditeur ou un enquêteur posera.

Defenses

Spécifiez les propriétés avant de choisir l’outillage. Décidez de ce qu’un auditeur doit pouvoir établir d’une décision — entrées vues, autorité utilisée, action validée, approbations obtenues — et traitez cette liste de propriétés comme l’exigence. Le volume de journalisation n’est pas la cible ; la couverture des propriétés l’est.

Testez vos preuves contre des cas de propriété manquante, pas contre des scénarios idéaux. La valeur du banc d’essai est méthodologique : construisez des cas où une propriété précise est absente et vérifiez si votre processus de revue qualifie tout de même (à tort) l’enregistrement de suffisant. Un pipeline de supervision qui n’échoue jamais à ce test n’est pas testé assez durement.

Suivez une métrique de surévaluation, pas seulement la complétude des journaux. Mesurer la fréquence à laquelle « suffisant » est déclaré alors qu’une propriété requise manque met la fausse assurance en évidence directement. Les pourcentages de complétude la masquent.

Présumez la dégradation. Les journaux réels arrivent partiels, tardifs ou corrompus. Une conception de preuves qui ne tient que sous capture propre ne tiendra pas pendant l’incident où vous en aurez réellement besoin. Concevez pour les régimes dégradés.

Liez la preuve à l’autorité. Une grande partie de l’écart de suffisance tient à la preuve de quel privilège l’agent a exercé. Capturer le contexte d’autorité de chaque action — et pas seulement le texte de l’action — est ce qui rend un enregistrement réexaminable.

Status

Élément	Référence	Notes
Article principal	arXiv:2606.20634, fin juin 2026	DEMM-Bench (Decision Evidence Maturity Model), Oleg Solozobov
Périmètre	Même article	8 régimes de preuve, 8 conditions de dégradation, 5 lignes de base « par présence »
Métriques	Même article	Property Sufficiency Accuracy ; Overclaim Rate
Résultat clé	Même article	Les bases « trace/schéma présents » surévaluent ~75 % du lot de 64 cas ; « registre présent » ~50 %
Contexte connexe	arXiv:2606.04990	Étude sur la traçabilité des preuves et la provenance d’exécution dans les agents LLM
Recensement indépendant	Digest Adversa AI, 2 juil. 2026	Classé sous cadres de défense / gouvernance du runtime d’agent

Le point durable est un recadrage : pour les systèmes agentiques, « on le journalise » est une hypothèse, pas une garantie. Que vos enregistrements puissent réellement soutenir la supervision est quelque chose à mesurer — et, selon les preuves de ce banc d’essai, la journalisation par présence en est le plus souvent incapable.