¿Sus registros de agente prueban realmente lo que hizo? Un banco de pruebas de suficiencia probatoria

What is this?

DEMM-Bench es un banco de pruebas, publicado en arXiv a finales de junio de 2026 por Oleg Solozobov, que plantea una pregunta que la mayoría de los despliegues de agentes nunca comprueba: cuando un agente autónomo realiza una acción con consecuencias, ¿los registros que deja contienen realmente pruebas suficientes para revisar esa decisión después? El nombre corresponde a Decision Evidence Maturity Model. Su tesis central resulta incómoda para quien confía en los registros de agentes para la supervisión, la auditoría o la respuesta a incidentes: la presencia de una traza, un libro de auditoría, un esquema estructurado o una lista de verificación de cumplimiento no dice casi nada sobre si están presentes las propiedades que un auditor realmente necesita.

La distinción importa, porque las conversaciones de gobernanza sobre agentes suelen detenerse en «lo registramos todo». DEMM-Bench sostiene que registrarlo todo y poder probar lo que ocurrió son cosas distintas, y da a esa brecha una forma medible.

How it works

El banco de pruebas evalúa las pruebas frente a lo que el artículo denomina Decision Event Schema: una descripción a nivel de propiedades de lo que debería contener un registro completo de una decisión de agente, como qué entradas se vieron, qué autoridad se ejerció y qué acción se confirmó. En lugar de verificar que un registro existe, DEMM-Bench comprueba si cada propiedad requerida puede establecerse a partir de las pruebas disponibles.

Lo hace sobre una matriz deliberadamente variada: ocho regímenes de prueba (distintas formas de capturar lo que hizo un agente), ocho condiciones de degradación (las maneras en que el registro real se vuelve parcial, tardío o corrupto) y cinco líneas base «por presencia de contenedor» que representan las posturas habituales «tenemos trazas / tenemos un libro de registro / tenemos un esquema». Dos métricas rigen los resultados. La Property Sufficiency Accuracy mide si las propiedades requeridas se juzgan correctamente a partir de las pruebas. La Overclaim Rate —la métrica principal— mide el modo de fallo que más preocupa a la gobernanza: declarar un registro «suficiente» para su revisión cuando en realidad falta una propiedad requerida. Las etiquetas se derivan de forma determinista de cómo se construye cada caso, de modo que la puntuación no es en sí misma cuestión de criterio.

Los resultados reportados son contundentes. En el paquete de 64 casos del banco de pruebas, las líneas base que simplemente tienen una traza o un esquema presentes sobredeclaran la suficiencia en torno al 75 % de los casos; una línea base «libro de registro presente» sobredeclara en torno al 50 %. El enfoque candidato evaluado en el artículo no registra ninguna sobredeclaración, pero con una Property Sufficiency Accuracy media de solo alrededor del 56 %, lo que significa que incluso un sistema diseñado para evitar la falsa garantía sigue sin poder reconstruir lo que necesita en una gran proporción de casos. La lección no es que un diseño gane, sino que «tenemos registros» es una afirmación que en la mayoría de los casos falla en cuanto se la somete a prueba.

Why it matters

La suficiencia probatoria es el punto de encuentro entre la seguridad de los agentes, la gobernanza y la respuesta a incidentes. Cuando un agente mueve dinero, modifica un registro o envía datos al exterior, la pregunta posterior es siempre la misma: ¿podemos mostrar qué vio y por qué actuó? Si la respuesta honesta es «nuestra traza existe pero no captura la autoridad que se ejerció», entonces la revisión posterior al incidente, el reporte regulatorio y la resolución de disputas descansan todos sobre registros que, calladamente, sobredeclaran. Esto conecta con una línea de investigación más amplia de 2026 sobre la trazabilidad de las pruebas y la procedencia de ejecución en agentes, que sostiene igualmente que la confianza en las acciones de un agente debe poder reconstruirse, no presumirse.

Para los equipos que construyen supervisión en torno a los agentes, la conclusión práctica es que las herramientas de observabilidad deben evaluarse por lo que permiten probar, no por cuántos datos recopilan. Un panel repleto de trazas puede aun así dejarle sin capacidad de responder a la única pregunta que hará un auditor o un investigador.

Defenses

Especifique las propiedades antes de elegir las herramientas. Decida qué debe poder establecer un auditor sobre una decisión —entradas vistas, autoridad usada, acción confirmada, aprobaciones obtenidas— y trate esa lista de propiedades como el requisito. El volumen de registro no es el objetivo; la cobertura de propiedades sí.

Pruebe sus registros contra casos de propiedad ausente, no contra escenarios ideales. El valor del banco de pruebas es metodológico: construya casos en los que una propiedad concreta falte y verifique si su proceso de revisión aun así califica (erróneamente) el registro como suficiente. Un flujo de supervisión que nunca falla esta prueba no se está probando con suficiente dureza.

Siga una métrica de sobredeclaración, no solo la completitud del registro. Medir con qué frecuencia se declara «suficiente» cuando falta una propiedad requerida expone la falsa garantía de forma directa. Los porcentajes de completitud la ocultan.

Presuponga la degradación. Los registros reales llegan parciales, tardíos o corruptos. Un diseño de pruebas que solo se sostiene bajo captura limpia no se sostendrá durante el incidente en el que realmente lo necesite. Diseñe para los regímenes degradados.

Vincule la prueba a la autoridad. Buena parte de la brecha de suficiencia consiste en probar qué privilegio ejerció el agente. Capturar el contexto de autoridad de cada acción —y no solo el texto de la acción— es lo que hace revisable un registro.

Status

Elemento	Referencia	Notas
Artículo principal	arXiv:2606.20634, finales de junio de 2026	DEMM-Bench (Decision Evidence Maturity Model), Oleg Solozobov
Alcance	Mismo artículo	8 regímenes de prueba, 8 condiciones de degradación, 5 líneas base «por presencia»
Métricas	Mismo artículo	Property Sufficiency Accuracy; Overclaim Rate
Hallazgo clave	Mismo artículo	Las bases «traza/esquema presentes» sobredeclaran ~75 % del paquete de 64 casos; «libro presente» ~50 %
Contexto relacionado	arXiv:2606.04990	Estudio sobre trazabilidad de pruebas y procedencia de ejecución en agentes LLM
Registro independiente	Digest de Adversa AI, 2 jul. 2026	Clasificado bajo marcos de defensa / gobernanza del runtime de agentes

El punto duradero es un reencuadre: para los sistemas agénticos, «lo registramos» es una hipótesis, no una garantía. Que sus registros puedan sostener realmente la supervisión es algo que hay que medir, y, según las pruebas de este banco, el registro por presencia la mayoría de las veces no puede.