AgentCanary: un banco de pruebas de seguridad para agentes en entornos reales

¿Qué es esto?

En junio de 2026, investigadores de Ant Group, la Universidad de Tsinghua, la Universidad de Nankín y la Universidad de Pekín publicaron AgentCanary, un marco de evaluación de la seguridad de los agentes de IA autónomos. No es un ataque, sino un intento de responder a una pregunta que la mayoría de los bancos de pruebas resuelve mal: cuando se coloca a un agente en un entorno realista y alguien intenta subvertirlo, ¿se mantiene seguro, se da cuenta y aun así completa su tarea?

El planteamiento de los autores es que la seguridad de los agentes ha pasado de ser un problema de contenido a un problema de sistema. Un modelo de solo texto que sufre un jailbreak produce una frase indebida. Un agente subvertido, en cambio, modifica archivos, mueve dinero, envía mensajes o deja tras de sí un estado persistente que cambia su comportamiento en la siguiente ejecución. Los autores sostienen que los bancos de pruebas actuales —conjuntos estáticos de preguntas y respuestas, respuestas de herramientas simuladas, una simple etiqueta binaria de «atacado o no»— no pueden medir esa clase de daño, y construyen una alternativa.

Cómo funciona

AgentCanary se apoya en tres decisiones de diseño. La primera es una taxonomía de riesgo denominada Entry × Impact, que separa deliberadamente por dónde entra la influencia adversaria en el agente de qué daño acaba causando. En el lado de la entrada abarca la inyección directa de prompts, la inyección indirecta mediante contenido recuperado o devuelto por herramientas, la contaminación de la memoria y el envenenamiento de habilidades (plugins). En el lado del impacto distingue consecuencias como el daño al entorno local, la fuga de datos sensibles y la contaminación del estado persistente. Desacoplar ambos importa, porque un mismo daño puede alcanzarse por varias entradas y una misma entrada puede conducir a varias consecuencias; un banco de pruebas organizado solo por «tipo de ataque» deja puntos ciegos.

La segunda decisión es un entorno de ejecución real y de alta fidelidad. En lugar de hacerle una pregunta al agente y calificar su respuesta, AgentCanary aprovisiona herramientas y artefactos reales —bandejas de entrada, páginas web, calendarios, mensajería, transacciones financieras y habilidades de terceros— y deja que el agente actúe sobre ellos, con un estado que persiste entre pasos. Esa persistencia es lo que permite evaluar honestamente los ataques de horizonte largo y con estado, porque los efectos secundarios pueden acumularse realmente a lo largo de una trayectoria.

La tercera decisión es una evaluación multidimensional anclada en la trayectoria. En vez de reducirlo todo a una única tasa de éxito del ataque, el marco lee la traza de ejecución completa y puntúa tres dimensiones ortogonales: seguridad del resultado (¿ocurrió realmente el daño?), conciencia de seguridad (¿reconoció el agente que estaba siendo atacado?) y utilidad de la tarea (¿completó de todos modos la tarea legítima?). Separar estos tres ejes es clave: un agente puede evitar el daño sin darse cuenta jamás de que lo atacaban, detectar el ataque y aun así causar efectos secundarios, o «mantenerse seguro» solo rechazando una petición perfectamente benigna.

Por qué importa

Los autores evaluaron 12 LLM en tres frameworks de agentes, con plantillas de inyección de prompts de una sola ronda, red teaming iterativo y cadenas de ataque de horizonte largo específicas de cada escenario. La conclusión central para los defensores no es simplemente que los agentes sean atacables: es que a menudo no reconocen los ataques que sufren, y que esa ceguera es más acusada precisamente donde resulta más peligrosa —bajo habilidades comprometidas, bajo estado persistente envenenado y en ejecuciones de horizonte largo.

Esa brecha entre resultado y conciencia es la parte útil. Un equipo de compras o de plataforma que solo siga una única «tasa de éxito del ataque» pasará por alto a un agente que evita el daño en un banco de pruebas pero carece de cualquier señal interna de que algo iba mal, una propiedad que no se generaliza a entornos nuevos. Medir conciencia y utilidad junto a la seguridad da una imagen más honesta del compromiso que realmente se está adquiriendo, y una referencia que puede volver a ejecutarse a medida que cambian modelos y frameworks.

Defensas

La lección va más allá de este marco concreto. Evalúe a los agentes donde vayan a ejecutarse, no en un entorno simulado: el daño se define por los efectos secundarios sobre archivos, estado y herramientas posteriores, así que una prueba incapaz de producir esos efectos no puede medir el riesgo. Trate los canales de habilidades y de memoria como entradas de ataque de primer orden, no como detalles menores; el estudio muestra que están entre los puntos más débiles, de modo que los plugins y la memoria persistente merecen procedencia, mínimo privilegio y revisión antes de concederse. No reduzca la seguridad a un único aprobado/suspenso; siga por separado resultado, conciencia y utilidad, porque un agente que evita el daño sin percibir el ataque está a un entorno de distancia de fallar. Y conserve los controles humanos que no dependen de que el agente advierta nada: confirmación en acciones irreversibles, permisos de herramientas estrictos y aislamiento del contenido no confiable siguen siendo las defensas de carga, sea cual sea la aparente lucidez de un modelo.

Estado

Aspecto	Detalle
Divulgación	Preprint de arXiv (2606.10484), junio de 2026
Autores	Peiyang Li et al. (Ant Group, Tsinghua, Nankín, Pekín)
Clase	Investigación defensiva — marco de evaluación de seguridad de agentes
Método	Taxonomía de riesgo Entry × Impact; entornos de herramientas reales con estado persistente; puntuación por trayectoria de seguridad del resultado, conciencia de seguridad y utilidad
Alcance	12 LLM en tres frameworks de agentes; ataques de una ronda, iterativos y de horizonte largo
Hallazgo clave	Los agentes fallan con frecuencia en reconocer los ataques, sobre todo con habilidades envenenadas, estado persistente y ejecución larga
Código	Open source (github.com/antgroup/Agent3Sigma-Canary)
Explotado en la práctica	No aplica — investigación de evaluación