AgentCyberRange: medir hasta dónde llegan los agentes de IA en una intrusión

What is this?

AgentCyberRange es una infraestructura de evaluación abierta, publicada en arXiv el 12 de junio de 2026 por investigadores de la Universidad de Fudan, diseñada para responder a una pregunta que las puntuaciones aisladas de CTF no permiten abordar: ¿hasta dónde puede llegar un sistema de IA de frontera en una intrusión realista — desde un servicio web expuesto hasta comprometer una red interna? En lugar de probar la explotación de una única vulnerabilidad en abstracto, el benchmark coloca a los agentes en cyber-ranges reales y mide su capacidad para encadenar las etapas operativas de un ataque real: descubrir servicios expuestos, obtener un punto de entrada, recopilar información interna y expandir el compromiso entre hosts.

Los autores lo presentan como la primera plataforma abierta y multirange para medir la capacidad de ataque autónomo en condiciones reproducibles. Este enfoque es relevante para los defensores y los equipos de seguridad: el objetivo no es armar a los atacantes, sino observar de forma temprana, en laboratorio, la aparición de capacidades ofensivas antes de que surjan en el mundo real.

How it works

El benchmark preserva deliberadamente la estructura de extremo a extremo de una intrusión en lugar de dividirla en habilidades aisladas. Incluye 110 vulnerabilidades repartidas en 15 aplicaciones web reales y 8 cyber-ranges de tipo empresarial con 156 hosts internos, en dos etapas. La explotación web pide al sistema que explore una aplicación expuesta — descubrir URL y parámetros ocultos — y convierta una debilidad alcanzable (inyección SQL, SSRF, control de acceso roto, inyección de comandos, deserialización insegura) en un punto de entrada inicial. La post-explotación parte de ese apoyo y mide el reconocimiento interno, la escalada de privilegios y el movimiento lateral entre hosts. Algunos ranges añaden presión defensiva, incluidos honeypots y protecciones de host, para ver si un sistema puede avanzar mientras es vigilado.

Una herramienta complementaria llamada Cage hace reproducible la evaluación. Los adaptadores de agente exponen distintos entornos — por ejemplo Codex y Claude Code — a través de una interfaz común, de modo que los sistemas se ejecutan con prompts y presupuestos de pasos idénticos. Un gestor de benchmark despliega las aplicaciones web y los ranges internos en entornos aislados y reinicia el estado entre ejecuciones. Un verificador comprueba después que un éxito declarado se apoya realmente en evidencia de ejecución, y no en una mera afirmación del agente. Las configuraciones y el pipeline se publican como código abierto en GitHub y Hugging Face. Comprender el diseño no requiere ningún contenido de exploit: la contribución es el arnés de medición, no un arma.

Why it matters

Las cifras reportadas son una señal de capacidad, no un botón de pánico. Sobre seis sistemas de frontera evaluados con presupuestos equiparados, la mejor configuración — GPT-5.5 con Codex — resuelve el 16,1 % de las tareas de explotación web y el 31,7 % de las de post-explotación; con pistas más concretas, esas tasas suben al 33,0 % y al 46,3 %. Dos observaciones afinan el panorama. Primero, los sistemas a veces salen del marco del benchmark: durante la evaluación afloran hallazgos válidos fuera de alcance, incluida una vulnerabilidad de escritura de archivo arbitrario hasta entonces desconocida en un proyecto de código abierto popular, y mutan sus cargas útiles para eludir las protecciones de host. Segundo, la fiabilidad sigue siendo baja — los agentes pasan por alto superficies de ataque ocultas, son inestables entre ejecuciones, fallan en las cadenas de post-explotación de varios pasos y activan los honeypots, dejando señales de alerta bajo presión defensiva.

Leído en conjunto, ahí está la lección útil. Los agentes de frontera actuales no son atacantes fiables de extremo a extremo, pero ya completan una parte nada trivial de operaciones realistas y saben encontrar bugs reales. Para quien sigue las tendencias de capacidades peligrosas, las puntuaciones de CTF o de vulnerabilidad única subestiman el riesgo, porque omiten el encadenamiento que realmente define un compromiso. Medir toda la cadena — en condiciones reproducibles y vigiladas — es lo que permite a un equipo de seguridad o gobernanza ver moverse la curva en lugar de sufrirla.

Defenses

Mida la capacidad con evaluaciones de extremo a extremo, no con tareas aisladas. Un modelo mediocre en acertijos CTF puede aun así encadenar reconocimiento, punto de entrada y movimiento lateral. El seguimiento de capacidades peligrosas debe medir la ruta operativa completa, que es precisamente la brecha que este benchmark viene a cerrar.

Incorpore presión defensiva en sus evaluaciones. Los ranges con honeypots y protecciones de host revelaron una debilidad constante: los agentes dejan señales de alerta y activan las trampas. Una detección que asume un adversario automatizado — señuelos, señales de anomalía en hosts internos — aporta una ventaja real hoy mismo.

Trate los hallazgos de los agentes como divulgaciones genuinas. Los sistemas sacaron a la luz un zero-day desconocido durante una evaluación de rutina. Si ejecuta agentes contra su propio parque, asuma que encontrarán bugs reales sin parchear, y tenga listo un canal de divulgación coordinada antes de empezar.

Anticipe la mutación de las cargas útiles. Los sistemas evaluados adaptaron sus payloads para eludir las protecciones de host, así que los controles basados solo en firmas se degradan rápido. Prefiera una detección basada en el comportamiento y el impacto antes que en la coincidencia de firmas.

Exija éxito respaldado por evidencia. El benchmark solo cuenta una tarea como resuelta cuando la evidencia de ejecución la respalda. Aplique el mismo rigor a sus propios pipelines de red team y de evaluación: mida el impacto demostrado, no la autodeclaración del agente.

Status

Elemento	Referencia	Notas
Publicación	arXiv:2606.14295, 12 jun. 2026	AgentCyberRange + herramienta Cage, Universidad de Fudan
Escala	Mismo paper	110 vulnerabilidades, 15 apps web, 8 ranges, 156 hosts internos
Etapas	Mismo paper	Explotación web y post-explotación
Mejor resultado	Mismo paper	GPT-5.5 con Codex: 16,1 % web / 31,7 % post; 33,0 % / 46,3 % con pistas
Comportamiento notable	Mismo paper	Zero-day fuera de alcance (escritura de archivo arbitrario); mutación de payloads
Fiabilidad	Mismo paper	Inestable, superficies ocultas omitidas, cadenas multipaso fallidas, honeypots activados
Artefactos	GitHub / Hugging Face	Configuraciones y pipeline de evaluación en código abierto

El punto duradero es metodológico: la capacidad ofensiva de la IA debe medirse donde realmente ocurre un compromiso — en toda la cadena, en condiciones reproducibles, con presión defensiva en el bucle. En este benchmark, los agentes de frontera aún no son atacantes fiables, pero ya son lo bastante buenos como para que vigilar la curva de extremo a extremo sea lo responsable.