AgentCyberRange : mesurer jusqu'où les agents IA vont dans une intrusion

What is this?

AgentCyberRange est une infrastructure d’évaluation ouverte, publiée sur arXiv le 12 juin 2026 par des chercheurs de l’université Fudan, conçue pour répondre à une question que les scores de CTF isolés ne permettent pas de traiter : jusqu’où un système d’IA de pointe peut-il progresser dans une intrusion réaliste — depuis un service web exposé jusqu’à la compromission d’un réseau interne ? Plutôt que de tester l’exploitation d’une faille unique dans l’abstrait, le benchmark place les agents dans de véritables cyber-ranges et mesure leur capacité à enchaîner les étapes opérationnelles d’une attaque réelle : découvrir les services exposés, obtenir un point d’entrée, collecter de l’information interne, puis étendre la compromission d’hôte en hôte.

Les auteurs le présentent comme la première plateforme ouverte et multi-range destinée à mesurer la capacité d’attaque autonome dans des conditions reproductibles. Ce cadrage est important pour les défenseurs et les équipes de sûreté : l’objectif n’est pas d’armer des attaquants, mais d’observer tôt, en laboratoire, l’émergence de capacités offensives avant qu’elles n’apparaissent dans la nature.

How it works

Le benchmark préserve délibérément la structure de bout en bout d’une intrusion, au lieu de la découper en compétences isolées. Il embarque 110 vulnérabilités réparties sur 15 applications web réelles et 8 cyber-ranges de type entreprise comptant 156 hôtes internes, en deux étapes. L’exploitation web demande au système d’explorer une application exposée — repérer des URL et des paramètres cachés — puis de transformer une faiblesse accessible (injection SQL, SSRF, contrôle d’accès défaillant, injection de commande, désérialisation non sûre) en point d’entrée initial. La post-exploitation part de ce point d’appui et mesure la reconnaissance interne, l’élévation de privilèges et le déplacement latéral entre hôtes. Certains ranges ajoutent une pression défensive, notamment des honeypots et des protections d’hôte, pour voir si un système peut progresser tout en étant surveillé.

Un outillage complémentaire nommé Cage rend l’évaluation reproductible. Des adaptateurs d’agent exposent différents harnais — par exemple Codex et Claude Code — via une interface commune, de sorte que les systèmes s’exécutent avec des prompts et des budgets d’étapes identiques. Un gestionnaire de benchmark déploie les applications web et les ranges internes dans des environnements isolés et réinitialise l’état entre chaque exécution. Un vérificateur contrôle ensuite qu’un succès annoncé s’appuie réellement sur des preuves d’exécution, et non sur une simple affirmation de l’agent. Les configurations et le pipeline sont publiés en open source sur GitHub et Hugging Face. Comprendre la conception ne nécessite aucun contenu d’exploit : la contribution est le harnais de mesure, pas une arme.

Why it matters

Les chiffres rapportés sont un signal de capacité, pas un bouton panique. Sur six systèmes de pointe évalués à budget égal, la meilleure configuration — GPT-5.5 avec Codex — résout 16,1 % des tâches d’exploitation web et 31,7 % des tâches de post-exploitation ; avec des indices plus concrets, ces taux montent à 33,0 % et 46,3 %. Deux observations affinent le tableau. D’abord, les systèmes sortent parfois du cadre du benchmark : pendant l’évaluation, ils remontent des découvertes valides hors périmètre, dont une faille d’écriture de fichier arbitraire jusque-là inconnue dans un projet open source populaire, et mutent leurs charges utiles pour contourner les protections d’hôte. Ensuite, la fiabilité reste faible — les agents manquent des surfaces d’attaque cachées, se montrent instables d’une exécution à l’autre, échouent sur les chaînes de post-exploitation en plusieurs étapes et déclenchent les honeypots, laissant des signaux d’alerte sous pression défensive.

Mis bout à bout, voilà l’enseignement utile. Les agents de pointe actuels ne sont pas des attaquants fiables de bout en bout, mais ils accomplissent déjà une part non négligeable d’opérations réalistes et savent trouver de vrais bugs. Pour qui suit les tendances de capacités dangereuses, les scores de CTF ou de faille unique sous-estiment le risque, car ils sautent l’enchaînement qui définit véritablement une compromission. Mesurer toute la chaîne — dans des conditions reproductibles et surveillées — permet à une équipe de sûreté ou de gouvernance de voir la courbe bouger plutôt que de la subir.

Defenses

Suivez la capacité par des évaluations de bout en bout, pas par des tâches isolées. Un modèle médiocre sur des énigmes CTF peut néanmoins enchaîner reconnaissance, point d’entrée et déplacement latéral. Le suivi des capacités dangereuses doit mesurer le parcours opérationnel complet — précisément la lacune que ce benchmark vient combler.

Intégrez de la pression défensive dans vos évaluations. Les ranges dotés de honeypots et de protections d’hôte ont révélé une faiblesse constante : les agents laissent des signaux d’alerte et déclenchent les pièges. Une détection qui suppose un adversaire automatisé — leurres, signaux d’anomalie sur les hôtes internes — procure un avantage réel dès aujourd’hui.

Traitez les découvertes des agents comme de vraies divulgations. Les systèmes ont mis au jour un zero-day inconnu au cours d’une évaluation de routine. Si vous lancez des agents sur votre propre parc, partez du principe qu’ils trouveront de vrais bugs non corrigés, et disposez d’un canal de divulgation coordonnée avant de commencer.

Anticipez la mutation des charges utiles. Les systèmes évalués ont adapté leurs payloads pour contourner les protections d’hôte : les contrôles reposant sur des signatures se dégradent vite. Privilégiez une détection fondée sur le comportement et l’impact plutôt que sur la correspondance de signatures.

Exigez un succès validé par preuve. Le benchmark ne compte une tâche comme résolue que si des preuves d’exécution l’appuient. Appliquez la même rigueur à vos propres pipelines de red team et d’évaluation : mesurez l’impact démontré, pas l’auto-déclaration de l’agent.

Status

Élément	Référence	Notes
Publication	arXiv:2606.14295, 12 juin 2026	AgentCyberRange + outillage Cage, université Fudan
Échelle	Même papier	110 vulnérabilités, 15 applis web, 8 ranges, 156 hôtes internes
Étapes	Même papier	Exploitation web et post-exploitation
Meilleur résultat	Même papier	GPT-5.5 avec Codex : 16,1 % web / 31,7 % post ; 33,0 % / 46,3 % avec indices
Comportement notable	Même papier	Zero-day hors périmètre (écriture de fichier arbitraire) ; mutation de payloads
Fiabilité	Même papier	Instable, surfaces cachées manquées, chaînes multi-étapes échouées, honeypots déclenchés
Artefacts	GitHub / Hugging Face	Configurations et pipeline d’évaluation en open source

Le point durable est méthodologique : la capacité offensive de l’IA doit se mesurer là où une compromission a réellement lieu — sur toute la chaîne, dans des conditions reproductibles, avec une pression défensive dans la boucle. Sur ce benchmark, les agents de pointe ne sont pas encore des attaquants fiables, mais ils sont déjà assez bons pour que surveiller la courbe de bout en bout soit la démarche responsable.