SCONE-bench : chiffrer l'exploitation autonome par IA en dollars volés

What is this?

Le 1er décembre 2025, la red team d’Anthropic a publié AI agents find $4.6M in blockchain smart contract exploits, une étude menée par des chercheurs des programmes MATS et Anthropic Fellows (Winnie Xiao, Cole Killian et leurs collègues). Elle introduit SCONE-bench (Smart CONtracts Exploitation benchmark) : 405 contrats réellement exploités entre 2020 et 2025 sur Ethereum, Binance Smart Chain et Base, dérivés du dépôt public DefiHackLabs. La nouveauté n’est pas un énième score de capacité, mais l’unité de mesure. Au lieu d’un taux de réussite abstrait, SCONE-bench chiffre ce qu’un agent IA peut faire en dollars de fonds volés simulés, car un exploit de smart contract a une valeur on-chain directement observable. Tous les tests ont eu lieu en simulateur de blockchain uniquement ; aucune chaîne réelle ni aucun actif réel n’a été touché.

Cela compte parce que la formule « l’IA sait faire des tâches cyber » devient un énoncé économique sur lequel défenseurs, ingénieurs et décideurs peuvent raisonner. Le sujet est aussi revenu dans les analyses de sécurité de juin 2026 (notamment les travaux d’OWASP sur la sécurité agentique) comme l’estimation publique la plus claire de l’économie de l’exploitation autonome.

How it works

Le harnais fournit à l’agent une copie forkée et bac-à-sable d’une blockchain et un budget de 60 minutes. L’agent reçoit le code source et les métadonnées du contrat cible, une chaîne d’outils Foundry et un environnement Python exposés via le Model Context Protocol, et doit écrire un script d’exploit qui augmente son propre solde au-delà d’un petit seuil de profit. La réussite est validée en rejouant le script contre la chaîne forkée. Nous décrivons le résultat au seul niveau de la mesure : aucun script d’exploit, adresse, ni étape opérationnelle n’est reproduit ici.

Sur 10 modèles de pointe en Best@8, les agents ont produit des exploits fonctionnels pour 207 des 405 contrats (51 %), soit environ 550 millions de dollars de fonds volés simulés. Pour écarter toute contamination par les données d’entraînement, les auteurs ont rejoué l’évaluation sur des contrats exploités après la date de coupure de connaissance de chaque modèle (1er juin 2025 pour Opus 4.5, 1er mars 2025 pour les autres) : Opus 4.5, Sonnet 4.5 et GPT-5 en ont résolu environ 56 %, pour une valeur pouvant atteindre 4,6 millions de dollars, Opus 4.5 atteignant à lui seul 3,7 millions. Sur l’année, le revenu d’exploitation post-coupure a doublé tous les 1,3 mois environ — passant d’environ 2 % des vulnérabilités et 5 000 $ un an plus tôt à 55,88 % et 4,6 millions.

La partie la plus frappante est le test de zero-day. Le 3 octobre 2025, les agents Sonnet 4.5 et GPT-5 ont été pointés sur 2 849 contrats récemment déployés sur BSC, sans vulnérabilité connue. Ils ont fait émerger deux failles réellement inédites valant 3 694 $, GPT-5 les trouvant pour un coût d’API de 3 476 $. Les deux bugs étaient élémentaires avec le recul : l’un était une fonction de calcul de récompense que les développeurs avaient oublié de marquer en lecture seule, si bien que l’appeler modifiait l’état au lieu de seulement le lire ; l’autre était un chemin de retrait de frais qui ne validait jamais le destinataire. Ce sont des erreurs ordinaires de contrôle d’accès et de protection en écriture — exactement ce que ciblent déjà l’analyse statique et la revue — trouvées et monétisées de bout en bout par un agent autonome.

Why it matters

L’économie est l’essentiel. Le coût moyen pour faire scanner exhaustivement un seul contrat par un agent était de 1,22 $ ; le coût moyen par contrat vulnérable effectivement trouvé d’environ 1 738 $, contre 1 847 $ de revenu moyen par exploit. Le coût en tokens par exploit réussi a chuté d’environ 70 % sur quatre générations de Claude, soit à peu près 3,4 fois plus d’exploits par dollar que six mois plus tôt. Comme le notent les auteurs, les compétences en jeu — raisonnement à long horizon, analyse des limites, usage itératif d’outils — ne sont pas propres à la blockchain. Les smart contracts sont simplement l’endroit où la valeur en dollars est visible ; le même examen automatisé s’étend à toute dépendance open source, bibliothèque d’authentification oubliée ou endpoint obscur situé sur le chemin d’actifs de valeur. La fenêtre entre le déploiement d’un code vulnérable et son sondage se réduit vers la vitesse machine.

Defenses

La conclusion même de l’étude est que les agents qui exploitent peuvent aussi défendre, et que les défenseurs devraient les adopter maintenant plutôt que plus tard.

Utilisez les agents IA comme auditeurs avant déploiement. SCONE-bench fournit un support clé en main pour pointer l’agent sur vos propres contrats avant la mise en production ; lancez une génération d’exploits autonome contre votre code dans un fork, traitez tout script qui franchit le seuil de profit comme bloquant pour la release, et intégrez-la à la CI aux côtés de l’analyse statique classique.

Reciblez les fondamentaux, car c’est là que frappent les agents. Les deux zero-days étaient des modificateurs view manquants et une validation de destinataire absente — hygiène de protection en écriture et de contrôle d’accès. Imposez-les via des linters, une revue obligatoire des fonctions publiques qui modifient l’état, et des tests qui affirment qui peut appeler quoi.

Comprimez la fenêtre déploiement-correctif. Si le revenu double tous les ~1,3 mois et qu’un scan coûte ~1,22 $, partez du principe que des agents hostiles atteignent votre contrat dans les heures suivant le déploiement. Échelonnez les releases, plafonnez la valeur à risque dans les nouveaux contrats, gardez prêts des chemins de pause d’urgence et de mise à niveau, et organisez à l’avance des contacts de sauvetage white-hat (l’étude a coordonné la récupération de fonds avec SEAL).

Suivez la capacité comme une courbe économique, pas un oui/non. Mesurez votre propre exposition comme le fait le benchmark — en valeur atteignable par dollar de calcul de l’attaquant — et réévaluez-la à mesure que les modèles progressent, puisque le coût continue de baisser.

Status

Il s’agit de recherche publiée et vérifiable, à posture défensive, et non d’un CVE produit. L’étude a été mise en ligne le 1er décembre 2025 et légèrement révisée les 2 et 8 décembre 2025 ; Bruce Schneier l’a couverte le 11 décembre 2025. Le benchmark est open source (le harnais complet doit suivre), un choix dual-use que les auteurs justifient en notant que les attaquants ont déjà l’incitation à construire de tels outils. Pour situer les enjeux réels, Trail of Bits a documenté en novembre 2025 un exploit de Balancer à 120 M$ dû à une direction d’arrondi. Cet article ne rapporte que les résultats et les mitigations ; il ne contient aucun code d’exploit, adresse de contrat ni détail opérationnel d’attaque. Les sources sont citées ci-dessus avec leur date de publication.

Cet article couvre une recherche de sécurité publiée, dans une optique défensive. Si vous livrez des smart contracts ou tout autre code open source de grande valeur, traitez la génération d’exploits autonome comme une partie de votre propre suite de tests, pas comme une menace future.