Pourquoi une sonde à 0,998 d'AUC ne détecte pas forcément l'injection de prompt

De quoi s’agit-il ?

En juin 2026, des chercheurs ont déposé sur arXiv When AUC 0.998 Is Not Enough: A Candidate Evaluation Protocol for Hidden-State Probes of Indirect Prompt Injection in Multimodal Computer-Use Agents. L’article examine une idée défensive devenue populaire depuis un an : lire les activations internes d’un modèle pour intercepter une attaque avant qu’elle n’agisse.

La défense en question est une sonde d’états internes (hidden-state probe) — un simple classifieur linéaire entraîné sur les activations internes d’un modèle vision-langage gelé pour signaler une injection de prompt indirecte avant qu’un agent « computer-use » n’émette une action corrompue. Dans le dispositif des auteurs, la sonde atteint une AUC de 0,998 pour séparer les traces propres des traces attaquées. L’argument de l’article : ce chiffre spectaculaire, à lui seul, ne prouve pas que la sonde détecte un contenu malveillant. Elle pourrait s’accrocher à quelque chose de bien plus superficiel.

Comment ça marche

Une sonde d’états internes capture le vecteur d’activation d’une couche choisie pendant que l’agent traite une étape, puis demande à un classifieur linéaire : cette étape ressemble-t-elle à une étape où une injection est présente ? Comme le modèle de base reste gelé, la sonde est peu coûteuse à entraîner et à exécuter en ligne.

Le problème soulevé est un grand classique de l’apprentissage automatique appliqué à la sécurité. Une séparation propre/attaqué peut différer par bien des aspects sans rapport avec l’attaque elle-même — les échantillons attaqués peuvent être plus longs, contenir une surimpression, se situer à un autre point de la trajectoire, ou porter des différences fortuites de longueur de texte et de mise en forme. Un classifieur linéaire exploitera volontiers celui de ces signaux qui est le plus facile à séparer, tout en affichant une AUC quasi parfaite.

Entraînée sur :  étapes propres   vs   étapes contenant une surface d'injection
La sonde apprend : « ces deux tas sont différents »  (AUC 0,998)
                    |
                    v
Question ouverte :  différents COMMENT ?
  - parce que le modèle a reconnu en interne une instruction malveillante ?  (voulu)
  - ou parce que les étapes attaquées sont simplement plus longues / ont une
    surimpression / diffèrent par un artefact quelconque ?                   (obtenu)

Pour départager les deux, les auteurs réunissent deux diagnostics a posteriori en un jeu de contrôles candidat :

• Une base de comparaison scalaire par construction appariée sur les injections côté texte, qui vérifie si un signal non sémantique trivial explique déjà la séparation revendiquée par la sonde.
• Des contrôles visuels à la même étape, appariés sur les nuisances, sur la surface de surimpression, qui maintiennent constantes les différences visuelles fortuites afin que tout signal restant soit moins facilement attribuable à la mise en page plutôt qu’au contenu.

Les auteurs sont explicites sur le périmètre. Les étiquettes sont présence-d’une-surface-d’injection, et non succès de l’attaque — la sonde est notée sur la présence d’une injection dans l’entrée, pas sur son efficacité réelle. Les résultats proviennent d’un unique modèle de base gelé (Qwen2.5-VL-7B) rejoué sur des trajectoires Mind2Web, et les auteurs précisent que la généralisation au-delà de ce modèle et de ce benchmark reste une conjecture, non un résultat démontré.

Pourquoi c’est important

Le sondage des états internes séduit précisément parce qu’il paraît rigoureux : une AUC proche de 1,0 se lit comme un problème résolu. Cet article rappelle qu’un benchmark de détecteur peut encoder la réponse dans le découpage des données sans que personne ne le remarque. Il s’inscrit dans la même famille que des travaux antérieurs montrant que le réglage de seuil par jeu de données et des points de fonctionnement non divulgués gonflent les scores des détecteurs d’injection — mécanisme différent, même leçon : la métrique affichée peut mesurer le benchmark plutôt que la menace.

Pour quiconque envisage un garde-fou par sonde d’activation sur un agent multimodal ou « computer-use », le risque concret est un détecteur qui brille en laboratoire et s’effondre en production, parce que l’artefact appris (longueur, surimpression, position dans la trajectoire) est absent ou inversé face à un adversaire réel qui contrôle justement ces caractéristiques de surface. Une sonde qui se déclenche sur « il y a une surimpression » est trivialement contournée par un attaquant qui injecte sans surimpression — ou déclenchée en permanence par des surimpressions bénignes.

Défenses

L’article est lui-même une contribution défensive : il indique comment évaluer honnêtement cette classe de détecteurs, plutôt que comment les attaquer. Quelques enseignements se généralisent.

Précisez ce qu’une AUC élevée autorise ou non. Traitez une AUC propre/attaqué comme une question de départ, pas une conclusion. Avant de faire confiance à une sonde, démontrez qu’une base de comparaison non sémantique triviale ne reproduit pas déjà sa séparation.

Contrôlez les nuisances. Appariez les échantillons attaqués et propres sur la longueur, la position et la mise en page visuelle afin que la sonde ne puisse pas gagner sur des différences fortuites. Si la précision chute une fois les nuisances appariées, le chiffre initial mesurait la mauvaise chose.

Notez sur les résultats, pas sur les surfaces. « Injection présente » et « injection réussie » sont des étiquettes différentes. Un garde-fou qui se déclenche sur la présence doit encore être évalué face au succès de l’attaque et face au trafic bénin partageant les mêmes traits de surface, faute de quoi il noiera les opérateurs sous les faux positifs.

Supposez que le découpage ne transférera pas. Des résultats issus d’un seul modèle gelé et d’un seul benchmark sont une hypothèse sur d’autres modèles et d’autres tâches, pas une preuve. Relancez les contrôles sur votre propre modèle, votre propre surface d’agent et des données adverses plutôt que rejouées avant tout déploiement.

Gardez les sondes comme une couche parmi d’autres. La surveillance des états internes peut être utile, mais associez-la à une traçabilité de provenance côté entrée, à un cloisonnement des outils au moindre privilège et à une confirmation humaine pour les actions à fort impact, afin qu’un seul détecteur surajusté ne soit jamais la seule barrière entre une injection et une action.

Statut

Élément	Détail
Divulgation	Préprint académique, arXiv, juin 2026
Sujet	Méthodologie d’évaluation des sondes d’états internes anti-injection
Dispositif	Qwen2.5-VL-7B gelé, rejeu Mind2Web ; étiquettes = présence-d’une-surface-d’injection
Résultat rapporté	Sonde à 0,998 d’AUC sur découpage propre/attaqué, jugée preuve insuffisante de détection de contenu
Réserve de périmètre	Un seul modèle et un seul benchmark ; la généralisation inter-modèles est une conjecture affichée
À retenir	Une AUC de sonde quasi parfaite exige des contrôles de nuisances et une notation sur les résultats avant d’être crue