MAGE : une mémoire fantôme qui détecte les attaques d'agents sur le long terme

De quoi s’agit-il ?

Le 4 mai 2026, des chercheurs de l’université de Stony Brook et de Cisco ont publié MAGE (Memory As Guardrail Enforcement), une défense visant une classe d’attaques que les garde-fous mono-tour laissent régulièrement passer : les menaces sur le long terme. Il s’agit d’attaques qui exploitent des interactions prolongées entre l’utilisateur, l’agent et l’environnement, où l’intention malveillante, selon les auteurs, « n’émerge qu’au niveau de la trajectoire, tout en restant latente au sein de chaque tour ».

L’exemple canonique est l’attaque par chaînage d’outils : une séquence d’appels d’outils individuellement anodins dont l’effet cumulé est destructeur — exfiltration de données, perte financière, violation de politique. Chaque étape semble correcte pour un filtre mono-tour. Seule la trajectoire complète est malveillante. Le même schéma apparaît dans l’empoisonnement multi-tours et l’injection de prompt persistante, et c’est précisément ce à quoi l’alignement de sécurité classique, entraîné sur des contextes courts, ne parvient pas à généraliser.

Comment ça marche

MAGE emprunte une abstraction à la sécurité des systèmes : la shadow stack, qui protège contre le détournement de flux de contrôle en conservant une copie séparée et protégée des adresses de retour. MAGE fait tourner une mémoire fantôme analogue, en parallèle de la mémoire de travail de l’agent. Là où la mémoire de travail est optimisée pour accomplir la tâche, la mémoire fantôme distille sélectivement le contexte critique pour la sécurité au fil de la trajectoire et écarte le reste.

Deux composants s’appuient dessus. Un gestionnaire de mémoire met à jour la mémoire fantôme à chaque tour, et un juge effectue une inspection rétrospective de la trajectoire et statue sur l’action en attente, en renvoyant à la fois une décision (approuver ou rejeter) et une justification lisible par un humain. Concrètement, avant l’exécution de chaque action, MAGE impose un point de contrôle : le gestionnaire de mémoire rafraîchit la mémoire fantôme, le juge évalue l’action en attente par rapport à celle-ci, et l’exécution ne reprend que si le juge approuve — sinon l’action est bloquée et la justification est remontée à un opérateur humain.

Les deux rôles sont implémentés comme des appels d’outils vers un LLM externe (un même modèle partagé, différencié par des prompts spécifiques à chaque rôle), si bien que MAGE s’intègre à un agent existant sans réentraîner le modèle cible. Le choix compte aussi pour le coût : réévaluer naïvement toute la trajectoire à chaque tour est quadratique, alors que la distillation dans une mémoire fantôme de taille fixe maintient le surcoût global en tokens linéaire. Le gestionnaire et le juge sont affinés par une variante d’apprentissage par renforcement tour par tour qui découple les signaux de récompense de mise à jour mémoire et d’évaluation du risque — les auteurs montrent que, sans cet entraînement, un juge non entraîné n’atteint zéro succès d’attaque qu’en rejetant quasiment tout, ce qui anéantit l’utilité légitime.

Pourquoi c’est important

Les résultats quantifient à quel point les agents non protégés sont exposés sur plusieurs tours. Contre le Sequential Tool-Attack Chaining sur le benchmark SHADE-Arena, avec un agent GPT-5.1, le taux de succès des attaques est passé d’environ 89,7 % à deux tours à 100 % à cinq tours ou plus. MAGE, tournant sur un petit backbone Qwen3-4B, a maintenu le succès des attaques entre environ 4,6 % et 10 % sur tous les horizons — soit une chute globale de 100 % à 8,3 % tout en préservant 94,4 % d’utilité légitime, pour environ 7 000 tokens supplémentaires par tâche. Dans un scénario environnement-adversaire sur un AgentDojo étendu (suites banque et Slack, jusqu’à 18 appels d’outils par tâche), MAGE a ramené le taux de succès de l’injection de prompt indirecte persistante à 0,0 % tout en gardant une utilité légitime au niveau de la référence sans défense, sur des agents GPT-4o-mini, Qwen3-235B et Llama-3.3-70B.

Deux points ressortent pour les défenseurs. La détection était précoce — latence moyenne proche de zéro tour, donc l’action malveillante était généralement interceptée au moment où elle apparaissait. Et des défenses concurrentes qui semblaient compétitives sur les modèles de pointe se dégradaient sur les agents à poids ouverts : l’une des défenses antérieures comparées dans l’article est tombée à 42,1 % de succès d’attaque sur Llama-3.3 et 20,7 % sur Qwen3, là où MAGE restait proche de zéro.

Défenses

L’enseignement dépasse ce système précis. Traitez le contexte de sécurité comme un état au niveau de la trajectoire, pas comme un ajout tour par tour : maintenez un enregistrement compact et protégé de l’intention de l’utilisateur et des schémas d’attaque connus, qui survit à la compaction du contexte, et inspectez les actions en attente par rapport à cet enregistrement avant qu’elles ne s’exécutent, plutôt qu’après. Gardez la mémoire de sécurité et son schéma explicites — les ablations montrent que retirer le champ d’intention utilisateur ou le champ de schémas d’attaque augmentait mesurablement le succès des attaques. Imposez un point de contrôle strict pour qu’une action bloquée arrête l’agent, et journalisez la justification du juge afin qu’une trajectoire détournée reste auditable. Enfin, les propres tests d’attaques adaptatives de MAGE rappellent que tout moniteur est lui-même une cible : une mémoire fantôme non protégée pourrait être empoisonnée, et seule la configuration entraînée a tenu lorsque l’adversaire ciblait spécifiquement la mémoire et le juge.

Les auteurs sont clairs sur le périmètre : MAGE a été évalué sur deux attaques longues représentatives, dans des configurations mono-agent, et ils signalent comme travaux ouverts l’empoisonnement de mémoire, la dérive d’objectif, les agents de codage et d’usage d’ordinateur, ainsi que l’extension multi-agents.

Statut

Aspect	Détail
Divulgation	Préprint arXiv, soumis le 4 mai 2026
Classe	Défense — garde-fou d’exécution au niveau de la trajectoire pour attaques d’agents sur le long terme
Testé sur	Agents GPT-5.1, GPT-4o-mini, Qwen3-235B, Llama-3.3-70B ; backbone de défense Qwen3-4B
Attaques évaluées	Sequential Tool-Attack Chaining (SHADE-Arena) ; injection de prompt indirecte persistante (AgentDojo)
Résultat	STAC 100 % → 8,3 % ASR pour 94,4 % d’utilité ; PI2 → 0,0 % ASR
Exploité dans la nature	Non signalé ; résultat de recherche