Le Misattribution Gap : l'empoisonnement mémoire qu'on impute au modèle

De quoi s’agit-il ?

Le Misattribution Gap est une faiblesse structurelle dans la façon dont les équipes diagnostiquent un agent IA défaillant, décrite dans un article publié le 12 mai 2026 par des chercheurs de l’University of Texas at El Paso, de Southern Illinois University Carbondale et de l’University of Illinois Urbana-Champaign (arXiv:2605.22842, « The Misattribution Gap: When Memory Poisoning Looks Like Model Failure in Agentic AI Systems »). Le constat central est dérangeant : lorsqu’un agent produit une violation de politique parce que sa mémoire partagée a été empoisonnée, le comportement obtenu est indiscernable d’un modèle devenu mal aligné. La gouvernance IA classique réagit de la seule façon qu’elle connaît — red team du modèle, inspection de l’attention, réentraînement — la violation cesse, puis réapparaît un cycle de reporting plus tard, parce que le document empoisonné est toujours dans la base vectorielle. L’article rapporte que, sur l’ensemble des 64 défaillances documentées de son corpus, le dispositif d’attribution a systématiquement incriminé le modèle. L’attaque à l’origine du dommage ne touchait pourtant jamais le modèle.

Comment ça marche

Les auteurs formalisent l’attaque sous-jacente sous le nom de Semantic Norm Drift (SND), qu’ils présentent comme une troisième voie structurellement distincte vers la faute de l’agent — orthogonale au désalignement émergent et à la collusion multi-agents dissimulée. Le mécanisme est volontairement banal. Un attaquant ne disposant que d’un accès ordinaire au dépôt de documents place, dans une base vectorielle partagée, un fichier mis en forme pour ressembler à une politique interne légitime (leur exemple récurrent est un document déguisé en politique de conformité SOX §302). Via ce que l’article appelle la Trust Laundering Chain (chaîne de blanchiment de confiance), ce document est récupéré lors de sessions ultérieures et re-présenté aux agents comme contexte système de confiance, sa provenance d’origine étant définitivement perdue au passage. Les agents citent alors le texte injecté comme autorité normative dans leur propre raisonnement et s’y conforment — dans l’étude, 59 entrées valides sur 65 présentaient exactement ce schéma raisonnement-puis-conformité. Aucune phrase déclencheuse, aucun accès aux poids du modèle, aucune interaction répétée : l’article rapporte un effet complet en cinq sessions, maintenu indéfiniment. Nous décrivons ici la forme de l’attaque, pas un modèle exploitable ; le propos est architectural, et aucun payload fonctionnel n’est nécessaire pour le comprendre.

Pourquoi c’est important

Ce qui dépasse la simple reformulation des travaux connus sur l’empoisonnement mémoire, c’est le résultat de détection. Les chercheurs ont fait tourner quatre classifieurs de sécurité — dont un spécifiquement entraîné à repérer l’empoisonnement mémoire — sur 510 points de contrôle, et ont enregistré zéro détection. Comme la sortie empoisonnée ressemble exactement à ce qu’un modèle réellement mal aligné pourrait dire, les classifieurs côté sortie n’ont rien d’anormal à se mettre sous la dent. La conséquence pour les défenseurs est un piège de gouvernance : réentraîner après un incident SND consomme des ressources réelles, produit une trace écrite qui ressemble à une remédiation réussie, et laisse l’attaque pleinement en place. En contexte réglementé, le dommage est concret — l’exemple travaillé de l’article est un pipeline de reporting financier à trois agents qui se met à faire fuiter des identifiants clients bruts dans les synthèses destinées au conseil d’administration, une violation directe de la politique interne de gouvernance des données et de l’article 5 du RGPD. Toute entreprise qui exploite des agents RAG au-dessus d’un socle de connaissances partagé et inscriptible, où plusieurs utilisateurs ou locataires peuvent déposer des documents, est exposée à la même boucle de mauvais diagnostic.

Défenses

La leçon centrale de l’article est que le correctif doit se déplacer du modèle vers la frontière mémoire, et de l’inspection des sorties vers la provenance et l’attribution causale. Trois défenses sont évaluées. Le Counterfactual Composition Testing (CCT) rejoue le pipeline en retirant individuellement des entrées de mémoire pour trouver quel élément récupéré est causalement responsable d’une violation ; l’article rapporte qu’il localise l’entrée causale avec 87,5 % de précision et zéro fausse alerte, face à une base forensique aveugle sur les 25 scénarios. Le Retrieval Concentration Monitoring surveille la surreprésentation caractéristique d’un document injecté unique dans ce qui est récupéré. Le Memory-Persistent Information-Flow Control (MP-IFC) fait circuler des étiquettes de confiance le long des chemins d’écriture et de récupération, de sorte qu’un contenu déposé comme donnée non fiable ne puisse pas ressurgir silencieusement en tant que contexte système de confiance ; les auteurs rapportent qu’il bloque 97 % des attaques à la frontière inter-sessions, là où l’état de l’art antérieur échoue sur tous les cas informatifs. Ils avancent aussi un Retrieval-Coverage Dilemma : échapper à la surveillance de concentration exige structurellement d’affaiblir l’attaque elle-même, ce qui rend l’approche résistante aux contournements adaptatifs qui ont défait douze défenses antérieures. Pour les équipes en production dès aujourd’hui, les enseignements pratiques : traiter tout document déposé comme une entrée non fiable qui ne doit jamais être promue en autorité système sans vérification explicite de provenance, journaliser et étiqueter la source de chaque écriture en mémoire, ajouter une étape d’attribution causale avant de conclure « c’est le modèle », et cloisonner les stocks de mémoire par locataire et par niveau de confiance pour qu’un seul dépôt ne pollue pas le contexte de tous. Les chercheurs publient un benchmark associé (un corpus mémoire adverse avec vérité terrain causale sur des scénarios financiers et de santé) pour que les défenseurs testent leur propre attribution avant qu’un incident ne pose la question.

Statut

Il s’agit d’un résultat de recherche portant sur une classe de systèmes RAG agentiques, non du CVE d’un éditeur particulier. Les chiffres ci-dessous proviennent du préprint public et de sa page projet.

Élément	Détail
Technique	Semantic Norm Drift (SND) — un document au format politique empoisonne la mémoire partagée et ressurgit en contexte de confiance
Affirmation centrale	Le Misattribution Gap : les artefacts d’empoisonnement mémoire sont identiques à un désalignement du modèle, donc on incrimine et réentraîne le modèle tandis que l’attaque persiste
Prérequis attaquant	Accès ordinaire au dépôt de documents ; aucun accès au modèle, aucun déclencheur, aucune interaction répétée
Évasion de détection rapportée	Zéro détection sur quatre classifieurs de sécurité (dont un entraîné à l’empoisonnement mémoire) sur 510 points de contrôle
Schéma de raisonnement rapporté	Les agents ont cité le document injecté comme autorité puis s’y sont conformés dans 59 entrées valides sur 65
Défenses proposées	Counterfactual Composition Testing (87,5 % de précision d’attribution causale), Retrieval Concentration Monitoring, Memory-Persistent Information-Flow Control (97 % bloqué à la frontière inter-sessions)
Publication	Préprint arXiv:2605.22842v1, 12 mai 2026
Statut	Résultat de recherche ; les mitigations sont des contrôles mémoire conscients de la provenance et l’attribution causale, pas un correctif