L'attention, champ de bataille de l'empoisonnement RAG : la détourner, ou la lire

De quoi s’agit-il ?

La génération augmentée par récupération (RAG) ancre la réponse d’un modèle dans des documents extraits d’un corpus au moment de la requête. L’empoisonnement de corpus est l’attaque correspondante : un adversaire place un ou plusieurs passages fabriqués afin que, une fois récupérés, ils orientent la réponse générée. La question ouverte a toujours été de comprendre pourquoi un seul passage noyé parmi de nombreux passages légitimes peut dominer la sortie — et une ligne de recherche convergente de 2025-2026 apporte une réponse concrète : l’attention. Un passage empoisonné l’emporte lorsqu’il capte une part disproportionnée de l’attention du modèle pendant la génération. Cette intuition mécaniste alimente aujourd’hui à la fois une attaque plus scalable et deux défenses qui lisent ou remodèlent directement l’attention. L’élément le plus récent, une défense par attention creuse, a été publié en février 2026, et la ligne de détection fondée sur l’attention a été présentée à ICML 2026.

Comment ça marche

Le versant offensif a été affiné par Eyes-on-Me (préprint octobre 2025, révisé en décembre 2025). Plutôt que de ré-optimiser un document empoisonné entier pour chaque phrase cible — l’étape coûteuse qui rendait l’empoisonnement de corpus difficile à passer à l’échelle —, il décompose un document adverse en deux parties réutilisables : des Attracteurs d’attention (Attention Attractors) et une Région focale (Focus Region). Les attracteurs sont optimisés une seule fois pour tirer un petit sous-ensemble de têtes d’attention — celles empiriquement les plus corrélées au succès de l’attaque — vers la région focale, dans laquelle l’attaquant dépose ensuite un appât pour le récupérateur ou une instruction pour le générateur. Mesuré sur 18 configurations RAG de bout en bout, ce procédé a permis à un seul document dans un corpus de 1 000 documents (≤ 0,1 % de contamination) de réorienter les réponses, l’optimisation coûteuse étant amortie sur de nombreuses cibles.

L’intuition défensive est l’image miroir. Si une attaque réussie doit sur-concentrer l’attention, alors l’attention est une preuve observable de l’attaque. Through the Stealth Lens (préprint mi-2025, ICML 2026) formalise cela comme un jeu de distinguabilité et introduit deux outils légers : un score d’attention normalisé par passage (NPAS) qui estime l’influence de chaque passage récupéré sur la réponse, et un filtre de variance d’attention (AV Filter) qui signale les passages dont l’influence est anormalement élevée par rapport aux autres. La thèse centrale est un compromis : une attaque qui fonctionne malgré la corruption d’une fraction minime de l’entrée ne peut pas être en même temps parfaitement furtive, car un effet démesuré se traduit par une empreinte d’attention démesurée.

Un article de février 2026 s’attaque au problème de façon structurelle plutôt que par détection. Son Sparse Document Attention (SDAG) remplace l’attention causale standard par un masque creux par blocs qui interdit l’attention croisée entre documents récupérés distincts : chaque passage peut s’attacher à lui-même et à la requête, mais pas à ses voisins. Le raisonnement : l’empoisonnement n’est pas seulement un problème de contenu mais un problème d’interaction au sein du mécanisme de génération, où un document malveillant s’appuie sur les documents bénins pour construire une réponse convaincante. Couper ces chemins inter-documents est une simple modification du masque à l’inférence — aucun fine-tuning, aucune chirurgie d’architecture — et les auteurs rapportent une baisse substantielle du taux de succès des attaques par rapport à l’attention dense.

Pourquoi c’est important

Le RAG est désormais le schéma par défaut pour ancrer les assistants dans des données privées ou en évolution rapide, ce qui fait du corpus une surface d’attaque : wikis, systèmes de tickets, pages web récupérées et disques partagés sont tous inscriptibles par quelqu’un. Recentrer le combat autour de l’attention change les options du défenseur de deux manières utiles. D’abord, cela fournit un signal interne au modèle qui ne dépend pas de la connaissance préalable du déclencheur de l’attaquant, contrairement aux filtres de mots-clés ou de contenu qu’un adversaire adaptatif contourne par édition. Ensuite, SDAG montre une mitigation structurelle qui supprime toute une classe de manipulations inter-documents sans réentraînement. La réserve vaut dans les deux sens : Eyes-on-Me pilote déjà des têtes spécifiques, de sorte qu’un attaquant qui modélise les statistiques d’attention du défenseur pourra tenter de disperser son influence pour rester sous un seuil de variance. Il s’agit d’une course aux armements autour de la même grandeur, non d’un problème résolu — c’est pourquoi les travaux de synthèse récents cataloguent les méthodes fondées sur l’attention comme une famille parmi d’autres, et non comme une solution miracle.

Défenses

Aucun contrôle isolé ne suffit ; il faut les superposer.

1. Scorer l’influence des passages, pas seulement le contenu. Calculez un score d’attention/influence par passage (de type NPAS) au moment de la génération et signalez les passages dont l’influence dépasse largement la variance du lot. Traitez les valeurs aberrantes comme suspectes et régénérez sans elles pour comparer les réponses.
2. Isolez les documents dans le masque d’attention. Là où vous maîtrisez la pile de service, évaluez une attention creuse/par blocs pour empêcher l’attention croisée entre passages ; c’est une modification à l’inférence qui se combine avec la détection.
3. Supposez le corpus inscriptible. Encadrez l’ingestion : provenance et signature des documents, allowlists de sources, et relecture de tout contenu fourni par l’utilisateur ou le web avant son entrée dans l’index.
4. Testez avec des attaques conscientes de l’attention. Red-teamez avec des attaques transférables à faible contamination (un seul document, ≤ 0,1 %) et avec des variantes adaptatives qui aplanissent délibérément leur empreinte d’attention, pas seulement des injections évidentes de mots-clés.
5. Gardez l’humain et les diffs dans la boucle pour les réponses sensibles. Journalisez les passages récupérés et leurs scores d’influence ; alertez lorsqu’un document mal classé domine la réponse.
6. Ne comptez pas sur un seul signal. Combinez le scoring d’attention avec le filtrage à la récupération, la vérification de sortie et les approches d’agrégation prouvable ; l’attaquant adaptatif optimise contre la défense unique que vous déployez.

Statut

Élément	Référence	Date	Notes
Eyes-on-Me (attaque par pilotage d’attention transférable)	arXiv 2510.00586	2025-10 (rév. 2025-12)	Attracteurs d’attention + Région focale réutilisables ; un doc à ≤0,1 % du corpus
Through the Stealth Lens (NPAS + AV Filter)	arXiv 2506.04390	préprint 2025, ICML 2026	Jeu de distinguabilité ; l’attention comme signal de détection
Sparse Document Attention (SDAG)	arXiv 2602.04711	2026-02	Masque creux par blocs interdisant l’attention inter-documents ; à l’inférence uniquement
Taxonomie de sécurité RAG (contexte)	arXiv 2604.08304	2026	Situe les méthodes fondées sur l’attention parmi les défenses plus larges

Le fil conducteur est que l’empoisonnement RAG et ses défenses les plus prometteuses débattent désormais autour de la même variable. Les attaquants l’emportent en concentrant l’attention du modèle sur un passage planté ; les défenseurs peuvent surveiller cette concentration comme une anomalie, ou interdire les interactions inter-documents qui permettent à un passage empoisonné d’emprunter la crédibilité des passages honnêtes. Aucune défense ne clôt la partie — un attaquant adaptatif peut tenter de disperser son empreinte — mais raisonner en termes d’attention donne aux opérateurs un signal et un levier structurel dont ils ne disposaient pas lorsque l’empoisonnement de corpus était traité comme un simple problème de filtrage de contenu.