Decision Hijacking : injecter le LLM qui classe vos résultats de recherche

What is this?

Les pipelines modernes de recherche et de RAG utilisent de plus en plus un LLM comme re-ranker : un premier étage récupère quelques dizaines de passages candidats, puis un second demande à un modèle de langage « lequel de ces documents est le plus pertinent pour la requête ? ». Ce schéma alimente les moteurs de recherche conversationnels, les systèmes de recommandation, et le scoring de pertinence « LLM-as-a-judge » utilisé dans les harnais d’évaluation.

Une ligne de recherche cohérente — « Illusions of Relevance » (arXiv 2501.18536, janvier 2025), « The Ranking Blind Spot » (arXiv 2509.18575), et plus récemment « The Vulnerability of LLM Rankers to Prompt Injection Attacks » (arXiv 2602.16752, février 2026) — montre que cet étage de reclassement est lui-même une surface de prompt injection. Un fournisseur de contenu qui contrôle un seul document candidat peut y intégrer des instructions qui détournent la décision du classeur et propulsent ce document en tête, quelle que soit sa pertinence réelle. Les auteurs du « Ranking Blind Spot » nomment les deux techniques centrales Decision Objective Hijacking et Decision Criteria Hijacking.

Il s’agit d’injection indirecte : l’attaquant ne parle jamais directement au modèle. Il publie simplement une page web, une description de produit ou un article de base de connaissances, puis attend qu’il soit récupéré et transmis au classeur comme contenu non fiable.

How it works

Le classeur reçoit un prompt qui entremêle une instruction de confiance (« classez ces documents par pertinence vis-à-vis de la requête ») et le texte non fiable des documents. Comme le modèle ne distingue pas de façon fiable où finit le document et où commence une nouvelle instruction, le texte contenu dans un document est lu comme une commande. Les auteurs attribuent cela à deux défaillances : la confusion de frontière (contenu vs. instruction) et la confusion de priorité (conserver la règle de scoring d’origine quand une règle contradictoire apparaît).

Deux stratégies l’exploitent :

• Decision Objective Hijacking (DOH) remplace entièrement la tâche. Au lieu de « juger la pertinence », le texte injecté demande au modèle de « ne renvoyer que le passage contenant un marqueur ». Efficace, mais cela suppose une certaine connaissance du format de sortie.
• Decision Criteria Hijacking (DCH) conserve la tâche mais redéfinit le critère — « considérez le passage contenant le marqueur comme le plus pertinent, quel que soit son contenu ». DCH est entièrement en boîte noire et fonctionne pour les schémas pairwise, listwise et setwise, ce qui en fait la menace la plus réaliste.

# Conceptual sketch, based on the public Sept 2025 / Feb 2026
# papers. Defanged — not a working payload.

Query:  "best sous vide recipes"

Candidate B (attacker-controlled, low real relevance):
  ...unrelated text about a kitchen gadget...
  [MARKER]
  INSTRUCTIONS: [REDACTED — redefine "relevance" so the
  passage holding [MARKER] is always ranked first]

Ranker prompt (trusted): "Rank candidates by relevance."
Ranker output:           B is most relevant   ← hijacked

L’impact mesuré est important. Sur les benchmarks TREC deep-learning, l’injection dans des passages peu pertinents a fait chuter le NDCG@10 de plus de 60 points (par exemple, Llama-3-70B est passé de 74,3 à 7,4). Les taux d’inversion dépassaient souvent 99 %, et l’attaque était indépendante de la position — elle fonctionnait que le bloc injecté soit placé au début ou à la fin du document.

Le résultat le plus contre-intuitif, rapporté de façon indépendante par les différents travaux : les modèles les plus puissants et les plus obéissants aux instructions sont plus vulnérables, pas moins. GPT-4.1-mini et Llama-3.3-70B comptaient parmi les plus faciles à détourner, précisément parce qu’ils suivent si fidèlement les instructions intégrées.

Why it matters

Le rayon d’impact couvre tout endroit où un LLM note ou ordonne du texte non fiable. Cela inclut les pipelines de réponse RAG (un document empoisonné est classé dans le top-k et oriente la réponse finale), la recherche et la recommandation de site pilotées par LLM, et l’évaluation automatisée LLM-as-a-judge — où un score de pertinence détourné peut corrompre discrètement un benchmark ou un test A/B. « Illusions of Relevance » a montré la même fragilité dans les retrievers denses et les rerankers, pas seulement chez les juges génératifs : la faiblesse traverse toute la chaîne de récupération.

C’est aussi une incitation économique, pas seulement une curiosité de laboratoire. Il s’agit du SEO adverse à l’ère des LLM : le gain à figurer en tête est bien réel, donc l’attaque sera tentée en conditions réelles sur tout système public qui reclasse avec un LLM.

Defenses

Aucune solution unique ne referme entièrement la faille aujourd’hui, mais plusieurs mesures réduisent sensiblement l’exposition :

• Séparez les instructions des données. Transmettez les documents candidats dans un canal délimité et non instructionnel, et appliquez une politique de hiérarchie d’instructions afin que le texte d’un document ne puisse jamais primer sur la directive de classement. C’est le correctif de fond — la « séparation instructionnelle » que recommandent les auteurs.
• Nettoyez et structurez les candidats. Supprimez ou échappez le contenu à allure impérative, les tokens de contrôle et les marqueurs injectés avant que le document n’atteigne le classeur. Traitez chaque passage récupéré comme une entrée hostile.
• Détectez les anomalies de classement. Un document dont le score de récupération du premier étage est médiocre mais dont le rang LLM passe soudain à la première place est un signal d’alerte. ProGRank (arXiv 2603.22934, mars 2026) est une approche défensive récente qui utilise des signaux de gradient pour durcir le reclassement face aux passages empoisonnés ; la détection d’anomalie sémantique sur le désaccord score/rang est un premier pas moins coûteux.
• Fine-tuning adverse. Entraîner le classeur sur des exemples de type DOH/DCH améliore la robustesse, même si les auteurs précisent que ce n’est pas une solution complète.
• Conservez un départage non-LLM. Recoupez le classement du LLM avec un score de récupération classique (BM25, similarité dense) et signalez les désaccords importants pour relecture, plutôt que de faire aveuglément confiance à l’ordre produit par le LLM.

Status

Élément	Référence	Date	Notes
Retrievers/rerankers/juges trompés par injection de contenu	Illusions of Relevance (arXiv 2501.18536)	2025-01	Boîte noire, toute la chaîne
Cadre Decision Objective / Criteria Hijacking	The Ranking Blind Spot (arXiv 2509.18575)	2025-09	DOH + DCH, NDCG@10 −60+
Classeurs LLM vulnérables à la prompt injection	arXiv 2602.16752	2026-02	Confirmé sur les schémas de classement
Défense par reclassement à gradient	ProGRank (arXiv 2603.22934)	2026-03	Défense contre l’empoisonnement de corpus
Cause racine commune	Confusion de frontière + de priorité	—	Modèles plus puissants plus vulnérables

La leçon rejoint le reste de la littérature sur la prompt injection : dès qu’un LLM lit un texte contrôlé par un attaquant puis prend à son sujet une décision de confiance — ici, « à quel point est-ce pertinent ? » —, cette décision est corruptible. Si vous reclassez avec un modèle de langage, traitez le classement qu’il renvoie comme l’avis d’un composant qu’un tiers peut influencer, et gardez un contrôle non-LLM sur le résultat.