Détournement du raisonnement : les longues chaînes de pensée diluent le refus du modèle

De quoi s’agit-il ?

Le détournement de la chaîne de pensée (Chain-of-Thought Hijacking) est une technique de jailbreak visant les grands modèles de raisonnement (LRM) — la série o, Gemini 2.5 Pro, Grok 3 Mini, Claude 4 Sonnet et les systèmes analogues qui produisent une longue trace de raisonnement structurée avant de répondre. L’attaque ne repose ni sur un jeu de rôle astucieux ni sur une charge obfusquée. Elle contraint d’abord le modèle à dérouler un large volume de raisonnement anodin — une énigme, un casse-tête mathématique, un défi de code en plusieurs étapes — et ne présente la requête nuisible qu’à la toute fin. L’article de recherche (arXiv:2510.26418, « Chain-of-Thought Hijacking ») rapporte des taux de réussite sur le banc d’essai HarmBench de 100 % sur Grok 3 Mini, 99 % sur Gemini 2.5 Pro, 94 % sur ChatGPT o4-mini et 94 % sur Claude 4 Sonnet. Une analyse défensive publiée par NeuralTrust le 25 juin 2026 détaille le même mécanisme et les mêmes chiffres. Le résultat compte parce qu’il renverse une hypothèse confortable : donner plus de temps de « réflexion » à un modèle le rendrait plus sûr.

Comment ça marche

L’article documente un phénomène qu’il nomme dilution du refus. Lorsqu’un modèle décline une requête, ce refus est porté par un signal interne spécifique et de faible dimension dans ses activations ; quand l’état interne s’aligne sur cette direction, le modèle produit sa réponse « je ne peux pas vous aider ». Le résultat central est que ce signal n’est pas fixe : il s’affaiblit à mesure que la trace de raisonnement s’allonge. Deux effets se cumulent. D’abord l’atténuation de l’attention : le mécanisme d’attention se comporte comme un projecteur, et lorsque la trace atteint des milliers de tokens, le poids relatif accordé à la requête nuisible d’origine chute, parce que le modèle consacre son budget d’attention à ses propres pensées récentes et anodines. Ensuite l’affaiblissement des activations : sonder les couches du modèle montre que l’intensité du signal de refus décroît littéralement à mesure que la trace s’allonge. Les chercheurs le localisent structurellement — les couches intermédiaires encodent la force du contrôle de sécurité, les couches plus tardives la direction de refus elle-même — et confirment la causalité en désactivant les têtes d’attention qui maintiennent le refus, après quoi la capacité du modèle à décliner s’effondre. Nous décrivons ici la forme du mécanisme plutôt qu’une invite fonctionnelle ; la leçon utile est architecturale, pas une recette.

Pourquoi c’est important

Ce n’est pas une bizarrerie propre à un modèle. La même technique contourne la sécurité de quatre éditeurs et architectures avec une fiabilité quasi totale, ce qui pointe vers un problème inhérent à la façon dont le raisonnement à l’inférence est aujourd’hui mis à l’échelle, et non vers une faille dans un pipeline d’entraînement particulier. Dans l’évaluation classique des jailbreaks, une méthode qui fonctionne 20 à 30 % du temps est déjà un résultat sérieux ; des taux de 94 à 100 % représentent un effondrement quasi complet du comportement de refus attendu pour ces modèles. Les implications sont les plus vives pour les systèmes agentiques. À mesure que l’on accorde aux agents davantage d’autonomie et des chaînes de raisonnement plus longues pour résoudre des tâches difficiles, cette même longueur qui améliore leur résolution de problèmes réduit la fiabilité de leurs garde-fous — une tension directe entre utilité et sécurité. Elle crée aussi un angle mort de supervision : les contrôles de sécurité actuels inspectent surtout l’invite d’entrée et la sortie finale, mais la dilution se produit au milieu, dans les milliers de tokens de raisonnement interne que la plupart des déploiements n’examinent jamais.

Défenses

La conclusion même de l’article est que davantage d’entraînement à la sécurité n’est pas la solution, car le problème est dynamique et non un trou statique dans l’alignement. La direction défensive est la vérification continue, en cours d’inférence : revérifier l’intention à intervalles réguliers tout au long du raisonnement afin de réaffirmer le signal de refus plutôt que de le laisser s’estomper, au lieu de n’évaluer la sécurité qu’au tout début. L’interprétabilité mécaniste peut être transformée en moniteur : si l’on sait quelles têtes d’attention et quels chemins d’activation soutiennent le refus, on peut surveiller le moment où ces signaux faiblissent et intervenir avant qu’une sortie ne soit produite. Concrètement, les équipes qui déploient des modèles de raisonnement devraient ajouter des garde-fous à l’inférence qui inspectent la trace de raisonnement cachée et pas seulement la réponse finale, plafonner ou signaler les préambules de raisonnement anodin anormalement longs qui précèdent une requête sensible, et conserver un classifieur de sortie indépendant afin qu’un refus interne dilué ne soit pas la dernière ligne de défense. Pour les déploiements agentiques, appliquez le confinement habituel qui survit à une seule mauvaise génération : cantonnement des outils au moindre privilège, validation humaine des actions à fort impact, et journalisation du canal de raisonnement quand c’est possible. Aucune de ces mesures ne referme entièrement la brèche à elle seule — les chercheurs présentent cela comme un problème ouvert — mais leur superposition renchérit l’attaque et réduit son rayon d’impact.

Statut

Il s’agit d’un résultat de recherche sur une classe de modèles de raisonnement, non d’un CVE propre à un éditeur. Les chiffres ci-dessous proviennent du préprint public, de sa page projet et d’une analyse défensive de juin 2026.

Élément	Détail
Technique	Détournement de la chaîne de pensée (préambule long et anodin avant une requête nuisible)
Mécanisme	« Dilution du refus » : atténuation de l’attention + affaiblissement d’un signal de refus de faible dimension à mesure que la trace grandit
ASR rapporté (HarmBench)	Grok 3 Mini 100 %, Gemini 2.5 Pro 99 %, ChatGPT o4-mini 94 %, Claude 4 Sonnet 94 %
Première publication	Préprint arXiv:2510.26418 ; analyse défensive du 25 juin 2026
Travaux liés	H-CoT (arXiv:2502.12893), qui détourne le raisonnement de sécurité affiché de o1/o3, DeepSeek-R1 et Gemini 2.0 Flash Thinking
Statut	Problème ouvert ; les mitigations proposées sont la vérification en cours d’inférence et la surveillance par interprétabilité, pas un correctif