Faux chain-of-thought : falsifier le brouillon de raisonnement d'un modèle

De quoi s’agit-il ?

Le 15 juillet 2026, OpenAI a publié une description de GPT-Red, un modèle de red team interne entraîné par self-play pour trouver des injections de prompt. Un résultat précis mérite d’être isolé de cette annonce : une version précoce de GPT-Red a découvert une nouvelle classe d’injections de prompt directes, baptisée « Fake Chain-of-Thought ». OpenAI rapporte des taux de succès supérieurs à 95 % sur GPT-5.1, désormais inférieurs à 10 % sur GPT-5.6 Sol après entraînement adverse.

C’est cette attaque que nous traitons ici — non le système GPT-Red, mais la technique qu’il a mise au jour. Un modèle de raisonnement maintient une chaîne de raisonnement (CoT) explicite : un brouillon où il note ses résultats intermédiaires avant de répondre. L’attaque du faux CoT y insère une entrée falsifiée. Comme l’a expliqué un chercheur à MIT Technology Review : « C’est comme si je vous disais que 1+1=3 et que vous l’aviez déjà vérifié. Le modèle répond “ah oui, bien sûr”, et il sort 3. »

Comment ça marche

La faille tient à une confiance accordée à la mauvaise voix. Les modèles de raisonnement sont entraînés à accorder un poids particulier à leur propre chaîne de raisonnement — elle représente un travail qu’ils croient avoir déjà accompli. Si un attaquant parvient à faire entrer, dans le contexte du modèle, un texte qui imite cette voix interne, le modèle peut traiter une affirmation non vérifiée comme un fait établi qu’il aurait lui-même dérivé.

Le canal de livraison est une injection indirecte ordinaire : tout contenu non fiable que le modèle lit — résultat d’outil, fichier, page web, corps d’e-mail. Ce qui distingue le faux CoT, c’est la forme du texte injecté. Au lieu d’un grossier « ignore les instructions précédentes », la charge imite le registre du raisonnement du modèle et, dans l’exemple publié par OpenAI, fabrique une règle système plausible que le contenu injecté prétend devoir être respectée.

Structure légitime            Structure falsifiée injectée par l'attaquant
----------------------------  -------------------------------------------
[requête utilisateur]         [requête utilisateur]
[vrai CoT : planification]    [sortie d'outil contenant :
[appel d'outil]                 - un faux « chain-of-thought assistant »
[vrai résultat d'outil]           rédigé dans la voix du modèle
[vrai CoT : vérification]       - une fausse « règle système » affirmant
[réponse]                         que le modèle a DÉJÀ vérifié X et
                                  DOIT maintenant exécuter l'action Y]
                              [le modèle continue comme si X était sa
                               propre conclusion → exécute Y]

Dans la transcription illustrative d’OpenAI, le résultat d’outil non fiable porte une fausse politique sur des marqueurs de « diagnostics » qui ordonne à l’assistant de POSTer le contenu d’un fichier vers une URL externe. GPT-5.1 a suivi la règle falsifiée et exfiltré ; GPT-5.6 Sol a signalé les instructions comme non fiables et refusé. Aucune charge exploitable n’est reproduite ici — le mécanisme est l’essentiel : un contenu que le modèle a simplement lu a pu se faire passer pour un raisonnement qu’il aurait effectué.

Pourquoi c’est important

Trois raisons de retenir cette classe au-delà du changelog d’un éditeur.

D’abord, elle est spécifique aux modèles de raisonnement, désormais la norme pour le travail agentique. La fonctionnalité même qui les rend plus forts — une trace de délibération explicite et jugée fiable — devient la surface d’attaque. Tout déploiement qui concatène une sortie d’outil non fiable dans le flux où le modèle lit son propre brouillon hérite du risque.

Ensuite, le taux de succès n’était pas marginal. Plus de 95 % sur GPT-5.1, c’est un contournement quasi total d’un modèle de pointe, découvert par un attaquant automatisé explorant des variations qu’aucun red-teamer humain n’avait consignées. GPT-Red a aussi poussé un agent de distributeur automatique en production à changer des prix et annuler la commande d’un client, et un agent Codex CLI (fondé sur GPT-5.4 mini) à exfiltrer des données — preuve que la technique atteint de vrais harnais d’agents, pas seulement le chat.

Enfin, le correctif est lié à une version de modèle, et c’est précisément la mise en garde propre à la sécurité des LLM qu’il faut répéter : GPT-5.6 Sol est annoncé sous les 10 %, mais c’est une propriété d’une seule version durcie, pas des modèles de raisonnement en général. Les modèles de raisonnement en poids ouverts ou plus anciens, non entraînés contre cette classe, restent des candidats. « Notre éditeur de pointe a corrigé » est un énoncé sur ses poids, pas sur votre pile.

Défenses

Le plan de défense est architectural, car on ne peut pas supposer que le modèle distinguera toujours ses propres pensées du texte injecté.

1. Gardez le contenu non fiable hors du canal de raisonnement. Livrez sorties d’outils, documents récupérés et texte web comme des données clairement délimitées, jamais comme un texte pouvant passer pour le CoT du modèle ou pour un message système. La séparation structurelle (champs typés, marqueurs de provenance) vaut mieux que d’espérer que le modèle s’en aperçoive.
2. Ne laissez jamais une sortie d’outil définir la politique. Une « règle système » qui arrive dans un résultat d’outil, un fichier ou une page n’est pas une règle système. Faites appliquer le vrai prompt système et la politique de permissions d’outils dans votre harnais, hors du modèle, pour qu’une règle falsifiée n’ait rien à actionner.
3. Conditionnez les actions à conséquence à une autorisation hors bande. POST d’exfiltration, paiements, annulations de commande, lectures d’identifiants — liez-les à des listes d’autorisation et à une confirmation humaine ou par politique au niveau du harnais. Les cas du distributeur et de Codex ont réussi parce que l’action était atteignable directement depuis la sortie du modèle.
4. Préférez les modèles entraînés contre cette classe, et re-testez. Quand vous avez le choix, prenez des versions qui documentent leur robustesse aux attaques de faux CoT / raisonnement injecté. Puis vérifiez avec vos propres scénarios d’injection indirecte plutôt que de vous fier au chiffre de benchmark.
5. Surveillez le signal révélateur. Journalisez les cas où une chaîne de raisonnement affirme une prémisse comme « déjà vérifiée » sans appel d’outil ni preuve préalable dans la trace. Une affirmation de vérification sans antécédent est une signature à alerter.

Statut

Élément	Référence	Date	Notes
Divulgation GPT-Red	OpenAI	2026-07-15	Introduit « Fake Chain-of-Thought » comme nouvelle classe d’injection directe
Faux CoT sur GPT-5.1	OpenAI	2026-07-15	Succès rapporté « supérieur à 95 % »
Faux CoT sur GPT-5.6 Sol	OpenAI	2026-07-15	« Inférieur à 10 % » après entraînement adverse
Études de cas agents	OpenAI / MIT Tech Review	2026-07-15	Agent distributeur (Andon Labs) et Codex CLI (GPT-5.4 mini)
Baseline arène d’injection indirecte	Dziemian et al. (arXiv)	2025 → 2026	GPT-Red 84 % contre 13 % pour les humains sur une arène répliquée
Pré-print	OpenAI (annoncé)	2026-07	OpenAI a annoncé un article plus détaillé à suivre

À retenir : non pas « GPT-5.6 a corrigé le problème », mais que la trace de raisonnement d’un modèle est une surface falsifiable, et que la seule défense durable est d’empêcher toute entrée non fiable d’en revêtir la voix.