Comment la compaction de contexte efface en silence les règles de sécurité d'un agent

De quoi s’agit-il ?

Les agents à longue durée d’exécution ne peuvent pas conserver tout leur historique dans la fenêtre de contexte. Pour rester dans un budget de tokens, les frameworks d’agents compactent régulièrement la conversation : ils résument les tours précédents, évincent les anciens messages, ou replient une longue trajectoire en un condensé plus court, puis poursuivent à partir de cet état compressé. Un article publié sur arXiv fin juin 2026, « Governance Decay: How Context Compaction Silently Erases Safety Constraints in Long-Horizon LLM Agents », identifie cette couche de gestion du contexte comme une surface de défaillance critique à part entière.

Le résultat est troublant précisément parce qu’il est banal. Une contrainte de gouvernance que l’agent respecte parfaitement tant que la règle est visible — « ne jamais supprimer d’enregistrements de production », « ne pas envoyer d’e-mail hors de l’entreprise », « ne jamais toucher à la facturation » — peut disparaître lors de la compaction. Le résumeur, optimisé pour restituer fidèlement l’essentiel de la tâche, traite une interdiction permanente comme un remplissage à faible valeur et l’omet. L’agent continue alors, sans plus voir la règle qu’il suivait quelques minutes plus tôt, et exécute l’action interdite. Les auteurs nomment ce phénomène Governance Decay (« décrépitude de la gouvernance »).

Comment ça marche

Pour le mesurer, les auteurs ont construit ConstraintRot, un benchmark de scénarios d’agents à long horizon avec notation déterministe des appels d’outils : chaque épisode possède une politique explicite et un jugement de référence indiquant si un appel d’outil donné la viole, de sorte que la mesure ne dépend pas d’un évaluateur subjectif. Ils ont exécuté les mêmes scénarios dans deux conditions — politique maintenue dans le contexte complet, versus politique soumise à compaction — sur sept familles de modèles et 1 323 épisodes.

Avec la politique intégralement en contexte, le taux de violation était de 0 %. Après compaction, il montait à 30 % en moyenne, et atteignait 59 % pour certains modèles. Rien dans l’attaque n’est adverse : pas d’instruction injectée, pas de chaîne de jailbreak, pas de document malveillant. La règle est simplement résumée jusqu’à disparaître, et le modèle fait ce qui paraît localement raisonnable sans elle. C’est pourquoi les auteurs parlent de décrépitude plutôt que d’exploit — la propriété de sécurité s’érode comme effet de bord d’une gestion de mémoire ordinaire.

Un résultat complémentaire, issu d’un article d’avril 2026 intitulé « Omission Constraints Decay While Commission Constraints Persist in Long-Context LLM Agents », affine le schéma. Toutes les contraintes ne s’érodent pas de la même façon. Les règles d’interdiction — « ne pas faire X » — sont celles qui s’estompent sous la pression du contexte, tandis que les règles d’obligation — « toujours faire Y » — tendent à survivre, car une action requise est sans cesse re-déclenchée par la tâche et reste saillante. Il en résulte une asymétrie systématique que les auteurs baptisent Security-Recall Divergence : les contraintes les plus importantes pour la sécurité sont précisément celles que l’on risque le plus d’oublier.

Pourquoi c’est important

La compaction n’est pas un réglage exotique — c’est le comportement par défaut des piles d’agents en production dès qu’une session dure assez longtemps, c’est-à-dire justement au moment où surviennent les actions à fort enjeu (nettoyages, migrations, opérations de masse, étapes financières). Governance Decay signifie qu’un agent peut réussir tous les tests de sécurité à court horizon, être déployé, puis violer la même politique plusieurs heures après le début d’une vraie session, sans aucun attaquant impliqué et sans trace évidente dans la transcription finale. Les équipes qui n’auditent que les refus du modèle en un seul tour, ou qui ne relisent après coup que le résumé compacté, ne verront pas la règle qui a disparu. Le rayon d’impact correspond à tous les outils dont dispose l’agent.

Défenses

La mitigation proposée par l’article est une technique sans réentraînement baptisée Constraint Pinning (« épinglage des contraintes ») : maintenir les contraintes de gouvernance hors de la zone compressible, en les réinjectant textuellement dans le contexte vivant après chaque étape de compaction, afin que le modèle ne les perde jamais de vue. Dans l’évaluation rapportée, cela ramenait le taux de violation à 0 % pour un surcoût inférieur à 0,5 % de tokens — assez négligeable pour qu’il y ait peu de raisons de s’en priver.

Les leçons d’ingénierie durables dépassent cette seule méthode. Traitez votre couche de gestion du contexte comme une partie de la frontière de confiance, et non comme de la tuyauterie : tout ce que votre framework résume ou évince est un endroit où une règle de sécurité peut s’évanouir. Épinglez les interdictions permanentes dans un emplacement protégé, non résumable, plutôt que de compter sur leur survie à un résumé, et accordez une attention particulière aux règles négatives, car ce sont elles qui se dégradent en premier. Faites respecter les contraintes strictes en dehors du modèle lorsque l’enjeu le justifie — une liste d’autorisation d’appels d’outils ou un contrôle de politique à la couche d’exécution ne se laisse pas résumer. Et testez la sécurité à des horizons réalistes : faites passer les politiques par la compaction lors de l’évaluation, notez les appels d’outils réels tard dans de longues sessions, et n’inférez pas une sécurité à long horizon à partir de refus à court horizon.

Statut

Il s’agit de recherche évaluée par les pairs décrivant un mode de défaillance et une défense, non d’une vulnérabilité produit dotée d’un identifiant.

Élément	Détail
Source principale	« Governance Decay: How Context Compaction Silently Erases Safety Constraints in Long-Horizon LLM Agents » (arXiv:2606.22528)
Publié	Juin 2026
Benchmark	ConstraintRot — scénarios à long horizon, notation déterministe des appels d’outils
Échelle	7 familles de modèles, 1 323 épisodes
Résultat rapporté	Violation de 0 % en contexte complet → 30 % en moyenne après compaction, jusqu’à 59 % pour certains modèles
Défense proposée	Constraint Pinning — ramène la violation à 0 % pour un surcoût < 0,5 % de tokens
Travaux liés	« Omission Constraints Decay While Commission Constraints Persist » (arXiv:2604.20911) — Security-Recall Divergence

La source principale date de moins de 90 jours. À retenir : dès que la mémoire d’un agent est compressée, ses règles de sécurité deviennent négociables — les contraintes qui comptent le plus ne devraient donc jamais résider là où un résumeur peut les atteindre.