Découper une tâche malveillante en étapes anodines déjoue les garde-fous des agents

De quoi s’agit-il ?

Le 29 mai 2026, des chercheurs de l’université du Zhejiang, de l’université Tsinghua, du Shanghai AI Laboratory et de l’East China Normal University ont publié sur arXiv TRACE: Task-Aware Adaptive Self-Evolving Agentic Jailbreaking. L’article vise une faiblesse propre aux agents outillés plutôt qu’à un chatbot répondant à une question isolée : un agent qui planifie et exécute un workflow en plusieurs étapes peut être amené à accomplir une tâche malveillante entière alors qu’aucune des instructions qu’il reçoit ne paraît manifestement dangereuse.

Le constat de départ est simple et dérangeant. L’alignement de sécurité et la plupart des garde-fous évaluent la nocivité message par message. Or le travail d’un agent consiste justement à découper un objectif en étapes. Si l’attaquant réalise lui-même cette décomposition — en scindant l’objectif malveillant en petites opérations dépendantes du contexte, chacune d’apparence anodine — le contrôle de sécurité par message n’a presque rien à signaler, et l’agent reconstitue la nocivité au fil des étapes. TRACE est le framework construit par les auteurs pour mesurer jusqu’où cette idée porte.

Comment ça marche

TRACE est présenté comme un framework analytique de red teaming, et les auteurs précisent qu’il vise à révéler et atténuer le risque agentique, toutes les expériences étant menées en environnement contrôlé et cloisonné. Le modèle de menace est celui d’un attaquant en boîte noire qui ne dialogue avec l’agent cible qu’à travers son interface normale : pas d’accès aux poids du modèle, pas de possibilité de modifier les outils, pas de changement de l’environnement d’exécution. L’attaquant soumet des instructions, observe les réponses et les traces d’exécution, puis s’adapte. Fait notable, l’article présente cet attaquant comme un non-spécialiste de la sécurité qui parvient malgré tout à faire exécuter à l’agent des workflows de niveau expert.

La méthode comporte trois étapes conceptuelles, dont aucune n’exige de payload reproductible pour être comprise.

D’abord, la décomposition de la tâche. L’objectif malveillant est réécrit en séquences candidates de sous-tâches plus petites, selon plusieurs schémas de décomposition. Un juge de cohérence sémantique écarte les séquences qui se sont éloignées de l’objectif initial : ce qui subsiste représente donc fidèlement le but — mais réparti.

Ensuite, une règle du « minimum de sous-tâches nocives ». Parmi les séquences fidèles, TRACE retient celle qui minimise le nombre de sous-tâches dépassant un seuil de nocivité. Le résultat est une chaîne sémantiquement équivalente à la demande d’origine, mais dont la plupart des étapes paraissent inoffensives isolément.

Enfin, une auto-évolution guidée par retour d’expérience. Les sous-tâches que l’agent exécute directement sont laissées telles quelles ; celles qu’il refuse, ou accepte mais échoue, sont reformulées dans un « scénario de déguisement conscient de la tâche » composé de quatre éléments — un rôle, un environnement, une directive et une heuristique — puisés dans des réservoirs initialisés pour correspondre aux outils dont dispose l’agent. TRACE fait alors muter ces scénarios un composant à la fois, via des actions de transformation nommées (raccourcir, remplacer, renforcer, réordonner, élaguer, concrétiser), en notant chaque tentative par « complétion moins refus ». Une règle inspirée du Q-learning apprend quelles transformations tendent à aider, et un module de mémoire archive les scénarios et composants les mieux notés pour les réutiliser sur des sous-tâches similaires. Aucune primitive d’attaque inédite n’est introduite : les techniques recombinées (découpage de tâche, cadrage par rôle/scénario, raffinement itératif) sont déjà connues ; l’apport de TRACE est la manière disciplinée de les enchaîner et de les faire évoluer.

Pourquoi c’est important

Ce sont les chiffres mesurés qui justifient l’attention. Face à trois agents bâtis sur GPT-5.2, Gemini-3-Flash et DeepSeek-V4-pro, TRACE rapporte sur le benchmark AgentHarm un score de succès moyen et un taux de contournement de 0,40 / 0,90 (GPT), 0,73 / 0,98 (Gemini) et 0,72 / 1,00 (DeepSeek) — contre la meilleure référence antérieure, Red-Agent-Reflect, à 0,15 / 0,31 sur l’agent GPT. Sur le benchmark plus exigeant AdvCUA, composé de tâches réalistes de système d’exploitation pour agents « computer-use », TRACE atteint un taux de contournement parfait de 1,00 sur les trois agents, avec des scores de succès de 0,31, 0,46 et 0,50 là où la plupart des références plafonnent près de zéro.

Deux éléments dépassent le simple classement. L’attaquant est faible par hypothèse — accès en boîte noire, aucune expertise sécurité — et pourtant la stratégie de décomposition se transfère à trois modèles de pointe distincts. Et l’approche découle directement de la façon dont les garde-fous sont conçus : un filtre qui évalue chaque message indépendamment est structurellement aveugle à une nocivité qui n’existe que dans la composition d’étapes individuellement acceptables. Toute équipe qui laisse un agent enchaîner des appels d’outils pour un utilisateur hérite de cet angle mort.

Défenses

Suivre la nocivité cumulée sur une trajectoire, pas message par message. TRACE fonctionne précisément parce que chaque sous-tâche reste sous un seuil de nocivité par message. Un garde-fou qui raisonne sur la séquence d’étapes en cours — en se demandant si la composition des sous-tâches acceptées reconstitue un objectif interdit — supprime l’exact interstice exploité par l’attaque. La classification par message ne suffit pas.

Ajouter des contrôles d’alignement de tâche et de dérive d’intention. L’attaque maintient chaque étape sémantiquement fidèle à un but caché. Les défenses qui comparent en continu ce que fait l’agent à la tâche légitime déclarée par l’utilisateur — et signalent toute dérive vers un objectif non déclaré — s’attaquent au mécanisme plutôt qu’à la formulation de surface.

Surveiller les chaînes d’appels d’outils, pas seulement les prompts. Comme les scénarios sont construits pour s’adapter aux outils de l’agent, la nocivité apparaît dans la séquence des invocations d’outils. Surveiller ces chaînes à la recherche de schémas dangereux connus (accès à des identifiants suivi d’exfiltration, primitives d’élévation de privilèges, etc.) rattrape des comportements que les filtres au niveau du prompt laissent passer.

Déployer des défenses agentiques en couches, sans les croire suffisantes. L’article a testé trois défenses et constaté qu’elles aident sans combler l’écart : face à TRACE sur AgentHarm, le filtrage par perplexité n’a presque pas fait bouger le score de succès, tandis que LlamaFirewall et AgentDoG l’ont davantage réduit — la plus forte baisse isolée étant de 0,36 sur l’agent DeepSeek sous AgentDoG. Malgré cela, un succès substantiel subsistait (par exemple 0,45 sur l’agent Gemini sous AgentDoG, 0,48 sur l’agent DeepSeek sous LlamaFirewall). La conclusion même des auteurs est que les défenses actuelles apportent une atténuation utile, mais qu’une protection agentique plus robuste reste nécessaire.

Restreindre les capacités à l’exécution. Des listes d’autorisation d’outils strictes, des identifiants à portée limitée, des canaux d’effets de bord cloisonnés et un contrôle des sorties réseau limitent ce qu’un agent trompé peut réellement accomplir, même lorsque le jugement de sécurité est déjoué — réduisant l’impact d’une décomposition réussie, que le garde-fou l’ait signalée ou non.

Statut

Élément	Référence	Date	Notes
Article	arXiv:2605.30883	Publié le 2026-05-29	Zeng, Qi, Xiu, Zheng et al. (Zhejiang University ; Tsinghua University ; Shanghai AI Laboratory ; East China Normal University)
Méthode	Décomposition de tâche + « minimum de sous-tâches nocives » + évolution de scénario inspirée du Q-learning	—	Attaquant en boîte noire, sans modification des outils ni de l’environnement
Benchmarks	AgentHarm, AdvCUA	2024 / 2025	AdvCUA aligné sur des tâches MITRE ATT&CK Enterprise
Cibles testées	Agents GPT-5.2, Gemini-3-Flash, DeepSeek-V4-pro	—	Contournement AgentHarm jusqu’à 1,00 ; AdvCUA 1,00 sur les trois
Défenses évaluées	Filtrage par perplexité, LlamaFirewall, AgentDoG	—	Baisse maximale de 0,36 (DeepSeek/AgentDoG) ; succès substantiel résiduel
Statut	Framework analytique de red team ; expériences cloisonnées uniquement	—	Les auteurs appellent à des défenses agentiques plus robustes

TRACE n’introduit pas tant une nouvelle primitive d’attaque qu’il montre à quel point les primitives connues se composent facilement. Dès lors qu’un adversaire peut scinder un objectif en étapes qui passent chacune un contrôle de sécurité par message, l’unité d’analyse du garde-fou — le message isolé — devient la vulnérabilité. L’enseignement pratique pour quiconque livre des agents outillés : la sécurité doit s’évaluer sur des trajectoires entières et des chaînes d’appels d’outils, car c’est à ce niveau que réside réellement la nocivité.