OEP : empoisonner les agents auto-évolutifs par des cas limites propres

De quoi s’agit-il ?

Les agents auto-évolutifs sont des systèmes à base de LLM qui s’améliorent à l’exécution : une fois une tâche terminée, l’agent réfléchit à ce qui s’est passé, en tire une leçon, puis l’inscrit dans une mémoire ou un jeu de règles qui guidera ses prochaines exécutions. C’est la boucle qui sous-tend une classe grandissante d’agents « pilotés par l’expérience », censés s’améliorer à l’usage.

Un article publié sur arXiv fin mai 2026, OEP: Poisoning Self-Evolving LLM Agents via Locally Correct but Non-Transferable Experiences, montre que cette même boucle de réflexion est une surface d’attaque. Les auteurs décrivent une technique — l’empoisonnement par expérience surgénéralisée (OEP) — qui corrompt les règles apprises d’un agent à l’aide d’entrées individuellement correctes. Aucune charge malveillante, aucune chaîne de jailbreak, aucun accès privilégié au prompt système ni à la mémoire. L’attaquant n’a qu’à soumettre à l’agent des tâches d’apparence ordinaire et à le laisser s’empoisonner lui-même. Le taux de succès rapporté dépasse 50 % dans plusieurs domaines sur GPT-4o, et l’article indique qu’il résiste mieux que les méthodes antérieures aux défenses existantes.

Comment ça marche

L’idée clé : le danger n’est pas une mauvaise entrée, mais une mauvaise généralisation. Lors de la consolidation en mémoire, un agent qui réfléchit à ses propres exécutions a tendance à trop se fier à ses conclusions et à comprimer une solution ponctuelle et étroite en une règle large et hautement prioritaire.

OEP exploite ce biais en construisant ce que l’article nomme des cas limites propres et adverses. Chaque cas combine trois ingrédients : une tâche où existe une réponse localement correcte, une méthode de résolution qui fonctionne ici mais ne se transfère pas au cas général, et un cadrage qui associe une conséquence grave à l’erreur. Confronté à quelques cas de ce type, l’étape de réflexion de l’agent fait exactement ce pour quoi elle a été conçue : elle remarque le quasi-échec, pondère les enjeux annoncés, et rédige une règle prudente et surgénéralisée pour éviter le « risque » à l’avenir. Cette règle frileuse se déclenche ensuite à tort sur les tâches ordinaires qu’elle a indûment englobées, dégradant l’agent pour tous les utilisateurs suivants.

Comme l’empoisonnement passe par le calcul d’utilité de l’agent lui-même, et non par des instructions injectées, il échappe aux défenses qui cherchent du contenu malveillant. Le schéma ci-dessous est illustratif et défensif — il montre la forme d’un cas empoisonné, pas une charge fonctionnelle :

# Structure illustrative d'un "cas limite propre" adverse (défensif)
tache:       scenario etroit avec une bonne reponse locale
methode:     un raccourci valide UNIQUEMENT pour ce scenario  [non transferable]
consequence: "se tromper ici a cause une grave defaillance"    [cadrage]
# L'agent reflechit -> distille une regle trop large et prioritaire
# -> la regle se declenche a tort sur les taches normales      [charge redigee]

Ces travaux prolongent une série d’études du début 2026 avertissant que les agents pilotés par l’expérience et auto-évolutifs peuvent mal évoluer — dériver vers un comportement dangereux à partir de leurs seules interactions, sans jamais avoir vu de données délibérément nuisibles.

Pourquoi c’est important

La plupart des travaux sur la sécurité des agents supposent que l’adversaire doit injecter quelque chose d’identifiable : un prompt, un document empoisonné, un enregistrement mémoire falsifié. OEP abaisse ce seuil à presque zéro. C’est une attaque peu privilégiée, en boîte noire, qui n’exige qu’un accès normal aux tâches — précisément ce qu’offre par défaut un agent partagé, multi-tenant ou exposé au public. La corruption est aussi persistante et collatérale : une fois la règle surgénéralisée inscrite, elle nuit aux utilisateurs suivants, sans rapport avec l’attaque. À mesure que les boucles réflexion-mémoire quittent les démonstrateurs de recherche pour les copilotes en production et les assistants au long cours, « l’agent s’est enseigné la mauvaise leçon » devient un mode de défaillance réaliste, et non hypothétique.

Défenses

• Considérer les règles auto-générées comme non fiables jusqu’à validation. Une réflexion est une hypothèse, pas un fait. Conditionnez toute règle distillée à des preuves issues de plusieurs cas indépendants avant de lui accorder une haute priorité.
• Tester la transférabilité avant promotion. Avant qu’une leçon locale ne devienne une règle générale, confrontez-la à des tâches tenues à l’écart ou à des contre-exemples ; une règle qui n’aide que sur son scénario d’origine doit être restreinte ou écartée.
• Borner l’autorité et la portée des règles. Attachez à chaque règle apprise une provenance et une portée de validité, plafonnez le poids qu’une seule expérience peut prendre, et empêchez une réflexion de définir une politique globale prioritaire.
• Décroissance et revue. Faites expirer les règles qui ne sont plus renforcées, et auditez régulièrement le jeu de règles pour repérer les règles trop larges et frileuses qui bloquent le comportement normal — signature de cette attaque.
• Séparer le cadrage des conséquences de l’utilité. Ne laissez pas les enjeux revendiqués dans l’entrée gonfler directement le poids d’une règle ; une gravité affirmée par une tâche non fiable n’est pas une preuve.
• Surveiller la régression de capacités. Suivez le taux de succès dans le temps ; une hausse soudaine de refus trop prudents ou d’échecs sur des tâches auparavant résolues peut signaler une consolidation empoisonnée.

Statut

Il s’agit de recherche académique publiée, non d’un incident observé dans la nature. C’est une contribution défensive : les auteurs caractérisent une faiblesse de la boucle d’auto-amélioration et l’évaluent pour que les concepteurs durcissent les étapes de mémoire et de réflexion de leurs agents.

Élément	Détail
Technique	Empoisonnement par expérience surgénéralisée (OEP)
Cible	Agents auto-évolutifs réflexifs / pilotés par l’expérience
Accès requis	Peu privilégié, boîte noire (entrée de tâche normale)
ASR rapporté	> 50 % selon les domaines sur GPT-4o
Divulgation	Préprint arXiv, fin mai 2026
Nature	Recherche / caractérisation défensive

Dates clés : les premiers travaux sur la « mauvaise évolution » sont parus fin 2025 ; les analyses de sûreté des agents auto-évolutifs pilotés par l’expérience ont suivi en avril 2026 ; la technique OEP a été déposée sur arXiv fin mai 2026. À retenir pour quiconque déploie un agent qui apprend de ses propres exécutions : le chemin d’écriture en mémoire mérite la même vigilance que le chemin d’entrée, car un agent qui réfléchit peut être amené à réfléchir de travers.