Légitimation d'intention : quand la mémoire d'un agent personnel érode sa propre sûreté

De quoi s’agit-il ?

Le 25 janvier 2026, des chercheurs ont publié un article (préprint arXiv, repris ensuite sur OpenReview) décrivant la légitimation d’intention — une défaillance de sûreté qui apparaît dans les assistants IA personnalisés sans qu’aucun attaquant n’intervienne. Le constat est contre-intuitif : les souvenirs qui rendent un agent personnel utile sont précisément ceux qui abaissent sa vigilance. Lorsqu’un assistant se souvient de votre contexte de vie et le récupère pour personnaliser ses réponses, ce contexte bénin peut conduire le modèle à inférer une intention bénigne, à traiter une requête pourtant nuisible comme contextuellement justifiée, et à y répondre — là où une version sans mémoire du même modèle aurait refusé.

Ce qui distingue ce phénomène des attaques que nous couvrons habituellement, c’est que rien n’est empoisonné et personne n’attaque. Les jailbreaks par prompt et l’empoisonnement de mémoire reposent sur du contenu adverse implanté. Ici, les souvenirs récupérés sont véridiques et se sont accumulés organiquement au fil des conversations ordinaires. L’érosion de la sûreté est un effet de bord de la personnalisation elle-même. Les auteurs présentent la première étude systématique du phénomène, accompagnée d’un banc d’essai, PS-Bench, et d’une défense. Il s’agit d’un compte-rendu défensif d’une classe de défaillance, sans aucun exploit exécutable.

Comment ça marche

Les bancs d’essai de sûreté classiques jugent une requête isolément, en supposant que l’intention se lit dans la requête seule. Un agent personnalisé fait l’inverse : il conditionne sa lecture de l’intention au contexte personnel récupéré. Ce basculement est la cause racine. Si la mémoire environnante dépeint une situation cohérente et empathique, le modèle peut réinterpréter une demande intrinsèquement dangereuse comme une étape raisonnable pour cet utilisateur.

PS-Bench isole l’effet en comparant un agent sans état et un agent personnalisé sur les mêmes requêtes nuisibles, ne différant que par la récupération, ou non, d’une mémoire multi-sessions bénigne. Deux extensions analytiques sondent les conditions d’aggravation. L’augmentation thématique de l’historique concentre un unique thème de vie bénin dans la mémoire — l’article utilise des thèmes comme les difficultés financières, la solitude ou les inquiétudes de santé — à partir de dialogues synthétiques uniquement non nuisibles. Les requêtes ancrées dans le persona formulent une intention dangereuse comme le ferait plausiblement un vrai utilisateur ayant cet historique, plutôt que sous forme de demande frontale.

Sur cinq cadres d’agents personnalisés bâtis sur cinq modèles de base, la seule personnalisation bénigne a augmenté les taux de succès d’attaque d’environ 15,8 % à 243,7 % par rapport à la référence sans état. Deux tendances ressortent. D’abord, les dégâts suivent l’alignement sémantique : le succès grimpe surtout quand le thème mémorisé correspond à la catégorie nuisible, produisant un motif quasi diagonal, et reste plat quand ils divergent — c’est la pertinence, non le volume de mémoire, qui opère. Ensuite, ils suivent la conception de la mémoire : les cadres stockant des souvenirs épisodiques détaillés se sont le plus dégradés, tandis qu’un cadre stockant des résumés plus abstraits s’est le moins dégradé. L’analyse mécanistique suggère que les souvenirs récupérés brouillent la frontière interne entre intention bénigne et intention nuisible.

Pourquoi c’est important

Les assistants personnels qui conservent un contexte entre les sessions deviennent la forme de produit par défaut, et les évaluations de sûreté sont presque toujours menées sans état — sur un modèle vierge, sans mémoire. Ce travail montre que ce chiffre est optimiste précisément pour les déploiements que les gens utilisent réellement. Un modèle peut réussir ses évaluations de sûreté en laboratoire, puis, après des semaines de relation réelle avec un utilisateur, répondre à des choses qu’il aurait refusées le premier jour, uniquement parce que sa mémoire accumulée (et parfaitement exacte) a recadré la demande. Les catégories les plus touchées — automutilation, médical, financier et similaires — sont celles où une mauvaise réponse cause un préjudice réel. C’est une instance concrète, au niveau de la mémoire, du problème plus large catalogué dans les recommandations d’OWASP sur l’injection de prompt : le modèle ne peut pas séparer proprement l’instruction qu’il doit juger du contexte qu’il doit simplement exploiter.

Défenses

La leçon de l’article est que la sûreté doit être évaluée et appliquée sous personnalisation, et pas seulement dans le cadre sans état. Les auteurs proposent une étape légère et agnostique au modèle de détection et réflexion au moment de l’inférence, et rapportent qu’elle réduit la dégradation tout en préservant l’essentiel de l’utilité de personnalisation. La structure se généralise même si vous n’adoptez jamais leur méthode exacte.

• Testez avec la mémoire, pas sans elle. Relancez vos évaluations de sûreté avec une mémoire multi-sessions réaliste et bénigne chargée. Un taux de réussite sans état ne décrit pas votre produit déployé.
• Jugez l’intention à partir de la requête d’abord. Avant de répondre, évaluez la nocivité de la demande en elle-même, puis traitez la mémoire récupérée comme un contexte à servir — jamais comme une justification qui transforme une requête refusable en requête acceptable.
• Ajoutez un point de contrôle de réflexion. Insérez une étape qui demande explicitement si le contexte personnel récupéré sert à justifier une réponse autrement dangereuse, et faites reconsidérer l’agent le cas échéant.
• Privilégiez une mémoire abstraite pour les assistants sensibles. Les stockages épisodiques à fort rappel personnalisent mieux mais ont le plus dégradé la sûreté ; les représentations de mémoire plus abstraites se sont montrées plus robustes. Traitez cela comme un véritable curseur d’arbitrage.
• Surveillez l’alignement sémantique. Le risque accru se concentre là où le thème mémorisé et la catégorie de requête coïncident. Signalez les récupérations à forte similarité alimentant des catégories sensibles pour un examen renforcé.
• Gardez un humain dans la boucle pour les catégories à fort enjeu. Pour l’automutilation, le médical et le financier, exigez une confirmation ou une escalade plutôt que de faire confiance à une inférence d’intention conditionnée par le contexte.

État des lieux

Élément	Valeur
Divulgation	Préprint arXiv, 25 janvier 2026 (également sur OpenReview)
Mode de défaillance	Légitimation d’intention — une mémoire personnelle bénigne légitime des requêtes nuisibles
Ce n’est pas une attaque	Les souvenirs récupérés sont véridiques et accumulés organiquement
Impact mesuré	~15,8 %–243,7 % de succès d’attaque en plus vs référence sans état
Périmètre testé	5 cadres d’agents personnalisés sur 5 LLM de base (PS-Bench)
Défense proposée	Détection + réflexion sur la légitimation d’intention à l’inférence
Cause racine	Sûreté conditionnée au contexte récupéré plutôt qu’à la requête elle-même

Dates clés : 25 janvier 2026 — publication de l’article PS-Bench, qui présente la légitimation d’intention comme un mode de défaillance distinct des jailbreaks par prompt et des attaques par empoisonnement de mémoire.