Loss Landscape Poisoning : faire mémoriser à un LLM un secret qu'il n'a jamais vu
Un papier de juin 2026 montre qu'un attaquant par empoisonnement de données peut forcer un LLM à mémoriser des enregistrements cibles auxquels il n'a jamais eu accès — et une technique de sondage les récupère même sous confidentialité différentielle.
De quoi s’agit-il ?
En juin 2026, Md Abdullah Al Mamun, Pedram Zaree et Nael Abu-Ghazaleh (UC Riverside), avec Ngoc Phu Doan et Ihsen Alouani (Queen’s University Belfast), ont publié Loss Landscape Poisoning: Targeted Extraction of Unseen Training Data from LLMs (arXiv:2606.17110). Le papier introduit une attaque à l’entraînement, le Loss Landscape Poisoning (LLP), qui répond à une question dérangeante : un attaquant qui ne fournit qu’une partie des données d’entraînement peut-il forcer un modèle à divulguer un autre enregistrement — un secret que l’attaquant ne voit jamais ?
La réponse du papier est oui. En façonnant la géométrie de la surface de perte du modèle autour d’une région ciblée, le LLP amène les propres données d’entraînement de la victime à se mémoriser elles-mêmes en un point isolé et extractible. Il s’agit d’un résultat de recherche sur un mode de défaillance de la vie privée, et non d’un exploit prêt à l’emploi contre un système en production.
Comment ça marche
Le mécanisme est géométrique plutôt que lexical. Un modèle de langage généralise lorsque la surface de perte est lisse : de nombreuses complétions voisines présentent une perte faible et similaire, si bien qu’aucune valeur n’est sur-apprise. Le LLP casse volontairement cette régularité. L’attaquant injecte des enregistrements leurres qui partagent la structure environnante d’une cible — par exemple un formulaire contenant un champ de numéro de sécurité sociale ou de carte bancaire — mais portent des valeurs aléatoires dans le champ secret, et fait monter la perte sur tout ce voisinage. Quand la victime s’entraîne ensuite sur l’enregistrement réel, l’entraînement normal fait descendre la perte exactement en ce point. Les deux forces opposées creusent un minimum local aigu : le modèle ne peut ajuster le vrai secret qu’en le mémorisant mot pour mot, la généralisation ayant été localement supprimée.
Les auteurs décrivent deux modèles de menace. Dans la variante la plus forte, l’empoisonnement du modèle, un attaquant qui contrôle une partie de l’optimisation (notamment un client malveillant en apprentissage fédéré) applique une montée de gradient aux échantillons empoisonnés pendant qu’une descente de gradient normale s’exécute sur le reste. Dans la variante plus réaliste par données seules, LLP-Data, l’attaquant se contente de fournir des échantillons conçus pour que leurs gradients supervisés ordinaires reproduisent le même signal de montée — sans aucun accès à la fonction de perte ni à la boucle d’entraînement. La probabilité de génération de la cible passe d’une base quasi aléatoire de 0,01–0,04 à 0,7–0,92, la fuite atteignant jusqu’à 100 % sur les modèles de langage et 90 % sur les modèles vision-langage en boîte blanche, et 86 % / 83 % pour la variante par données seules. En configuration fédérée, un unique participant malveillant a récupéré jusqu’à 100 % des secrets détenus par des clients honnêtes via le modèle global partagé.
Pourquoi c’est important
L’attaquant n’observe jamais le secret, et pourtant l’extrait — ce qui brise une intuition rassurante des pipelines de partage de données : « si je n’ai jamais vu votre enregistrement, je ne peux pas le divulguer ». Le LLP vise précisément les contextes où cette intuition porte tout le poids : apprentissage fédéré entre hôpitaux ou banques, fine-tuning sur des données clients mutualisées, et tout pipeline qui ingère des corpus tiers ou récupérés par scraping. Il prolonge la littérature sur l’empoisonnement des données d’entraînement et l’inférence d’appartenance, en passant de « cet enregistrement était-il dans le jeu ? » à « reconstruire un enregistrement qu’on ne m’a jamais donné ».
Défenses
Le résultat le plus lourd de conséquences concerne la confidentialité différentielle (DP), la défense canonique. DP-SGD bloque bien la génération directe du secret sous LLP : le clipping de gradient aplatit le minimum aigu que l’attaquant tente de creuser, et le bruit calibré rétablit assez de régularité pour généraliser. Mais le papier introduit une seconde primitive de fuite, le Direct Loss Region Probing (DLRP), qui ne demande jamais au modèle de générer quoi que ce soit. À partir de seules requêtes de perte en boîte noire, DLRP énumère des candidats dans la région cible et les classe selon la hausse de leur perte sous de petites perturbations — le vrai secret est celui dont tous les voisins se trouvent sur un terrain plus élevé. Comme l’écart relatif de perte survit au clipping et au bruit, DLRP récupère la cible à des budgets de confidentialité qui préservent encore une précision utilisable. Les auteurs indiquent que supprimer DLRP exige un bruit suffisant pour dégrader gravement l’utilité.
L’enseignement pratique est une défense en profondeur sur le chemin des données, et non un unique curseur. Traitez la DP comme nécessaire mais non suffisante, et associez-la à une provenance et une vérification strictes des données fournies (qui a livré chaque lot, et peut-on lui faire confiance ?), à la détection d’anomalies sur le comportement des gradients et de la perte par client en fédéré, à la déduplication et à l’audit par canaris pour repérer une mémorisation anormale avant publication, et à une limitation de débit ou un contrôle d’accès sur toute interface exposant des valeurs brutes de perte ou de log-probabilité — le canal dont dépend DLRP. Voir aussi notre couverture de l’écart empirique entre garanties DP et fuite réelle et des attaques plus larges contre la vie privée des LLM.
Statut
LLP est un papier de recherche (arXiv:2606.17110, publié en juin 2026), et non une divulgation de vulnérabilité — il n’y a ni CVE ni correctif éditeur. Sa portée est conceptuelle : il déplace la question de la vie privée de ce que le modèle génère vers la géométrie de la surface de perte qu’il porte, et montre que la recette standard d’entraînement privé laisse cette géométrie exposée. Les équipes qui mutualisent des données sensibles pour l’entraînement ou le fine-tuning devraient traiter les données fournies comme une surface d’attaque à part entière, et ne pas supposer que « nous avons appliqué la DP » ferme la porte.