Blindfold : des jailbreaks au niveau action contournent les défenses sémantiques des LLM embarqués

What is this?

Présenté à ACM SenSys ‘26 (Saint-Malo, 11–14 mai 2026) et déposé sur arXiv le 2 mars 2026 (2603.01414), Jailbreaking Embodied LLMs via Action-level Manipulation introduit Blindfold, un framework d’attaque automatisé visant les planificateurs LLM qui pilotent des robots physiques. Le travail, signé par une équipe de Hong Kong PolyU et de l’Université de Cambridge, s’inscrit dans la lignée de BadRobot (Zhang et al., ICLR 2025, arXiv 2407.20242) mais déplace la surface d’attaque, des sémantiques de prompts vers la chaîne d’actions elle-même. Le résultat principal : sur des simulateurs d’IA embarquée et un bras robotique 6-DoF réel, Blindfold augmente le taux de succès d’attaque (ASR) de jusqu’à 53 % et le taux de succès de tâche (TSR) de jusqu’à 68 % par rapport aux baselines de jailbreak sémantique, y compris face aux garde-fous sémantiques de l’état de l’art.

How it works

Les LLM embarqués traduisent une commande en langage naturel en une séquence d’actions robotiques de bas niveau (saisir, poser, verser, naviguer). La plupart des défenses publiées opèrent à la couche linguistique : elles classifient le prompt utilisateur et le plan textuel produit par le LLM à la recherche d’une intention malveillante. Blindfold contourne ce mécanisme en raisonnant dans l’espace des actions plutôt que dans celui des prompts.

Le framework comprend trois modules séquentiels.

Command Transformer (planification par proxy avec un LLM armé). Plutôt que d’attaquer directement le LLM embarqué de production, Blindfold exécute un LLM « proxy » local dont l’alignement de sécurité a été retiré — ce que les auteurs nomment Adversarial Proxy Planning. À partir d’un objectif malveillant et d’une description de l’environnement cible, ce proxy décompose le but en une chaîne d’actions dont chaque étape paraît anodine (déplacer l’objet A, ouvrir le compartiment B, placer A dans B). La chaîne est ensuite confiée au système embarqué cible, qui l’exécute sans reconnaître la composition comme nuisible.

Intent Obfuscator. Les auteurs constatent que les défenses sémantiques détectent encore beaucoup de chaînes parce que les étapes s’agrègent en motifs d’activité reconnaissables. L’obfuscateur identifie l’action dominante (l’étape la plus directement responsable du résultat nuisible) et injecte des actions de couverture — du bruit contextuellement plausible — autour d’elle. Du bruit aléatoire seul casse la cohérence de la chaîne et fait chuter le TSR ; les actions de couverture de Blindfold sont générées pour s’ajuster à l’environnement afin que l’exécution survive à l’obfuscation.

Rule-Based Verifier. Le LLM proxy armé hallucine parfois des séquences infaisables (conflits d’actions, préconditions manquantes). Un vérificateur déterministe encode la scène sous forme de graphe symbolique et confronte la chaîne aux règles de préconditions et d’effets. Les échecs sont renvoyés au proxy avec un retour structuré jusqu’à obtenir une séquence valide. Cette itération planificateur-vérificateur est la clé de l’exécutabilité dans le monde physique.

Le papier circonscrit explicitement son modèle de menace à un attaquant no-box : entrée texte ou voix vers un LLM embarqué publiquement déployé, sans connaissance des internes du modèle de production. Les évaluations couvrent trois stacks embarqués populaires — Voxposer, Code as Policies et ProgPrompt — instanciés sur un backbone GPT-4o, face aux meilleurs garde-fous sémantiques disponibles à la date de publication.

Why it matters

Le résultat documente une faille de sécurité que les équipes défensives livrant des LLM couplés à des robots ou à des actionneurs ne peuvent ignorer. Jusqu’ici, l’hypothèse dominante était qu’un filtre sémantique en entrée plus un classifieur de sortie sur le plan généré couvriraient l’essentiel des comportements adverses. Blindfold montre qu’un attaquant capable d’enchaîner des actions anodines peut produire un résultat physique nuisible sans jamais prononcer un mot dangereux — et que cela se généralise à un bras 6-DoF en laboratoire, pas seulement à un simulateur.

Cela rejoint directement le OWASP Top 10 for Agentic Applications 2026, qui érige le désalignement d’objectif, le mésusage d’outils et les défaillances en cascade au rang des risques majeurs des systèmes autonomes opérant dans des environnements physiques et numériques. Les jailbreaks au niveau action sont une instance concrète de la classe « défaillances en cascade » : chaque étape est acceptable, leur composition ne l’est pas.

Le profil de risque demeure modéré aujourd’hui parce que le déploiement de robots physiques planifiés par LLM reste limité et que l’attaque suppose que le proxy puisse modéliser l’environnement cible. Il croîtra à mesure que les LLM embarqués sortiront des laboratoires pour rejoindre entrepôts, hôpitaux, commerces et foyers.

Defenses

Déplacer les contrôles de sécurité du prompt vers le graphe d’actions. Validez la composition d’un plan contre des états-buts interdits exprimés dans le modèle du monde, et pas seulement contre la description en langage naturel. Les préconditions et effets symboliques (la même représentation qu’exploite le vérificateur de Blindfold) sont le bon substrat : encodez « l’objet X ne doit jamais finir à l’intérieur de l’appareil chauffant Y » comme une contrainte d’accessibilité sur l’état post-exécution, puis refusez tout plan dont l’état final simulé viole cette contrainte.

Exécutez un simulateur physique avant tout mouvement d’actionneur. Un jumeau numérique ou un forward-model rapide qui prédit l’état du monde résultant permet d’évaluer les conséquences d’une chaîne d’actions de façon holistique, plutôt qu’étape par étape. Tout l’enjeu de Blindfold est que la sécurité étape-par-étape n’est pas la sécurité de la chaîne.

Contraignez le vocabulaire d’actions par le contexte. Un robot de pharmacie n’a pas besoin de piloter un four ; un assistant de cuisine n’a pas besoin de démonter un dispositif médical. Des allow-lists d’actions étroites et contextualisées rétrécissent l’espace des chaînes adverses faisables et s’alignent avec le pattern de mitigation « tool misuse » de l’OWASP.

Traitez les commandes humaines comme une frontière de confiance défendue. Les canaux voix et texte vers les LLM embarqués doivent être soumis à un binding d’identité (qui a le droit d’émettre une commande au niveau actionneur), à une journalisation des sessions, et à une confirmation explicite pour toute action à haut risque (chaleur, découpe, versement, levage au-dessus d’une personne).

Adoptez le OWASP Top 10 for Agentic Applications 2026 comme socle. Cartographiez les déploiements de LLM embarqués face à ses catégories de hijacking d’objectif, de mésusage d’outils et d’agents rogues, et exercez vos scénarios de red team au niveau action, pas seulement au niveau prompt. Comme l’a montré une autre ligne de travaux de 2025–2026, les attaquants adaptatifs contournent toute défense évaluée seulement sur des benchmarks statiques.

Status

Item	Reference	Date	Notes
Papier, framework d’attaque au niveau action	Jailbreaking Embodied LLMs via Action-level Manipulation, arXiv 2603.01414	2026-03-02 (preprint) / 2026-05-11 (SenSys)	Framework Blindfold, ASR +53 %, TSR +68 % vs baselines
Travail sémantique antérieur	BadRobot, arXiv 2407.20242	2024-07 (v1) / 2025 (ICLR)	Jailbreak par canal vocal des LLM embarqués
Stacks cibles évalués	Voxposer, Code as Policies, ProgPrompt	—	Backbone GPT-4o dans l’évaluation
Alignement framework	OWASP Top 10 for Agentic Applications 2026	2026-02	Goal hijacking, tool misuse, défaillances en cascade

Le message à retenir pour les défenseurs est structurel : la sécurité au niveau action exige un raisonnement au niveau action. À mesure que la robotique pilotée par LLM s’étend, la frontière de confiance doit passer de « l’utilisateur a-t-il dit quelque chose de nuisible » à « l’état du monde résultant sera-t-il acceptable » — et ce déplacement définira la prochaine génération de garde-fous pour l’IA embarquée.