Surcharge cognitive : comment une faible résolution d'image jailbreake les LLM multimodaux

De quoi s’agit-il ?

Dans un papier intitulé « Hard to Read, Easy to Jailbreak: How Visual Degradation Bypasses MLLM Safety Alignment » (arXiv 2605.07250, publié en mai 2026 et accepté à Findings of ACL 2026), des chercheurs de Westlake University et UC Merced — Zhixue Song, Boyan Han, Yiwei Wang et Chi Zhang — décrivent un mode de défaillance contre-intuitif des LLM multimodaux.

Les systèmes à long contexte recourent de plus en plus à la compression de contexte visuel : au lieu d’un mur de tokens, le texte est rendu sous forme d’image puis transmis à l’encodeur visuel (approche popularisée par le framework Glyph en 2025). Les auteurs constatent que réduire la résolution de cette image augmente fortement le taux de réussite des jailbreaks — alors même que le texte reste parfaitement lisible pour le modèle. Aucun suffixe adverse, aucune obfuscation : juste une image plus floue de la même requête malveillante.

Comment ça marche

L’équipe a fait varier la résolution de rendu (DPI) de 15 à 300 sur GPT-4.1, Claude Sonnet 4.5, Claude Haiku 4.5, Gemini 2.5 Flash, Qwen3-VL et Doubao-Seed-1.6, en mesurant à chaque palier deux grandeurs : la précision OCR (le modèle lit-il encore le texte ?) et le taux de réussite d’attaque (la consigne malveillante est-elle exécutée ?).

Le résultat dessine une courbe en U inversé. À haute résolution l’image est nette et l’alignement tient. À très basse résolution le texte devient illisible, et rien ne se passe. Mais entre les deux s’étend ce que les auteurs nomment la « zone de confort d’attaque » (Attack Comfort Zone, ACZ), environ 45–150 DPI selon le modèle, où la précision OCR dépasse encore 80 % mais où le taux de réussite explose. Les pics rapportés sont nets : Claude Sonnet 4.5 passe de 0,000 sur entrée nette à ~0,92 vers 60 DPI, GPT-4.1 de 0,127 à ~0,85, et Gemini 2.5 Flash à ~0,98 autour de 150 DPI.

Des sondes de sécurité couche par couche expliquent le mécanisme. Sur une image nette, le contenu nuisible est détecté dans les couches superficielles. Sur une image en ACZ, cette détection est repoussée vers les couches profondes — un « retard de la feature de sécurité ». L’interprétation des auteurs est l’hypothèse de surcharge cognitive : déchiffrer une image dégradée monopolise le calcul des premières couches sur la transcription, au détriment du contrôle de sécurité simultané. L’effet n’est pas propre à la basse résolution — bruit, distorsion géométrique et occlusion produisent le même pic — et il se reproduit aussi bien en chinois qu’en anglais.

Pourquoi c’est important

C’est une propriété du paradigme de compression visuelle lui-même, pas un bug isolé. À mesure que les produits adoptent le contexte rendu en image pour étendre la fenêtre de contexte à moindre coût, ils héritent d’une surface d’attaque que les tests de sécurité textuels ne voient jamais. Le modèle réussit ses évaluations sur entrées propres et échoue pourtant sur une version réduite de la consigne identique. Quiconque bâtit des agents d’OCR, de compréhension de documents ou de lecture de captures d’écran sur des MLLM de pointe est exposé, car le déclencheur — une fidélité réduite — est indiscernable d’une simple variation bénigne de qualité d’image.

Défenses

Le papier propose une mitigation légère, au niveau du prompt, baptisée Structured Cognitive Offloading. Plutôt que de demander au modèle de lire et de juger en une seule passe, elle impose un pipeline sérialisé : (1) transcrire l’image en texte (OCR), (2) effectuer une évaluation de sécurité indépendante sur le texte transcrit, et seulement ensuite (3) générer une réponse. Découpler la reconnaissance du raisonnement restaure l’essentiel de l’intégrité défensive perdue tout en préservant l’utilité OCR légitime.

Recommandations concrètes :

• Lancez votre classifieur de sécurité sur le texte transcrit, pas seulement sur l’image brute, et traitez toute entrée « texte rendu en image » comme non fiable.
• Red-teamez sur plusieurs résolutions et perturbations, pas uniquement sur des images nettes : balayez le DPI, ajoutez flou/bruit/occlusion, testez des prompts non anglophones.
• Ne supposez pas que les évaluations de sécurité textuelles se transfèrent aux pipelines multimodaux : un même prompt peut être sûr en tokens et dangereux en image floue.

Statut

Élément	Détail
Divulgation	arXiv 2605.07250, mai 2026 ; Findings of ACL 2026
Concernés	MLLM de pointe utilisant la compression de contexte visuel (GPT-4.1, Claude Sonnet/Haiku 4.5, Gemini 2.5 Flash, Qwen3-VL, Doubao-Seed-1.6)
Déclencheur	Résolution d’image intermédiaire (« zone de confort d’attaque », ~45–150 DPI) et autres dégradations visuelles
Mitigation	Structured Cognitive Offloading (transcrire → contrôle de sécurité indépendant → répondre)