PHANTOM: un conjunto de 47.000 muestras para poner a prueba la seguridad de los modelos visión-lenguaje

¿Qué es esto?

En junio de 2026, un grupo de investigadores publicó PHANTOM, un conjunto de datos abierto de ataques adversarios multimodales pregenerados, dirigidos a los modelos visión-lenguaje (VLM). El conjunto reúne 47.524 muestras adversarias que abarcan 10 grandes categorías de daño y 55 subcategorías, a partir de 7.826 intenciones dañinas consolidadas y ampliadas desde benchmarks anteriores. Está disponible en Hugging Face para su libre descarga.

El valor de PHANTOM no reside en un nuevo ataque. Es infraestructura. Generar grandes lotes de ejemplos adversarios multimodales es costoso y laborioso: hace falta el código de ataque, la capacidad de cómputo y las intenciones de referencia. PHANTOM precalcula ese trabajo y lo entrega a la comunidad como un conjunto de evaluación reutilizable, de modo que quien defiende puede medir el comportamiento de un VLM frente a una amplia muestra representativa de ataques de imagen más texto sin reconstruir primero la cadena de ataque. Lo cubrimos porque los conjuntos de evaluación compartidos y reproducibles son justo lo que le ha faltado a la vertiente defensiva de la seguridad multimodal.

Cómo funciona

Un VLM toma juntas una imagen y un texto, y razona sobre ambos. Ese segundo canal de entrada —la imagen— es una superficie de ataque que las barreras de seguridad puramente textuales rara vez vigilan. El contenido adversario puede ocultarse en los píxeles (perturbaciones imperceptibles), en texto incrustado dentro de la imagen, o en la combinación de una imagen aparentemente inocua y una instrucción aparentemente inocua que solo resulta dañina al fusionarse. Es la misma clase de problema tratada en la inyección solo por imagen y la inyección visual que elude las barreras.

PHANTOM es un conjunto de datos, no un kit de explotación: lo que importa aquí es su estructura y no un payload concreto:

Capa             Contenido de PHANTOM
---------------  ---------------------------------------------------
Intenciones      7.826 semillas de intenciones dañinas,
                 consolidadas desde varios benchmarks + 1 categoría añadida
Taxonomía        10 grandes categorías / 55 subcategorías de daño
Muestras         47.524 ejemplos adversarios multimodales pregenerados
Método           Ataques producidos con estrategias de vanguardia
                 tomadas de la literatura publicada reciente
Uso              Medición de robustez, pruebas de esfuerzo de barreras,
                 entrenamiento/fine-tuning de detectores de ataques

Dos decisiones de diseño le dan valor defensivo. Primero, la taxonomía permite informar la robustez por categoría de daño en lugar de como una media difusa: un modelo puede ser sólido en una clase y débil en otra, y un puntaje global oculta esa diferencia. Segundo, como las muestras están pregeneradas y compartidas, dos equipos pueden someter las mismas entradas a modelos distintos y obtener cifras comparables, propiedad que convierte las anécdotas en benchmarks. Los autores presentan todo el esfuerzo como una forma de bajar la barrera de la investigación adversaria y hacer las evaluaciones de seguridad de los VLM más reproducibles y comparables, una dirección que también aparece en la literatura de síntesis sobre ataques multimodales.

Por qué importa

Los despliegues multimodales avanzan más rápido que las herramientas de evaluación que los rodean. Un VLM conectado a un agente de navegación, a una cadena documental o a un flujo de atención al cliente hereda cada imagen que se le pide mirar como una entrada no confiable, mientras que la mayor parte de las pruebas de seguridad se ha apoyado hasta ahora en instrucciones de texto. Un conjunto adversario amplio, categorizado y de libre acceso cambia la economía de las pruebas: medir la robustez pasa a ser algo que un equipo de tamaño medio puede hacer antes de producción, y no un proyecto de investigación en sí mismo.

Existe una tensión de doble uso que conviene nombrar. Las mismas 47.000 muestras que permiten a los defensores probar una barrera pueden, en principio, servir para hacer fine-tuning de modelos generadores de ataques —el artículo enumera ese uso—. Pero las muestras se consolidan a partir de benchmarks ya públicos y se generan con técnicas ya publicadas; la capacidad marginal que se entrega a un atacante es pequeña, mientras que la que se entrega a defensores y evaluadores es grande. Los conjuntos de prueba compartidos y estandarizados han impulsado repetidamente la seguridad, precisamente porque ambos bandos disponen del mismo patrón de medida.

Defensas

Un conjunto de datos así solo es útil si alimenta un proceso. Trátelo como una entrada de evaluación, no como una casilla que marcar.

1. Evalúe antes de desplegar, y por categoría. Someta una muestra representativa a su VLM e informe la robustez por subcategoría de daño. Una única tasa media de aprobación ocultará las clases en las que su modelo es más débil.

2. Proteja explícitamente el canal de imagen. Asuma que el filtrado puramente textual no ve los ataques transportados en los píxeles o en el texto incrustado. Añada moderación sensible a las imágenes y controles de OCR más política sobre el contenido visual antes de que llegue al modelo.

3. Vuelva a probar tras cada cambio de modelo o de instrucción. El comportamiento de un VLM cambia con los fine-tunes, los ajustes del system prompt y las subidas de versión. Un conjunto fijo y compartido permite detectar regresiones en lugar de descubrirlas en producción.

4. Separe los medios no confiables de las instrucciones. Aplique controles de flujo de información para que el contenido de imagen se trate como dato, nunca como comando, el mismo principio de integridad contextual que rige para el texto.

5. Siga su propia tasa residual a lo largo del tiempo. La cifra que importa no es «ya probamos» sino «qué fracción sigue pasando tras nuestras defensas», y si esa fracción disminuye versión tras versión.

Estado

Elemento	Referencia	Fecha	Notas
Artículo del conjunto PHANTOM	arXiv:2606.24388	2026-06	Conjunto abierto, 47.524 muestras adversarias multimodales
Taxonomía	Artículo	2026-06	10 categorías / 55 subcategorías, 7.826 intenciones
Distribución	Hugging Face (it4lia/PHANTOM)	2026-06	De libre descarga
Contexto	Síntesis sobre ataques multimodales (arXiv:2603.27918)	2026-03	Panorama más amplio de los métodos adversarios en VLM

La conclusión no es que los VLM estén de pronto rotos: el canal de imagen es un punto débil conocido. La conclusión es que medir hasta qué punto lo están, por clase de daño y de forma que otro equipo pueda reproducir, acaba de volverse mucho más barato. Es el tipo de artefacto compartido que un equipo de seguridad debería incorporar a su lista de comprobación previa al despliegue de cualquier modelo que acepte imágenes.