Por qué una sonda con AUC 0,998 puede no detectar la inyección de prompts

¿Qué es esto?

En junio de 2026, un grupo de investigadores publicó en arXiv When AUC 0.998 Is Not Enough: A Candidate Evaluation Protocol for Hidden-State Probes of Indirect Prompt Injection in Multimodal Computer-Use Agents. El trabajo examina una idea defensiva que se ha popularizado en el último año: leer las activaciones internas de un modelo para interceptar un ataque antes de que actúe.

La defensa concreta es una sonda de estados internos (hidden-state probe): un simple clasificador lineal entrenado sobre las activaciones internas de un modelo de visión-lenguaje congelado para señalar una inyección de prompt indirecta antes de que un agente «computer-use» emita una acción corrompida. En el montaje de los autores, la sonda alcanza un AUC de 0,998 al separar trazas limpias de trazas atacadas. El argumento del artículo: esa cifra espectacular, por sí sola, no prueba que la sonda detecte contenido malicioso. Podría estar aferrándose a algo mucho más superficial.

Cómo funciona

Una sonda de estados internos captura el vector de activación de una capa elegida mientras el agente procesa un paso, y luego pregunta a un clasificador lineal: ¿este paso se parece a uno donde hay una inyección presente? Como el modelo base permanece congelado, la sonda es barata de entrenar y de ejecutar en línea.

El problema que se plantea es un clásico del aprendizaje automático aplicado a la seguridad. Una separación limpio/atacado puede diferir en muchos aspectos sin relación con el ataque en sí: las muestras atacadas pueden ser más largas, contener una superposición, situarse en otro punto de la trayectoria o arrastrar diferencias fortuitas de longitud de texto y formato. Un clasificador lineal explotará de buena gana la señal más fácil de separar, y aun así reportará un AUC casi perfecto.

Entrenada con:  pasos limpios   vs   pasos con una superficie de inyección
La sonda aprende: «estos dos montones son distintos»  (AUC 0,998)
                    |
                    v
Pregunta abierta:  ¿distintos CÓMO?
  - ¿porque el modelo reconoció internamente una instrucción maliciosa?  (lo buscado)
  - ¿o porque los pasos atacados son simplemente más largos / tienen una
    superposición / difieren en algún artefacto?                          (lo obtenido)

Para separar ambas cosas, los autores reúnen dos diagnósticos a posteriori en un conjunto de controles candidato:

• Una línea base escalar por construcción emparejada sobre las inyecciones del lado del texto, que comprueba si una señal no semántica trivial ya explica la separación que la sonda reclama.
• Controles visuales en el mismo paso, emparejados por ruido, sobre la superficie de superposición, que mantienen constantes las diferencias visuales fortuitas para que cualquier señal restante sea menos atribuible a la maquetación que al contenido.

Los autores son explícitos sobre el alcance. Las etiquetas son presencia-de-superficie-de-inyección, no éxito del ataque: la sonda se puntúa según si había una inyección en la entrada, no según si habría funcionado. Los resultados provienen de un único modelo base congelado (Qwen2.5-VL-7B) reproducido sobre trayectorias de Mind2Web, y los autores advierten que la generalización más allá de este modelo y este benchmark es una conjetura, no un resultado demostrado.

Por qué importa

El sondeo de estados internos resulta atractivo precisamente porque parece riguroso: un AUC cercano a 1,0 se lee como un problema resuelto. Este artículo recuerda que un benchmark de detector puede codificar la respuesta en la partición de los datos sin que nadie lo note. Se inscribe en la misma familia que trabajos anteriores que muestran que el ajuste de umbral por conjunto de datos y los puntos de operación no divulgados inflan las puntuaciones de los detectores de inyección — mecanismo distinto, misma lección: la métrica destacada puede medir el benchmark en lugar de la amenaza.

Para quien considere un guardarraíl por sonda de activación en un agente multimodal o «computer-use», el riesgo concreto es un detector que brilla en el laboratorio y se derrumba en producción, porque el artefacto que aprendió (longitud, superposición, posición en la trayectoria) está ausente o invertido frente a un adversario real que controla justamente esas características de superficie. Una sonda que se dispara con «hay una superposición» se elude trivialmente inyectando sin ella — o se dispara sin cesar ante superposiciones benignas.

Defensas

El artículo es en sí una contribución defensiva: indica cómo evaluar honestamente esta clase de detectores, no cómo atacarlos. Algunas lecciones se generalizan.

Indique qué autoriza y qué no un AUC alto. Trate un AUC limpio/atacado como una pregunta de partida, no como una conclusión. Antes de confiar en una sonda, demuestre que una línea base no semántica trivial no reproduce ya su separación.

Controle el ruido. Empareje las muestras atacadas y limpias en longitud, posición y maquetación visual para que la sonda no pueda ganar por diferencias fortuitas. Si la exactitud cae una vez emparejado el ruido, la cifra inicial medía lo equivocado.

Puntúe sobre resultados, no sobre superficies. «Inyección presente» e «inyección exitosa» son etiquetas distintas. Un guardarraíl que se dispara ante la presencia aún debe evaluarse frente al éxito del ataque y frente al tráfico benigno que comparte los mismos rasgos de superficie, o ahogará a los operadores en falsos positivos.

Asuma que la partición no se transferirá. Los resultados de un solo modelo congelado y un solo benchmark son una hipótesis sobre otros modelos y otras tareas, no una prueba. Vuelva a ejecutar los controles sobre su propio modelo, su propia superficie de agente y datos adversarios en lugar de reproducidos antes de desplegar.

Mantenga las sondas como una capa más. La monitorización de estados internos puede ser útil, pero combínela con trazabilidad de procedencia del lado de la entrada, acotación de herramientas con mínimo privilegio y confirmación humana para acciones de alto impacto, de modo que un único detector sobreajustado nunca sea la única barrera entre una inyección y una acción.

Estado

Elemento	Detalle
Divulgación	Preprint académico, arXiv, junio de 2026
Tema	Metodología de evaluación de sondas de estados internos anti-inyección
Montaje	Qwen2.5-VL-7B congelado, reproducción Mind2Web; etiquetas = presencia-de-superficie-de-inyección
Resultado reportado	Sonda con AUC 0,998 sobre partición limpio/atacado, considerada prueba insuficiente de detección de contenido
Reserva de alcance	Un solo modelo y un solo benchmark; la generalización entre modelos es una conjetura declarada
Para recordar	Un AUC de sonda casi perfecto exige controles de ruido y puntuación sobre resultados antes de creerse