El diputado confundido visual: cuando un agente de ordenador pulsa el botón equivocado

¿Qué es esto?

Un artículo publicado en arXiv en marzo de 2026 da nombre a un modo de fallo que el sector venía tratando como un mero problema de precisión: el diputado confundido visual (visual confused deputy). Un agente de ordenador (CUA) — un LLM que mira capturas de pantalla en bruto y actúa mediante comandos de bajo nivel como click(x, y) — autoriza una acción a partir de una pantalla que ha percibido mal. Pulsa lo que cree que es un botón, mientras que las coordenadas caen en realidad sobre otro. Los autores sostienen que no es un defecto de calidad sino una clase de vulnerabilidad, y lo respaldan con una demostración mínima y la primera defensa diseñada para situarse fuera de la mirada del agente. El AI Red Team de Microsoft llegó a la misma conclusión de forma independiente, añadiendo «Computer Use Agent (CUA) Visual Attack» como nueva categoría en la versión 2.0 de su taxonomía de modos de fallo agénticos, publicada el 4 de junio de 2026.

Cómo funciona

Para un CUA, la percepción es el ancla de confianza. Un comando como click(450, 320) no tiene sentido sin la captura de pantalla — las mismas coordenadas pueden ser un inofensivo «Aceptar» o un privilegiado «Restablecer credenciales» según lo que el modelo crea que hay en pantalla. Y esa creencia suele ser errónea. El artículo cita resultados de benchmarks: los agentes fallan su objetivo en el 56,7 % de las acciones, y la precisión de «grounding» en interfaces profesionales baja hasta el 18,9 % para un modelo especializado — con un modelo generalista de unos 1,8 billones de parámetros puntuando por debajo del 1 % en la misma prueba. La divergencia entre la pantalla percibida y la real tiene tres causas independientes: errores de grounding ordinarios (fuente dominante y no adversaria), manipulación adversaria de las capturas por un runtime comprometido, y condiciones de carrera de tipo time-of-check-to-time-of-use en las que la pantalla cambia entre la captura y el clic.

La demostración, llamada ScreenSwap, aprovecha la posición de intermediario que el runtime del agente ya ocupa. Un runtime comprometido se sitúa entre la pantalla y el modelo: puede así recortar las regiones de píxeles de dos botones y pegar cada una en el lugar de la otra antes de que el LLM vea el fotograma. El modelo lee una etiqueta inofensiva en las coordenadas del botón peligroso y lo pulsa. La manipulación usa píxeles auténticos renderizados de forma nativa, de modo que la captura alterada es indistinguible de una legítima — y como los CUA ya fallan el objetivo la mayoría de las veces, un clic dirigido es indistinguible de un error rutinario. Lo relevante del ejercicio no es el código; es que la frontera entre un error de percepción cotidiano y una escalada de privilegios es minúscula.

Por qué importa

Esto generaliza el clásico problema del diputado confundido a la percepción: la autoridad reside en el agente, la intención nace en el modelo, pero lo que existe realmente en las coordenadas objetivo no lo ha verificado nadie. Eso derrota a las defensas a las que se recurre primero. El control de acceso no puede razonar sobre click(450, 320), porque las coordenadas no portan contenido semántico. Las barreras internas del agente y la automoderación del modelo son circulares — se ejecutan sobre la misma percepción posiblemente corrompida que produjo la acción errónea, y un runtime comprometido puede eludirlas por completo. El artículo señala que aumentar el tamaño del modelo no rescata nada: la precisión de grounding crece solo débilmente con la escala. Es, por tanto, una debilidad a nivel de sistema, no una limitación transitoria de los modelos pequeños. A medida que los CUA pasan de las demostraciones a los puestos de trabajo en producción, un fallo de «pulsar en el sitio equivocado» se convierte en una vía hacia restablecimientos de credenciales, borrado de datos y fugas de privacidad.

Defensas

Verificar las acciones fuera del bucle perceptivo del agente. La lección central es arquitectónica: la autorización no debe depender de la misma percepción que generó la acción. La barrera del artículo, la clasificación contrastiva de doble canal, intercepta cada clic antes de ejecutarlo y lo juzga de dos formas a la vez — un canal de imagen recorta los píxeles en las coordenadas del clic y los clasifica frente a bases de conocimiento específicas del despliegue (objetivos permitidos y prohibidos), mientras que un canal de texto clasifica el razonamiento declarado del modelo frente a bases de intenciones permitidas y prohibidas. Cualquiera de los canales puede vetar. Ambos captan fallos complementarios: los píxeles revelan errores de objetivo, el razonamiento revela intención peligrosa tras un control de apariencia inofensiva. Sobre capturas reales de interfaces profesionales, el canal de imagen por sí solo alcanza un F1 de 0,889 al detectar errores de grounding, y una fusión «la imagen decide / el texto veta» lo eleva a 0,915 — mejor que cada canal por separado. El código de referencia está publicado en vllm-project/semantic-router.

Limitar lo que un clic mal percibido puede hacer. Trate la tríada letal como restricción de diseño: sitúe los controles de gran radio de impacto (restablecimientos de credenciales, borrados, pagos, cambios de permisos) tras una confirmación que no dependa de la captura del agente, y acote la cuenta del agente para que un solo clic erróneo no pueda escalar.

Endurecer la cadena de suministro del runtime. La variante adversaria supone un runtime o servidor de herramientas comprometido: verifique la procedencia y las firmas de los servidores MCP y las integraciones de herramientas antes de instalarlas — la misma recomendación de cadena de suministro que la taxonomía v2.0 de Microsoft subraya para los componentes agénticos. Es la misma clase de problema de confianza que los patrones de diputado confundido en MCP observados en servidores de herramientas, trasladada a la capa de píxeles.

Estado

Elemento	Detalle
Hallazgo	El diputado confundido visual formalizado como clase de vulnerabilidad CUA
Fuente	Artículo arXiv, marzo de 2026 (v1)
Demostración	ScreenSwap — intercambio de regiones de píxeles en un runtime comprometido
Corroboración	Taxonomía del AI Red Team de Microsoft v2.0 (CUA Visual Attack), 4 de junio de 2026
Defensa	Clasificación contrastiva de doble canal, fuera del bucle del agente
Mejor resultado reportado	F1 0,915 (veto imagen+texto) sobre capturas reales
Afectados	Cualquier agente de ordenador guiado por capturas de pantalla
Estado del parche	Sin parche — la defensa es una barrera añadida; código de referencia abierto