sistema: OPERATIVO
← volver a todos los hacks
RESEARCH MEDIUM NEW

Los agentes de navegador ya resisten la inyección artesanal — los de código no

Un benchmark de 793 episodios muestra que los agentes computer-use de vanguardia rechazan las inyecciones de navegador artesanales (0/140), pero los mismos pesos ceden a la inyección de skills en un entorno de código hasta el 100 %. El endurecimiento es específico del dominio.

2026-07-03 // 7 min affects: claude-sonnet-4.6, gpt-5.4, computer-use-agents, coding-agents

¿Qué es esto?

Un preprint publicado en arXiv en junio de 2026 por Nicholas Saban (Patronus AI / UC Berkeley), Domain-Conditioned Safety in Frontier Computer-Using Agents, plantea una pregunta que todo profesional que despliega un agente debería hacerse: cuando un artículo de red teaming reporta una tasa de éxito de inyección superior al 90 %, ¿ese número sigue siendo válido en el modelo que realmente ejecuta hoy?

La respuesta documentada es no, y la razón resulta incómoda para el campo. Las tasas de éxito de ataque (ASR) publicadas en la literatura sobre agentes computer-use (CUA), que van de aproximadamente el 42 % al 98 %, se concentran en modelos retirados y en el modelo más débil del panel de cada artículo. Reproducidas como simples plantillas escritas a mano sobre los modelos de vanguardia actuales, la mayoría de esas técnicas dejan de funcionar por completo. Pero ese endurecimiento resulta estrecho: vive en la superficie del navegador que los proveedores someten a más presión, y no se traslada a los archivos de skills de los agentes de código.

Cómo funciona

El estudio publica CUA-HANDCRAFTED, un benchmark público de 793 episodios que abarca 24 tareas web multipaso repartidas en 8 sitios, 56 plantillas de ataque de 8 familias, 5 niveles de profundidad de inyección y 4 configuraciones de prompt de sistema. Un punto esencial: los ataques no son nuevos, son reconstrucciones legibles por humanos de las técnicas descritas en artículos de red teaming previos (RL-Hammer, WASP, TRAP, RedTeamCUA, MUZZLE, superposiciones de pop-ups), transcritas de la prosa de esos papers en lugar de reproducidas desde cadenas publicadas.

Ejecutado sobre dos modelos de vanguardia actuales, el resultado del navegador es un suelo:

Superficie del benchmark    Modelo           ASR artesanal
--------------------------  ---------------  --------------------------------
Navegador (multipaso)       Sonnet 4.6       0 / 140  (cota sup. 95 %: 2,60 %)
Navegador (multipaso)       GPT-5.4          incluido en el mismo 0/140
Navegador, ablación prompt  L0_bare/L1_help  aún 0 % — resistencia en los pesos
Skills de código (SKILLBENCH) Sonnet 4.6     hasta 40 / 40  = 100 %
Skills de código (SKILLBENCH) GPT-5.4        hasta 79 / 100 = 79 %

Dos decisiones de diseño hacen creíble el resultado del navegador. Primero, una ablación de prompt: reducir el prompt de sistema a una configuración desnuda o meramente servicial no reabre los ataques, lo que significa que la resistencia a la inyección está grabada en los pesos del modelo, no añadida por un prompt de sistema defensivo. Segundo, un techo de atacante RL: un atacante adaptativo de sufijo aleatorio integrado en el harness (una línea base tipo AutoInject) también obtiene 0/100 dentro de un presupuesto de cinco consultas por objetivo y unos 10 $ de gasto de API, prueba de que la brecha entre ataques artesanales y publicados está en la formulación optimizada, no en la categoría de ataque. Una réplica de 50 episodios de la clase pop-up por canal de imagen (VPI-Bench) cae a alrededor del 3 % en la vanguardia, cerrando un ataque del canal de imagen ante el que los modelos antiguos cedían. Aquí no se reproduce ningún payload optimizado; el interés reside por completo en la medición.

Por qué importa

El artículo replantea un número que los equipos de seguridad se citan entre sí. Las tasas del 42 al 98 % de la literatura parecen deberse sobre todo a las cadenas de inyección descubiertas por RL, fuera de distribución, y no a las ideas de ataque que esos papers nombran. Cuando la cadena no se publica —y la auditoría constata que «modelo objetivo retirado + cadenas no publicadas» se aplica a cuatro de los seis papers examinados— el número anunciado no es reproducible en el modelo que usted despliega. Es tanto un problema de fuentes como de seguridad, y es exactamente el tipo de afirmación que un defensor debe poder verificar antes de presupuestar en torno a ella.

El hallazgo de mayor calado es el endurecimiento condicionado al dominio. Los mismos pesos de Claude Sonnet 4.6 que resisten la inyección de navegador a 0/140 ceden a la inyección de skills artesanal en un harness de agente de código hasta el 100 %; GPT-5.4 cede hasta el 79 %. La propia system card de Sonnet 4.6 de Anthropic reporta una inyección de navegador que baja de cerca del 49 % a alrededor del 1,3 % entre dos generaciones de modelo: una mejora real de 38×, pero que este trabajo muestra específica de la modalidad de navegador. Los proveedores endurecen la superficie que los investigadores más golpean, y ese esfuerzo no se generaliza automáticamente a las superficies de llamadas a herramientas y archivos de skills que exponen los agentes de código. Es la extensión herramienta-contra-herramienta de la observación previa de que la seguridad a nivel de texto no se traslada a las superficies de llamadas a herramientas.

En la práctica: no extrapole una puntuación de seguridad de agente de navegador a su agente de código, sus herramientas MCP o su canalización de skills de agente. Son superficies de amenaza distintas, con un endurecimiento distinto y —según la evidencia actual— mucho más débil.

Defensas

  • Trate los ASR publicados como específicos de una superficie. Una tasa baja de inyección de navegador en un modelo de vanguardia dice poco sobre ese mismo modelo dentro de un harness de agente de código o MCP. Vuelva a medir sobre la superficie que realmente despliega, y prefiera benchmarks que publiquen sus cadenas de ataque para poder reproducirlas.
  • Endurezca la ingesta de skills de los agentes de código por separado. Dado que la inyección de skills es donde los pesos de vanguardia todavía fallan, aplique ahí controles de procedencia, revisión o sandboxing de skills de terceros y acotación de herramientas con mínimo privilegio; no suponga que el alineamiento a nivel de modelo lo cubre. Véase nuestra cobertura de skills de agente maliciosos y de red teaming de skills.
  • Mantenga controles fuera de banda sin importar la puntuación del modelo. La resistencia a nivel de pesos es bienvenida pero frágil entre dominios; combínela con defensas fuera de banda evaluadas de forma adaptativa, límites de exfiltración y confirmación humana para acciones de consecuencia, en línea con el marco de la trifecta letal.
  • Cuando haga red teaming, publique las cadenas. La reproducibilidad es una defensa: un ataque que no puede reejecutar es uno que no puede probar en regresión tras la próxima actualización de modelo. Reporte el texto optimizado, la versión exacta del modelo y el harness, o el número se degrada en folclore.
  • Vigile los desacuerdos entre benchmarks. Este resultado acompaña a un hallazgo más amplio: los benchmarks de seguridad se contradicen entre sí; triangule varias fuentes antes de confiar en una sola cifra.

Estado

ElementoDetalle
PublicaciónPreprint de arXiv, junio de 2026 (Saban, Patronus AI / UC Berkeley)
ASR navegador (vanguardia)0/140 multipaso; cota sup. Clopper–Pearson 95 %: 2,60 %
ASR skills de código (mismos pesos)hasta 100 % (Sonnet 4.6), hasta 79 % (GPT-5.4)
Benchmark publicadoCUA-HANDCRAFTED — 793 episodios, 56 plantillas, 8 familias de ataque
Auditoría de reproducibilidad«objetivo retirado + cadenas no publicadas» en 4 de 6 papers
Referencia del proveedorSystem card de Sonnet 4.6 de Anthropic: ASR inyección navegador ~49 % → ~1,3 %

Se trata de un resultado de investigación/benchmark, no de una vulnerabilidad de producto; no aplica ningún CVE. Las versiones de modelos y las cifras son las reportadas por el preprint citado y la system card del proveedor.

Sources