AgentWatch: un marco abierto para auditar el comportamiento de los agentes de navegación
Un equipo de UC Berkeley auditó cinco destacados agentes de navegación con IA en cinco dimensiones de riesgo y publicó un marco de puntuación abierto, tolerante a la aleatoriedad, que cualquiera puede ampliar.
¿Qué es esto?
AgentWatch es un marco de evaluación de código abierto para agentes de navegación con IA, desarrollado como proyecto final (capstone) del Master of Information and Cybersecurity (MICS) de la UC Berkeley School of Information, y actualizado por última vez el 7 de junio de 2026. El equipo —Boaz Kaufman, Marisa Hall, Anya Svan, Cynthia Austin, Rutika Kushe y Anagha Late— auditó cinco agentes de navegación destacados y publicó tanto su metodología de puntuación como su biblioteca de escenarios. El proyecto recibió el Chang Award de su promoción y fue recogido en el resumen de seguridad agéntica de julio de 2026 de Adversa AI, que lo incluyó entre los recursos defensivos destacados del mes.
La premisa es sencilla y, una vez enunciada, difícil de ignorar: los agentes de navegación pueden leer tu pantalla, rellenar tus formularios y actuar en tu nombre en la web abierta, mientras que los usuarios apenas tienen forma de saber con qué grado de seguridad lo hace un agente concreto. AgentWatch busca convertir ese punto ciego en algo medible.
Cómo funciona
A diferencia de un chatbot tradicional, un agente de navegación realiza acciones autónomas sobre páginas que no escribió y en las que no puede confiar plenamente. Eso abre una superficie de riesgo que los filtros de seguridad aplicados mensaje a mensaje nunca se diseñaron para cubrir. AgentWatch puntúa a los agentes en cinco dimensiones: divulgación involuntaria de datos, mala interpretación de instrucciones, alucinación, inyección de prompts y aislamiento del sandbox del navegador. En conjunto abarcan las vías por las que un agente filtra información que no debería, sigue instrucciones que no debería o actúa fuera del límite en el que se suponía que debía permanecer.
La aportación metodológica está en la puntuación misma. El comportamiento de un agente es estocástico —ejecuta el mismo escenario dos veces y puedes obtener dos resultados distintos—, de modo que una sola pasada dice muy poco. El marco de AgentWatch está diseñado explícitamente para ajustar esa varianza en lugar de tratar una ejecución afortunada (o desafortunada) como verdad absoluta, lo que hace que las puntuaciones sean comparables entre agentes. Tanto la infraestructura de evaluación como la biblioteca de escenarios son de código abierto y están pensadas para crecer, de forma que puedan incorporarse nuevos escenarios de ataque y nuevos agentes a medida que avanza el campo. El equipo ofrece una plataforma pública y un repositorio del proyecto para que otros puedan reproducir las ejecuciones y aportar casos de prueba, en lugar de dar por buenas las cifras sin más.
Por qué importa
Los agentes de navegación se están integrando en los productos cotidianos más rápido de lo que nadie ha consensuado cómo medir su seguridad. Los compradores acaban comparando afirmaciones de marketing, porque no existe una vara de medir común para la pregunta «¿cómo se comporta este agente cuando una página intenta manipularlo?». Un marco abierto, reproducible y tolerante a la varianza de las ejecuciones es justamente la referencia común que faltaba, más cercano a un banco de pruebas de seguridad para el consumidor que a un informe de red team aislado.
Las cinco dimensiones también encajan con claridad con los modos de fallo que se repiten en los incidentes de agentes de navegación: exfiltración de datos mediante las propias acciones del agente, instrucciones inyectadas ocultas en el contenido de una página y acciones que se escapan del sandbox previsto. Enmarcar la evaluación en torno a esas categorías, y hacer que los escenarios sean compartibles, permite a los defensores discutir comportamientos concretos y comprobables en lugar de garantías vagas.
Defensas
Pida a los proveedores comportamientos, no adjetivos. Trate «cómo se comporta en divulgación de datos, inyección de prompts y aislamiento del sandbox» como una pregunta de compra, y exija evidencias reproducibles en lugar de una etiqueta de seguridad.
Pruebe bajo varianza, no una sola vez. Como el comportamiento de los agentes es estocástico, una única ejecución correcta demuestra poco. Evalúe el mismo escenario muchas veces y observe la distribución: la idea central en torno a la cual se construye la puntuación de AgentWatch.
Cubra toda la superficie. La inyección de prompts es solo una de las cinco dimensiones aquí. La divulgación involuntaria de datos, la mala interpretación, la alucinación y el aislamiento del sandbox requieren cada una sus propios escenarios; un guardián que solo inspecciona la última instrucción se pierde la mayoría.
Contribuya y reutilice escenarios abiertos. Las bibliotecas de escenarios compartidas y ampliables superan a las pruebas privadas y puntuales. Adoptar y ampliar un marco abierto hace que su cobertura crezca con la de la comunidad en lugar de envejecer de forma aislada.
Limite el radio de acción del agente. Al margen de la puntuación, restrinja qué puede leer un agente de navegación, adónde puede enviar datos y qué puede ejecutar, de modo que un fallo en cualquiera de las dimensiones quede contenido.
Estado
| Elemento | Referencia | Notas |
|---|---|---|
| Proyecto | AgentWatch | Capstone MICS, UC Berkeley School of Information (Cyber 295, primavera de 2026) |
| Equipo | Misma página | Kaufman, Hall, Svan, Austin, Kushe, Late; galardonado con el Chang Award |
| Alcance | Misma página | Cinco agentes de navegación; cinco dimensiones, incluidas inyección de prompts y aislamiento del sandbox |
| Método | Misma página | Puntuación a medida que tiene en cuenta el carácter estocástico de los agentes |
| Artefactos | Repositorio / plataforma del proyecto | Infraestructura de evaluación y biblioteca de escenarios de código abierto |
| Mención externa | Resumen de Adversa AI, 2 de julio de 2026 | Citado entre los recursos de seguridad agéntica de julio de 2026 |
La lección duradera no es una clasificación, sino un método: la seguridad de los agentes de navegación es medible, debe medirse en varias dimensiones distintas y —porque estos sistemas son estocásticos— debe medirse de forma repetida, con una puntuación que tenga en cuenta la varianza en lugar de fiarse de una única ejecución.