Proteus demuestra que los auditores de skills de agentes filtran mucho más de lo que revelan las pruebas de un solo intento

¿Qué es esto?

El 12 de mayo de 2026, Zhaojiacheng Zhou (Shanghai Jiao Tong University) publicó en arXiv Proteus: A Self-Evolving Red Team for Agent Skill Ecosystems. Los skills de agentes —esos paquetes reutilizables de instrucciones, permisos de herramientas y código ejecutable que los usuarios ya instalan desde marketplaces y repositorios— pasan cada vez más por auditores automáticos antes de llegar a un agente. El artículo plantea una pregunta que esos auditores rara vez enfrentan: ¿qué ocurre cuando el atacante no envía un skill malicioso fijo, sino que lo reescribe una y otra vez a partir de la retroalimentación del propio auditor?

La respuesta que reporta incomoda. Evaluada como un clasificador de un solo intento, la verificación actual de skills parece razonablemente sólida. Evaluada frente a un atacante que itera, filtra abundantemente. El autor llama a esa brecha fuga adaptativa (adaptive leakage), y Proteus es el instrumento construido para medirla.

Cómo funciona

Proteus es un marco de medición, no un exploit publicado. Su aporte es una forma rigurosa de puntuar el riesgo residual, así que el mecanismo importa más que cualquier payload concreto (ninguno de los cuales se reproduce aquí).

La idea central es un contrato de ronda. Cada skill candidato atraviesa un pipeline uniforme auditoría → sandbox → oráculo, y solo cuenta como éxito si hace tres cosas a la vez: superar al auditor, ejecutarse realmente en el agente objetivo y producir un daño verificable por un oráculo contra una verdad de referencia. Así, el «éxito» se vuelve un evento a nivel de despliegue y no un mero veredicto de auditoría: un skill que engaña al escáner pero no hace nada no se contabiliza.

En torno a ese contrato, Proteus descompone un skill en cinco ejes que puede mutar de forma independiente: el objetivo de ataque, la topología de cadena (skill único o encadenado), el código incluido, el canal de efecto secundario y la documentación en lenguaje natural. Un punto clave: el atacante opera en grey-box: entre rondas lee los hallazgos estructurados del auditor —códigos de motivo, severidades, punteros de evidencia— y la traza de ejecución del sandbox, y luego corrige. Esto refleja la realidad, porque los auditores de código abierto publican sus conjuntos de reglas: cualquier autor de skills puede reproducir localmente los hallazgos que recibiría su envío.

El artículo evalúa dos auditores: SkillVetter, usado en el ecosistema de skills ClawHub, y AI-Infra-Guard (AIG) de Tencent, descrito como el auditor público más robusto de los probados. Ambos fallan de maneras complementarias: el componente juez-LLM se evade con documentación que replantea un paso malicioso como un flujo de trabajo coherente y acorde a un objetivo declarado, mientras que el componente de análisis estático pasa por alto los casos en que la documentación y el código subyacente no describen lo mismo.

Por qué importa

Lo que impacta es la magnitud de la fuga. En ocho configuraciones de primera fase, Proteus alcanza una tasa de éxito de ataque del 40 al 90 % en cinco rondas. Al expandir las variantes exitosas en familias, el marco produce 438 skills que evaden conjuntamente la auditoría y se confirman letales en el sandbox —con SkillVetter evadido en al menos el 93 % de cada celda, y AIG, el objetivo más difícil, admitiendo aún hasta el 41 % de éxito conjunto.

Dos hallazgos van más allá del caso de un auditor aislado. Primero, el atacante mejora con la retroalimentación: la pendiente de su curva de aprendizaje es aproximadamente un orden de magnitud más pronunciada que la de las líneas base que colapsan los hallazgos en un solo puntaje, y unas ocho veces más eficaz por semilla que PyRIT de Microsoft en modo de reescritura solo de la documentación. Es el canal de retroalimentación estructurada el que hace el trabajo. Segundo, las evasiones se transfieren: el 87,7 % de las variantes optimizadas contra AIG también superan a SkillVetter sin ningún cambio, señal de que el atacante aprende algo sobre la auditoría en general y no sobre las peculiaridades de una sola herramienta.

Para quien opera un marketplace de skills o deja que sus agentes autoinstalen skills de terceros, la lección práctica es que un puntaje de auditoría aprobado, medido sobre un corpus fijo, dice muy poco sobre lo que un remitente motivado e iterativo puede colar.

Defensas

Dejen de comunicar la precisión de auditoría como un número de un solo intento. El punto metodológico central del artículo es que los benchmarks estáticos sobreestiman la protección. Pongan a prueba su verificación como lo hace Proteus —frente a un remitente adaptativo que puede reenviar tras ver los hallazgos— y publiquen ese número.

Asuman que su conjunto de reglas es público. Los auditores de código abierto exponen su lógica por diseño, y hasta los cerrados son sondeados. Traten los hallazgos como legibles por el atacante y eviten diseños cuya única fortaleza sea que el atacante no vería los motivos de un rechazo.

Cierren la brecha documentación–código. Buena parte de las evasiones provino de documentación de apariencia benigna mientras el código incluido hacía otra cosa. Verifiquen que el comportamiento declarado de un skill coincida con lo que su código y sus permisos de herramientas realmente permiten, en lugar de auditar el texto y el código por vías separadas.

Filtren en tiempo de ejecución, no solo en la precarga. Como Proteus solo cuenta un éxito si el skill se ejecuta y causa un daño verificable, las defensas que limitan lo que un skill instalado puede hacer en ejecución —allowlists de herramientas estrictas, canales de efecto secundario en sandbox, control de salida sobre sumideros de credenciales y de red— eliminan la mitad «letal» de la condición de éxito aun cuando la auditoría sea engañada.

Vigilen la topología de cadena, no solo los skills aislados. Varios ataques funcionaron insertando un skill-puente de apariencia benigna para que un paso de lectura de credenciales y un sumidero de red se leyeran como un flujo de trabajo de negocio coherente. Auditen los flujos de datos entre skills, no solo los skills por separado.

Estado

Elemento	Referencia	Fecha	Notas
Artículo	arXiv:2605.11891	Publicado el 2026-05-12	Zhaojiacheng Zhou, Shanghai Jiao Tong University
Método	Red team autoevolutivo grey-box; mutación de skill en cinco ejes	—	contrato de ronda auditoría → sandbox → oráculo
Auditores evaluados	SkillVetter (ClawHub), AI-Infra-Guard de Tencent	—	puntos ciegos complementarios: juez-LLM y análisis estático
Resultado fase 1	40–90 % de éxito en 5 rondas	—	Pendiente de aprendizaje positiva en ambos auditores
Resultado de expansión	438 variantes que evaden la auditoría y son letales	—	SkillVetter ≥93 % de evasión por celda; AIG hasta 41 % de éxito conjunto
Transferencia entre auditores	87,7 % de las variantes anti-AIG también evaden SkillVetter	—	Sin re-mutación
Estado	Medición de investigación; ningún exploit vivo publicado	—	El autor lo plantea como un riesgo potencial a escala de ecosistema

Proteus describe menos un ataque inédito que un nuevo patrón de medida. Las técnicas que recombina —reformulación narrativa, discordancia código/documentación, flujos de datos encadenados— ya se conocen. Lo nuevo, y digno de señalar, es la medición: en cuanto se deja que el atacante itere a partir de la retroalimentación del auditor, el riesgo residual de los pipelines actuales de verificación de skills es mucho mayor que el que sugieren sus puntajes de un solo intento.