Ignoradas, no rechazadas: lo que oculta una baja tasa de éxito de inyección de prompts
Una auditoría de octubre de 2026 sobre 33 000 trayectorias de agentes halla que la mayoría de las inyecciones fallidas fueron ignoradas, no rechazadas, y que cambiar solo el prompt de sistema llevó el éxito del ataque del 0,2 % al 43 %.
What is this?
El 16 de octubre de 2026, Farhan Zarif y sus coautores publicaron en arXiv «Ignored, Not Refused: What Low Prompt-Injection Success Rates Hide in Small Tool-Using Agents» (2610.23254). Los benchmarks de inyección indirecta de prompts suelen informar la tasa de éxito del ataque (ASR), que cuenta cada ataque fallido como una defensa lograda. Los autores auditan 33 000 trayectorias de once agentes de pesos abiertos (de 2 a 14 mil millones de parámetros) en dos benchmarks públicos, InjecAgent (marzo de 2024) y AgentDojo (junio de 2024), para entender por qué fallan los ataques. Este artículo resume el resumen de un preprint v1; no pudimos leer el texto completo y no describe ningún ataque nuevo.
How it works
La auditoría es un estudio de evaluación, no un exploit. Un juez LLM, ciego a las etiquetas, clasificó el motivo de cada ataque fallido. Según el resumen, la mayoría de los fallos fueron agentes que ignoraron la instrucción inyectada (76 a 80 %), mientras que una minoría fueron rechazos explícitos (17 a 18 %). Es decir, el modelo no reconoció el ataque; simplemente no actuó sobre él.
Después, los autores cambiaron solo el prompt de sistema, con pesos idénticos. En InjecAgent, el ASR pasó del 0,2 % al 43 %. También presentan una matriz «Attack-Task Outcome Matrix» (ATOM) que cruza el resultado del ataque con el de la tarea. En el 21,7 % de los episodios de AgentDojo, el agente se mantuvo seguro pero no completó la tarea del usuario. Se indica que el corpus etiquetado, el prompt del juez y el código de análisis se publican; la página de arXiv que consultamos no da un enlace directo, por lo que no citamos ninguno.
Why it matters
Un ASR bajo puede reflejar un seguimiento de instrucciones débil y no una robustez real. Un agente que ignora todo lo inusual puede parecer seguro y, aun así, fallar la tarea del usuario; además, un pequeño cambio de prompt o de despliegue puede eliminar esa seguridad aparente. Por ello, las evaluaciones que solo informan el ASR corren el riesgo de sobrestimar la seguridad y no distinguen «defendido» de «no entendió». Encaja en un patrón más amplio: INFUSE (arXiv 2610.20776, 14 de octubre de 2026) probó 19 modelos en 41 824 ejecuciones adversarias y midió un éxito medio del ataque del 19,6 %, con tasas por modelo de 3,2 % a 41,9 %.
Salvedades: es un preprint sin replicación independiente, cubre modelos pequeños de pesos abiertos y los resultados dependen de un juez LLM. No hemos verificado si las conclusiones se trasladan a modelos de frontera.
Defenses
Los autores concluyen que las evaluaciones deberían informar cómo fallan los ataques y si se completa la tarea del usuario, además del ASR. Medidas prácticas derivadas:
- Informe juntos el resultado de la tarea y el del ataque, no el ASR por separado.
- Repita las evaluaciones de inyección cada vez que cambie el prompt de sistema, las herramientas o la versión del modelo; los mismos pesos pueden comportarse muy distinto.
- Distinga «rechazado» de «ignorado» en sus registros de prueba, para saber si el modelo reconoció el ataque.
- No dependa solo del comportamiento del modelo: aplique mínimo privilegio, confirme las llamadas a herramientas sensibles y filtre las salidas fuera del modelo.
- Evalúe con más de un benchmark, ya que los resultados de uno solo pueden no trasladarse.
Status
| Elemento | Detalle |
|---|---|
| Artículo | arXiv 2610.23254v1 |
| Publicado | 16 de octubre de 2026 |
| Benchmarks auditados | InjecAgent (arXiv 2403.02691, marzo de 2024); AgentDojo (arXiv 2406.13352, junio de 2024) |
| Trabajo relacionado | INFUSE (arXiv 2610.20776, 14 de octubre de 2026) |
| CVE | Ninguno; investigación académica, no una vulnerabilidad de producto |