Leer la intención de un agente antes de que actúe: sondas pre-acción

¿Qué es esto?

El 8 de junio de 2026, Hariom Tatsat y Ariye Shater (Barclays Quantitative Analytics) publicaron Beyond the Black Box: Interpretability of Agentic AI Tool Use, un estudio de interpretabilidad mecanicista con un mensaje defensivo claro: la decisión de un agente de recurrir a una herramienta — y cuán consecuente es esa acción — suele ser legible en el estado interno del modelo antes incluso de que la acción ocurra.

La observabilidad de agentes es, la mayoría de las veces, externa y tardía. Los prompts revelan correlaciones, las evaluaciones puntúan las salidas y los logs solo llegan después de que el modelo ha llamado a la herramienta. El argumento del artículo es que ese es el momento equivocado para decisiones de seguridad. En ejecuciones de largo horizonte, una llamada errónea temprana remodela cada paso posterior, así que un monitor que lee la intención en la frontera de decisión — antes de la ejecución — ofrece una ventana de intervención que las herramientas basadas en logs nunca tienen.

Cómo funciona

El método combina dos herramientas de interpretabilidad consolidadas. Un autoencoder disperso (SAE) descompone las activaciones densas de un agente en features dispersas e inspeccionables; unas sondas lineales — clasificadores logísticos ligeros — extraen luego señales concretas de esas features. Justo antes de cada acción, el marco agrupa los estados ocultos de los últimos 32 tokens previos a la acción, los codifica mediante SAE públicos (GPT-OSS SAEs y Gemma Scope) y ejecuta dos lecturas:

• una sonda de «herramienta necesaria» (binaria: ¿llamará el modelo a una herramienta en este paso?), y
• una sonda de «riesgo de la herramienta» (tres niveles: bajo, medio, alto) que estima la consecuencia de la próxima acción.

Aquí el riesgo se refiere al impacto, no al tema: las acciones de bajo riesgo son consultas y recuperaciones de solo lectura, las de riesgo medio son escrituras acotadas, y las de riesgo alto son autenticación, comunicación saliente o ejecución de código — piense en getusertoken, sendemail o shell-exec. De forma reveladora, las features que más pesan en la sonda de riesgo se agrupan en torno a conceptos de credenciales y autenticación, y la señal de decisión se concentra en las capas tardías del transformador, cerca del punto en que el modelo se compromete a responder directamente o a delegar.

Las sondas se entrenaron solo con el conjunto de datos de function calling Nemotron de NVIDIA y luego se aplicaron a dos modelos open-weight, GPT-OSS 20B y Gemma 3 27B, reservando el Berkeley Function Calling Leaderboard como prueba estricta de transferencia zero-shot.

Por qué importa

Para los defensores, esto replantea la seguridad de las llamadas a herramientas como algo que se puede inspeccionar de forma proactiva. Una acción de herramienta de alto riesgo — enviar correo, emitir un token, ejecutar un comando de shell — es exactamente el tipo de paso que explotan la inyección de prompt y los ataques de diputado confuso. Una sonda pre-acción da a una capa de supervisión la oportunidad de pausar o exigir confirmación antes de que esa acción se dispare, en lugar de descubrirla después en los logs. Además se generaliza: como el monitor lee representaciones internas y no patrones de salida propios de cada herramienta, un mismo marco de sondas puede vigilar muchas herramientas y muchos pasos.

Los resultados son prometedores pero honestos. La precisión de «herramienta necesaria» es del 75,3 % en GPT-OSS y del 71,4 % en Gemma; el «riesgo de la herramienta» alcanza cerca del 90 % en los pasos con llamada, aunque su macro-F1 baja porque los casos de riesgo medio son escasos y difíciles de separar. En repetición, la sonda señaló alrededor de tres cuartas partes de las llamadas a herramientas omitidas — su papel más fuerte es el de auditor de omisiones. En transferencia zero-shot a un nuevo benchmark, la señal de «herramienta necesaria» sobrevive (concordancia de la Probe-1 con la verdad de referencia del 87,7 % en GPT-OSS), pero los umbrales derivan notablemente entre espacios de nombres de herramientas, produciendo altas tasas de falsas alertas hasta que se recalibran.

Defensas

Trate estas sondas como una capa de supervisión interna, no como una frontera de seguridad. Bien desplegada, la receta es barata e interpretable: capture activaciones de forma selectiva en los puntos de decisión de alto valor, ejecute las dos lecturas antes de despachar una llamada a herramienta y coloque las acciones consecuentes — autenticación, comunicación saliente, ejecución de código — tras un paso de confirmación cuando la sonda de riesgo marque «alto». Combínela con controles externos (ámbitos de herramientas de mínimo privilegio, validación humana para acciones irreversibles, registro de ejecuciones) en lugar de sustituirlos.

Tenga presentes los límites que los autores reconocen con franqueza. El «riesgo de la herramienta» depende de un esquema de riesgo heurístico y transfiere de forma menos limpia que «herramienta necesaria», así que los umbrales deben recalibrarse por distribución de herramientas antes de fiarse de una alerta. Solo se estudiaron dos modelos open-weight y un conjunto seleccionado de capas, por lo que la portabilidad entre arquitecturas y recetas de post-entrenamiento queda sin probar. Y, sobre todo, una sonda lee la señal interna propia del modelo: es un monitor de honestidad de intención, no un detector de inyección — un atacante que remodele lo que el modelo pretende hacer puede, en principio, mover también la señal. Úsela para atrapar llamadas omitidas y arriesgadas, no como una garantía autónoma.

Estado

Elemento	Detalle
Publicación	Preprint, 8 de junio de 2026 (arXiv:2605.06890v3)
Autores	Hariom Tatsat, Ariye Shater (Barclays)
Modelos evaluados	GPT-OSS 20B, Gemma 3 27B (instruction-tuned)
Precisión «herramienta necesaria»	75,3 % (GPT-OSS) / 71,4 % (Gemma)
Precisión «riesgo» (pasos con herramienta)	90,3 % / 88,5 %
Mejor uso	Auditoría pre-acción de omisiones y riesgo en la frontera de llamada

El trabajo se inscribe en una línea creciente de investigación sobre el sondeo de activaciones — incluidas sondas que señalan selecciones de herramientas alucinadas e interacciones de alto riesgo a partir de los estados ocultos — y apunta a la supervisión interna pre-acción como complemento práctico de las evaluaciones y logs externos en los que se apoyan hoy la mayoría de las pilas de agentes.