Legitimación de intención: cuando la memoria de un agente personal erosiona su propia seguridad

¿Qué es esto?

El 25 de enero de 2026, un grupo de investigadores publicó un artículo (preprint en arXiv, luego en OpenReview) que describe la legitimación de intención, un fallo de seguridad que aparece en los asistentes de IA personalizados sin que intervenga ningún atacante. El hallazgo es contraintuitivo: los recuerdos que hacen útil a un agente personal son los mismos que reducen su vigilancia. Cuando un asistente recuerda el contexto de tu vida y lo recupera para personalizar sus respuestas, ese contexto benigno puede llevar al modelo a inferir una intención benigna, a tratar una solicitud dañina como contextualmente justificada y a responderla, allí donde una versión sin memoria del mismo modelo habría rechazado.

Lo que distingue este fenómeno de los ataques que solemos cubrir es que nada está envenenado y nadie está atacando. Los jailbreaks por prompt y el envenenamiento de memoria dependen de contenido adverso implantado. Aquí los recuerdos recuperados son veraces y se acumularon de forma orgánica a lo largo de conversaciones cotidianas. La erosión de la seguridad es un efecto secundario de la propia personalización. Los autores presentan el primer estudio sistemático del fenómeno, junto con un banco de pruebas, PS-Bench, y una defensa. Es un análisis defensivo de una clase de fallo y no contiene ningún exploit ejecutable.

Cómo funciona

Los bancos de pruebas de seguridad clásicos juzgan una solicitud de forma aislada, suponiendo que la intención puede leerse solo a partir de la consulta. Un agente personalizado hace lo contrario: condiciona su lectura de la intención al contexto personal recuperado. Ese cambio es la causa raíz. Si la memoria circundante describe una situación coherente y comprensiva, el modelo puede reinterpretar una petición intrínsecamente insegura como un paso razonable para este usuario.

PS-Bench aísla el efecto comparando un agente sin estado y un agente personalizado sobre las mismas consultas dañinas, diferenciándose solo en si se recupera o no una memoria multisesión benigna. Dos extensiones analíticas exploran cuándo empeora el fallo. La ampliación temática del historial concentra un único tema vital benigno en la memoria —el artículo usa temas como dificultades económicas, soledad o preocupaciones de salud— a partir de diálogos sintéticos exclusivamente no dañinos. Las consultas ancladas en el persona expresan una intención insegura como lo haría plausiblemente un usuario real con ese historial, en lugar de como una petición directa.

En cinco marcos de agentes personalizados construidos sobre cinco modelos base, la personalización benigna por sí sola elevó las tasas de éxito de ataque en aproximadamente un 15,8 % a un 243,7 % respecto a la referencia sin estado. Destacan dos patrones. Primero, el daño sigue la alineación semántica: el éxito sube sobre todo cuando el tema memorizado coincide con la categoría dañina, produciendo un patrón casi diagonal, y se mantiene plano cuando divergen; es la pertinencia, no el volumen de memoria, lo que opera. Segundo, sigue el diseño de la memoria: los marcos que almacenan recuerdos episódicos detallados se degradaron más, mientras que uno que almacena resúmenes más abstractos se degradó menos. El análisis mecanicista sugiere que los recuerdos recuperados difuminan la frontera interna entre intención benigna y dañina.

Por qué importa

Los asistentes personales que conservan contexto entre sesiones se están convirtiendo en la forma de producto por defecto, y las evaluaciones de seguridad casi siempre se ejecutan sin estado: sobre un modelo nuevo, sin memoria. Este trabajo muestra que esa cifra es optimista precisamente para los despliegues que la gente realmente usa. Un modelo puede aprobar sus evaluaciones de seguridad en el laboratorio y luego, tras semanas de relación real con un usuario, responder cosas que habría rechazado el primer día, únicamente porque su memoria acumulada (y del todo exacta) reformuló la solicitud. Las categorías más afectadas —autolesión, médica, financiera y similares— son aquellas en las que una respuesta equivocada causa un daño real. Es una instancia concreta, a nivel de memoria, del problema más amplio catalogado en la guía de OWASP sobre inyección de prompts: el modelo no puede separar limpiamente la instrucción que debe juzgar del contexto que solo debe utilizar.

Defensas

La conclusión del artículo es que la seguridad debe evaluarse y aplicarse bajo personalización, no solo en el entorno sin estado. Los autores proponen un paso ligero e independiente del modelo de detección y reflexión en el momento de la inferencia, y reportan que reduce la degradación conservando la mayor parte de la utilidad de personalización. La estructura se generaliza aunque nunca se adopte su método exacto.

• Pruebe con memoria, no sin ella. Vuelva a ejecutar sus evaluaciones de seguridad con una memoria multisesión realista y benigna cargada. Una tasa de aprobación sin estado no describe su producto desplegado.
• Juzgue la intención primero a partir de la consulta. Antes de responder, evalúe la nocividad de la petición por sí misma y luego trate la memoria recuperada como contexto que servir, nunca como una justificación que convierta una solicitud rechazable en aceptable.
• Añada un punto de control de reflexión. Inserte un paso que pregunte explícitamente si el contexto personal recuperado se está usando para justificar una respuesta insegura, y haga que el agente lo reconsidere cuando así sea.
• Prefiera memoria abstracta para asistentes sensibles. Los almacenes episódicos de alto recuerdo personalizan mejor pero degradaron más la seguridad; las representaciones de memoria más abstractas resultaron más robustas. Trátelo como un verdadero mando de compromiso.
• Vigile la alineación semántica. El riesgo elevado se concentra donde el tema memorizado y la categoría de la consulta coinciden. Marque las recuperaciones de alta similitud que alimentan categorías sensibles para un escrutinio adicional.
• Mantenga un humano en el bucle para las categorías de alto riesgo. Para autolesión, medicina y finanzas, exija confirmación o escalado en lugar de confiar en una inferencia de intención condicionada por el contexto.

Estado

Elemento	Valor
Divulgación	Preprint arXiv, 25 de enero de 2026 (también en OpenReview)
Modo de fallo	Legitimación de intención: una memoria personal benigna legitima consultas dañinas
No es un ataque	Los recuerdos recuperados son veraces y acumulados orgánicamente
Impacto medido	~15,8 %–243,7 % más de éxito de ataque frente a la referencia sin estado
Alcance probado	5 marcos de agentes personalizados sobre 5 LLM base (PS-Bench)
Defensa propuesta	Detección + reflexión sobre la legitimación de intención en la inferencia
Causa raíz	Seguridad condicionada al contexto recuperado en lugar de a la consulta misma

Fechas clave: 25 de enero de 2026 — publicación del artículo PS-Bench, que presenta la legitimación de intención como un modo de fallo distinto de los jailbreaks por prompt y de los ataques por envenenamiento de memoria.