Loss Landscape Poisoning: hacer que un LLM memorice un secreto que nunca vio

¿Qué es esto?

En junio de 2026, Md Abdullah Al Mamun, Pedram Zaree y Nael Abu-Ghazaleh (UC Riverside), junto con Ngoc Phu Doan e Ihsen Alouani (Queen’s University Belfast), publicaron Loss Landscape Poisoning: Targeted Extraction of Unseen Training Data from LLMs (arXiv:2606.17110). El trabajo presenta un ataque en tiempo de entrenamiento, el Loss Landscape Poisoning (LLP), que responde a una pregunta incómoda: ¿puede un atacante que solo aporta parte de los datos de entrenamiento forzar a un modelo a filtrar otro registro, un secreto que el atacante nunca ve?

La respuesta del artículo es sí. Al moldear la geometría de la superficie de pérdida del modelo alrededor de una región objetivo, el LLP hace que los propios datos de entrenamiento de la víctima se memoricen a sí mismos como un punto aislado y extraíble. Es un hallazgo de investigación sobre un modo de fallo de privacidad, no un exploit listo para usar contra un sistema en producción.

Cómo funciona

El mecanismo es geométrico, no léxico. Un modelo de lenguaje generaliza cuando la superficie de pérdida es suave: muchas terminaciones cercanas tienen una pérdida baja y similar, de modo que ningún valor queda sobreajustado. El LLP rompe esa suavidad de forma deliberada. El atacante inyecta registros señuelo que comparten la estructura circundante de un objetivo — por ejemplo, un formulario con un campo de número de seguridad social o de tarjeta de crédito — pero llevan valores aleatorios en el campo secreto, y eleva la pérdida en todo ese vecindario. Cuando la víctima entrena después con el registro real, el entrenamiento normal reduce la pérdida exactamente en ese punto. Las dos fuerzas opuestas tallan un mínimo local agudo: el modelo solo puede ajustar el secreto verdadero memorizándolo literalmente, porque la generalización ha sido suprimida localmente.

Los autores describen dos modelos de amenaza. En la variante más fuerte, el envenenamiento del modelo, un atacante que controla parte de la optimización (en particular un cliente malicioso en aprendizaje federado) aplica ascenso de gradiente a las muestras envenenadas mientras un descenso de gradiente normal se ejecuta sobre el resto. En la variante más realista solo con datos, LLP-Data, el atacante se limita a aportar muestras diseñadas para que sus gradientes supervisados ordinarios reproduzcan la misma señal de ascenso, sin ningún acceso a la función de pérdida ni al bucle de entrenamiento. La probabilidad de generación del objetivo sube desde una base casi aleatoria de 0,01–0,04 hasta 0,7–0,92, con una filtración de hasta el 100 % en modelos de lenguaje y el 90 % en modelos de visión-lenguaje en caja blanca, y del 86 % / 83 % para la variante solo con datos. En una configuración federada, un único participante malicioso recuperó hasta el 100 % de los secretos de clientes honestos a través del modelo global compartido.

Por qué importa

El atacante nunca observa el secreto y, aun así, lo extrae, lo que rompe una intuición tranquilizadora de las canalizaciones de intercambio de datos: «si nunca vi tu registro, no puedo filtrarlo». El LLP apunta precisamente a los escenarios donde esa intuición sostiene todo el peso: aprendizaje federado entre hospitales o bancos, fine-tuning sobre datos de clientes agrupados y cualquier canalización que ingiera corpus de terceros o extraídos por scraping. Amplía la literatura sobre envenenamiento de datos de entrenamiento e inferencia de pertenencia, pasando de «¿estaba este registro en el conjunto?» a «reconstruir un registro que nunca se me entregó».

Defensas

El resultado de mayor calado se refiere a la privacidad diferencial (DP), la defensa canónica. DP-SGD sí bloquea la generación directa del secreto bajo LLP: el recorte de gradiente aplana el mínimo agudo que el atacante intenta tallar, y el ruido calibrado restaura suficiente suavidad para generalizar. Pero el artículo introduce una segunda primitiva de filtración, el Direct Loss Region Probing (DLRP), que nunca pide al modelo que genere nada. A partir únicamente de consultas de pérdida en caja negra, DLRP enumera candidatos en la región objetivo y los ordena según cuánto sube su pérdida ante pequeñas perturbaciones: el secreto verdadero es aquel cuyos vecinos se sitúan todos en terreno más alto. Como la brecha relativa de pérdida sobrevive al recorte y al ruido, DLRP recupera el objetivo con presupuestos de privacidad que aún preservan una precisión utilizable. Los autores señalan que suprimir DLRP exige un ruido lo bastante fuerte como para dañar gravemente la utilidad.

La lección práctica es una defensa en profundidad sobre la ruta de los datos, no un único mando. Trate la DP como necesaria pero no suficiente, y combínela con una procedencia y verificación estrictas de los datos aportados (¿quién entregó cada lote y se puede confiar en él?), detección de anomalías en el comportamiento de gradientes y pérdida por cliente en entornos federados, deduplicación y auditoría con canarios para detectar memorización anómala antes de la publicación, y limitación de tasa o control de acceso en cualquier interfaz que exponga valores brutos de pérdida o log-probabilidad, el canal del que depende DLRP. Véase también nuestra cobertura de la brecha empírica entre las garantías de DP y la filtración real y de los ataques más amplios a la privacidad de los LLM.

Estado

LLP es un artículo de investigación (arXiv:2606.17110, publicado en junio de 2026), no una divulgación de vulnerabilidad: no hay CVE ni parche de proveedor. Su relevancia es conceptual: traslada la cuestión de la privacidad de lo que el modelo genera a la geometría de la superficie de pérdida que arrastra, y muestra que la receta estándar de entrenamiento privado deja esa geometría expuesta. Los equipos que agrupan datos sensibles para entrenar o hacer fine-tuning deberían tratar los datos aportados como una superficie de ataque en sí misma, y no dar por hecho que «aplicamos DP» cierra la puerta.