Por qué un modelo alineado genera daño que sabe reconocer — y una solución que acopla ambas señales

¿Qué es esto?

El 1 de julio de 2026, Shei Pern Chua (Universidad de Tsinghua / Microsoft) y Fangzhao Wu (Microsoft) publicaron en arXiv HARC: Coupling Harmfulness and Refusal Directions for Robust Safety Alignment, con el código liberado bajo la organización de Microsoft en GitHub. El artículo es un estudio de interpretabilidad sobre por qué los jailbreaks tienen éxito contra los modelos alineados, seguido de un método de fine-tuning dirigido precisamente al mecanismo que identifica.

El hallazgo principal es incómodo: un modelo alineado reconoce con frecuencia que el texto que produce es dañino, incluso en casos en los que no marcó la solicitud entrante como peligrosa — y aun así produce la salida dañina. En palabras de los autores, el modelo «sabe lo que está produciendo pero no logra traducir ese conocimiento en rechazo». HARC busca cerrar esa brecha a nivel de representación.

Cómo funciona

El trabajo se apoya en resultados de interpretabilidad previos que muestran que los modelos alineados codifican dos conceptos relacionados pero separables como direcciones lineales en su residual stream: una dirección de nocividad (el reconocimiento interno de que un contenido es peligroso) y una dirección de rechazo (el compromiso de declinar). Los trabajos anteriores solo las medían en las posiciones de token del lado del prompt — es decir, antes de que el modelo empiece a responder.

El artículo examina cómo interactúan los jailbreaks con esa estructura. En ataques de familias de mecanismos distintas, los jailbreaks exitosos operan suprimiendo una o ambas direcciones durante la codificación del prompt, antes de que se genere un solo token. Cuando se suprime la dirección de nocividad, el modelo considera la solicitud benigna y no muestra intención de rechazar. Distintas clases de ataque — reescrituras persuasivas, diálogo multiturno, ofuscación — ocupan regiones separables del «plano nocividad–rechazo» resultante, que en sí mismo constituye una lente de diagnóstico útil.

El paso novedoso es extender el análisis a las posiciones de token de respuesta. Al extraer las mismas dos direcciones a partir de las activaciones producidas durante la generación, los autores encuentran una estructura de cuatro direcciones en la que la señal de nocividad del lado de la respuesta es casi ortogonal a su equivalente del lado del prompt en las capas profundas. Lo crucial es que la dirección de nocividad del lado de la respuesta sigue activándose en generaciones dañinas que evadieron los controles del lado del prompt. El modelo detecta el problema a mitad del flujo, pero no dispone de un cableado que convierta esa detección en una parada.

HARC (Harmfulness-And-Refusal Coupling) es un método de fine-tuning que empareja las direcciones de nocividad y de rechazo en las posiciones tanto del prompt como de la respuesta, mediante una función de pérdida de margen aditivo (hinge loss) sobre proyecciones coseno. Como la intervención se confina a un subespacio bidimensional nocividad–rechazo, deja el resto del residual stream prácticamente intacto. Esa contención es el objetivo: evitar el «impuesto de alineamiento» — pérdida de capacidad y exceso de rechazo — que suele introducir un fine-tuning de seguridad más amplio.

Por qué importa

El resultado replantea un problema conocido. Muchas defensas tratan el jailbreak como un fallo de clasificación de la entrada: si el modelo hubiera reconocido el prompt malicioso, habría rechazado. Este artículo muestra que reconocimiento y rechazo son eventos internos distintos que pueden desacoplarse, y que un modelo puede ser consciente de estar emitiendo contenido dañino sin actuar en consecuencia. Las defensas que solo inspeccionan el prompt inspeccionan, por tanto, el extremo equivocado de la secuencia.

Las cifras reportadas importan a quien despliega modelos de pesos abiertos. HARC reduce la tasa media de éxito de los ataques en torno a 4,67× en Llama-3.1-8B y 4,75× en Qwen-2.5-7B frente al modelo base, al tiempo que disminuye el exceso de rechazo por debajo del modelo base y mantiene su utilidad. El artículo reporta el mejor compromiso robustez–capacidad–usabilidad entre seis métodos de referencia que cubren los principales enfoques de seguridad, tanto en entrenamiento como en inferencia, evaluados sobre cuatro ataques de jailbreak, dos bancos de exceso de rechazo y cinco bancos de capacidad. La estructura de cuatro direcciones y las direcciones mismas se transfirieron a través de cinco familias de modelos y dos escalas de parámetros sin ajuste específico de arquitectura, lo que sugiere una propiedad de los modelos alineados en general y no una peculiaridad de una versión.

Defensas

1. Vigilar las señales de seguridad en tiempo de generación, no solo en el prompt. La lección central es que el reconocimiento de contenido dañino persiste durante la decodificación incluso cuando el filtrado del lado del prompt falla. Las barreras de salida y los clasificadores en flujo captan casos que los filtros de entrada no pueden ver estructuralmente.
2. Preferir intervenciones confinadas al subespacio de seguridad. El fine-tuning de seguridad amplio tiende a sacrificar capacidad e inflar los rechazos. Las técnicas restringidas a las direcciones nocividad–rechazo buscan preservar el rendimiento general — una postura más sostenible que el endurecimiento brusco del rechazo.
3. Medir el exceso de rechazo junto con la robustez. Una defensa que aumenta los rechazos en solicitudes benignas no es gratis. Evalúe cualquier endurecimiento frente a bancos de usabilidad, no solo frente a la tasa de éxito de los ataques.
4. Tratar las afirmaciones de robustez como específicas de versión y de modelo. Aquí las direcciones se transfieren entre familias, pero el comportamiento de jailbreak cambia con el fine-tuning y las versiones. Vuelva a probar tras cualquier actualización de modelo o de seguridad, y feche cada observación.
5. Superponer defensas en lugar de depender de un solo mecanismo. El acoplamiento a nivel de representación es un control. Manténgalo junto al filtrado de entrada, la autorización a nivel de herramientas y acciones, y la revisión fuera de banda de las acciones consecuentes, ya que ninguna defensa del espacio del prompt ha demostrado ser completa.

Estado

Elemento	Referencia	Fecha	Notas
Preprint HARC publicado	Chua & Wu (Tsinghua / Microsoft)	2026-07-01	arXiv:2607.00572v1, cs.AI
Código liberado	GitHub de Microsoft	2026-07	Implementación de referencia
Modelos estudiados	Llama-3.1-8B / 70B, Qwen-2.5-7B / 72B	—	Estructura replicada en cinco familias
Robustez reportada	ASR medio ↓ ~4,67× (Llama-3.1-8B), ~4,75× (Qwen-2.5-7B)	—	Exceso de rechazo por debajo de la base; utilidad preservada

Lo que deben retener los equipos defensivos: los jailbreaks no están «resueltos» — el estudio evalúa ataques de caja negra en el espacio del prompt y no afirma cubrir el fine-tuning adverso ni la edición de pesos. Pero la conciencia que el propio modelo tiene, a mitad de generación, del daño que emite es una señal defensiva infrautilizada, y acoplar el reconocimiento con el rechazo en ambos extremos de la secuencia es una forma concreta y preservadora de capacidad de aprovecharla.