Hackear un chatbot ya no requiere expertos

La parte más inquietante del informe no está en el porcentaje más alto. Está en la facilidad. El estudio publicado por el AI Security Lab del Italian Institute of Artificial Intelligence sometió a dos modelos de Anthropic, Claude Fable 5 y Claude Opus 4.8, a una campaña automatizada de ataques adversarios sobre 7.826 intenciones dañinas. El resultado no describe un colapso general, ni conviene leerlo como una escena de desastre tecnológico. Describe algo más útil y más serio: incluso los sistemas de frontera, entrenados para rechazar instrucciones peligrosas, siguen entregando respuestas dañinas cuando el ataque aprende de cada negativa y vuelve a intentarlo con otro encuadre.

Ese matiz importa. El estudio no dice que cualquier pedido malicioso atraviese las defensas. De hecho, la mayoría fracasa. Tampoco confirma que los modelos sean inútiles desde el punto de vista de la seguridad. Lo que muestra es más preciso: las barreras han mejorado contra la vieja pirotecnia de los jailbreaks, esas fórmulas de encubrimiento con codificaciones, disfraces de rol o trucos de plantilla, pero siguen mostrando grietas ante ataques que se comportan menos como un mensaje y más como una conversación estratégica.

La diferencia entre ambas cosas es el corazón del asunto. Una defensa que detecta palabras prohibidas, patrones sospechosos o disfraces conocidos puede neutralizar buena parte de la basura repetida que circula en foros y repositorios. Pero un ataque adaptativo no depende de una palabra mágica. Cambia el marco. Reescribe la intención. Observa cómo responde el sistema y vuelve con una versión más plausible. No rompe la puerta de un golpe: prueba el picaporte, escucha el sonido de la cerradura y ajusta la presión.

La seguridad ya no falla por palabras, falla por contexto

El trabajo usa HackAgent, un marco abierto de red teaming diseñado para orquestar ataques contra modelos mediante distintos algoritmos. La arquitectura del ensayo es razonablemente conservadora: cada éxito aparente fue reevaluado por un panel de tres modelos jueces independientes, y solo se contó como jailbreak confirmado cuando al menos dos coincidieron en que la respuesta era genuinamente dañina. Esta decisión no vuelve infalible la medición, pero reduce un problema habitual en este campo: los jueces automáticos tienden a sobrestimar respuestas que empiezan con tono complaciente aunque luego no entreguen contenido operativo.

La taxonomía usada cubrió diez grandes familias de daño: sesgo y discriminación, privacidad, seguridad física, delitos económicos, ciberseguridad, información política, contenido cultural, propiedad intelectual, decisiones sensibles y protección infantil. El mapa es amplio. Y esa amplitud permite ver algo que un promedio general escondería: los modelos no fallan de manera uniforme. Tienen zonas de resistencia alta y puntos vulnerables muy concretos.

Opus 4.8 fue el más expuesto. Produjo 1.620 respuestas dañinas confirmadas por el panel, frente a 702 en Fable 5. La comparación directa favorece a Fable, aunque con una cautela necesaria: la campaña PAIR contra Fable fue parcial, ya que cubrió 27 de las 55 subcategorías. Aun así, en las pruebas equiparables, Fable aparece como un sistema más difícil de quebrar. No invulnerable. Más difícil.

La prueba más reveladora aparece al mirar las familias de ataque. h4rm3l, el conjunto de decoradores estáticos que incluye codificaciones, fragmentación de payloads y marcos prefabricados, quedó casi neutralizado: 0,18% contra Opus 4.8 y 0,04% contra Fable 5. Esa cifra es una buena noticia para los laboratorios de seguridad. Significa que parte del folklore del jailbreak, repetido hasta el hartazgo, ya perdió fuerza contra modelos de primera línea.

La mala noticia viene después. TAP, Tree of Attacks with Pruning, sí encontró superficie. Esta técnica no lanza una única frase y espera suerte. Construye un árbol de candidatos, expande los caminos prometedores, descarta los débiles y usa la reacción del modelo para orientar el siguiente intento. Contra Opus 4.8 alcanzó el 11,51%. Contra Fable 5, 6,10%. PAIR, otro método iterativo, también mostró eficacia, aunque con menor fuerza general: 7,98% en Opus y 4,30% en la campaña parcial de Fable.

La lectura correcta no es “once por ciento suena bajo”. En productos usados por millones de personas, un porcentaje así deja de ser marginal. A escala industrial, incluso una tasa de fallo pequeña puede convertirse en flujo constante. No porque el usuario común vaya a descubrirlo en una charla casual, sino porque un atacante automatizado puede repetir, medir y seleccionar hasta encontrar la grieta. La seguridad de estos sistemas no se evalúa por el comportamiento ante un ciudadano apurado que pregunta mal, sino por la resistencia ante alguien que insiste con método.

El viejo truco se agotó, la conversación ofensiva no

El informe permite separar dos épocas del jailbreak. La etapa artesanal, llena de fórmulas teatrales y disfraces lingüísticos, está perdiendo eficacia frente a los modelos más recientes. La etapa automatizada, en cambio, recién empieza a mostrar su potencia. El cambio no es menor: cuando el atacante también es un modelo, el costo de probar variantes cae en picada. Ya no hace falta un experto humano afinando cada prompt durante horas. La búsqueda puede correr sola, registrar respuestas, descartar rutas malas y conservar las que producen señales de debilidad.

La exposición por categoría confirma que el problema no se distribuye al azar. En Opus 4.8, TAP golpeó con especial fuerza en protección infantil, donde llegó al 27,6%, y también mostró dobles dígitos en delitos económicos, contenido cultural y ciberseguridad. PAIR generó un pico notable en ciberseguridad, con 16,6%. Fable 5 contuvo mejor esa zona técnica, pero no quedó limpio: sus puntos más delicados aparecieron en encuadres ético-sociales y de protección infantil.

Hay una ironía técnica en esos resultados. Durante años se habló de jailbreaks como si fueran principalmente un problema de texto visible: palabras prohibidas, codificaciones, instrucciones escondidas. Este estudio empuja la conclusión hacia otro lado. La vulnerabilidad relevante no está en la superficie del lenguaje, sino en la interpretación de situaciones. El sistema no cae porque no reconozca una palabra peligrosa; cae porque acepta un relato donde la misma intención aparece envuelta en una finalidad aparentemente legítima.

Eso vuelve insuficiente la defensa basada solo en filtros de entrada. Un modelo puede bloquear una instrucción directa y, al mismo tiempo, ceder ante una reformulación que preserva el objetivo pero cambia el decorado. La defensa que viene necesitará mirar trayectorias, no frases aisladas. Deberá observar secuencias de interacción, variaciones de intención, insistencias con cambio de encuadre y patrones de refinamiento. En lenguaje menos elegante: no alcanza con revisar qué se pidió; hay que entender hacia dónde se está empujando la conversación.

Ese dato también complica la estrategia defensiva. Si los éxitos se concentran en los primeros pasos, no basta con asumir que un sistema de monitoreo detectará abuso después de una larga cadena sospechosa. El daño puede aparecer antes de que la conversación acumule suficiente historia como para activar una alarma convencional. La ventana de intervención se achica.

El resultado no absuelve a nadie, pero orienta el arreglo

El informe tiene límites claros. Es una fotografía en un momento específico, no una sentencia eterna sobre los modelos evaluados. Las configuraciones de producción pueden incluir capas adicionales: filtros externos, monitoreo de abuso, límites de uso, clasificadores de salida, trazas de sesión y sistemas de respuesta ante incidentes. Nada de eso aparece plenamente modelado en el ensayo. Además, los jueces automáticos reducen errores, pero no los eliminan. Un panel de tres modelos puede fallar por exceso o por defecto.

También conviene decir algo que suele perderse en las lecturas apresuradas: un white paper no equivale a una auditoría definitiva ni a una revisión académica cerrada. Sirve como medición útil, no como veredicto final. Su valor está en la dirección de la evidencia, no en convertir cada decimal en dogma. Y la dirección es clara: los sistemas de frontera han aprendido a resistir trucos viejos, pero todavía se doblan ante ataques conversacionales que explotan contexto, no cadenas raras de caracteres.

La diferencia entre Opus 4.8 y Fable 5 también merece una lectura sobria. Fable parece más robusto en este ensayo, sobre todo en ciberseguridad, donde Opus muestra sus puntos más expuestos. Pero la distancia no autoriza una conclusión cómoda del tipo “el problema está resuelto en el modelo nuevo”. Lo que muestra es progreso. Y el progreso en seguridad no se mide por la desaparición del riesgo, sino por el tipo de ataques que todavía sobreviven.

La investigación tiene una virtud poco frecuente: no se queda en el alarmismo. Identifica dónde mirar. Si la obfuscación estática ya no funciona casi nunca, no tiene sentido gastar la mayor parte del esfuerzo defensivo en perseguir disfraces gastados. El dinero, el tiempo y las evaluaciones deberían concentrarse en ataques adaptativos, red teaming automatizado, análisis semántico de conversaciones y pruebas por categoría de daño. La mejora no vendrá de un filtro más rígido pegado al borde del sistema, sino de una comprensión más fina del recorrido completo que lleva desde una intención dañina hasta una respuesta útil para el atacante.

Hay una frase posible, incómoda pero justa: estos modelos son seguros hasta que alguien deja de tratarlos como chatbots y empieza a tratarlos como objetivos. Bajo uso normal, pueden parecer sólidos. Bajo presión adversaria, muestran costuras. Esa distancia entre la seguridad cotidiana y la seguridad hostil es el dato político, técnico y empresarial de fondo.

El informe no destruye la promesa de los modelos avanzados. La vuelve adulta. La etapa ingenua consistía en creer que bastaba con entrenar mejor, rechazar más y publicar hojas de seguridad. La etapa que empieza ahora exige otra cosa: medir como mide un atacante, no como mide un folleto comercial. Una tecnología que ya escribe código, analiza documentos, usa herramientas y asiste decisiones no puede defenderse con tranquilidad estadística. Necesita resistencia operacional.

La conclusión más fuerte no es que Fable 5 sea mejor que Opus 4.8, aunque en esta prueba lo parece. Tampoco que los jailbreaks estén ganando la guerra, porque el informe muestra avances defensivos reales. La conclusión seria es más estrecha y más útil: el frente decisivo se desplazó. Ya no está en bloquear frases sospechosas. Está en impedir que una máquina convenza a otra de que el mismo daño, reescrito con paciencia, dejó de ser daño.