La inteligencia artificial ha dejado de ser una promesa futura para convertirse en una realidad omnipresente. Motores como ChatGPT, Claude o Gemini responden preguntas, redactan textos, analizan datos y toman decisiones en dominios que van desde la medicina hasta las finanzas. Sin embargo, esta expansión vertiginosa trae consigo vulnerabilidades que desafían los cimientos mismos de la seguridad digital. Un equipo de investigadores del Laboratorio de Seguridad de iFLYTEK, la Universidad de Pekín y otras instituciones chinas acaba de presentar FORGEDAN, un sistema capaz de manipular a los modelos de lenguaje más avanzados del mundo para que revelen información prohibida, generen contenido peligroso o simplemente ignoren las barreras éticas con las que fueron entrenados.
El término que define esta amenaza es jailbreak, que en el contexto de la IA generativa se refiere a técnicas diseñadas para burlar las salvaguardas de seguridad incorporadas en estos cerebros digitales. A diferencia del concepto original aplicado a dispositivos móviles, donde liberar un teléfono significaba acceder a funciones restringidas por el fabricante, la elusión de restricciones en modelos de lenguaje consiste en formular instrucciones tan ingeniosas que el software olvida sus directrices y produce respuestas que normalmente rechazaría. Podría tratarse de recetas para fabricar sustancias peligrosas, código para crear malware o estrategias para difundir desinformación. Las consecuencias potenciales son vastas y preocupantes.
Esta nueva arquitectura representa un salto cualitativo en el campo de la seguridad ofensiva. No se trata de una lista de trucos redactados manualmente por expertos humanos, sino de un marco evolutivo automatizado que genera prompts adversariales mediante un proceso inspirado en la selección natural de Darwin. La herramienta produce variaciones de instrucciones maliciosas, evalúa cuáles funcionan mejor, descarta las débiles y permite que las más efectivas se reproduzcan y muten. Generación tras generación, las consignas evolucionan hasta convertirse en armas lingüísticas casi imposibles de detectar. Los resultados son inquietantes: en pruebas realizadas sobre sistemas como Gemma, Qwen y DeepSeek, el algoritmo alcanzó tasas de éxito superiores al 98 por ciento en algunos casos, superando ampliamente a las técnicas previas.
Tasas de éxito de diferentes técnicas de evasión sobre cuatro modelos de lenguaje. La propuesta evolutiva supera consistentemente a los métodos tradicionales.
Para entender la magnitud del problema, conviene examinar primero cómo funcionan los LLMs (Grandes Modelos de Lenguaje) y por qué son vulnerables. Estos sistemas, entrenados con billones de palabras extraídas de internet, aprenden patrones estadísticos del discurso humano. Generan texto prediciendo qué palabra debería aparecer a continuación en una secuencia dada. Este enfoque probabilístico les otorga una flexibilidad extraordinaria, pero también una fragilidad inherente: carecen de una comprensión profunda del significado o de las consecuencias de sus emisiones. Son, en esencia, motores de predicción extremadamente sofisticados pero desprovistos de juicio moral intrínseco.
Por esta razón, las empresas desarrolladoras implementan técnicas de alineamiento. El aprendizaje supervisado mediante ajuste fino y el aprendizaje por refuerzo con retroalimentación humana son las estrategias más empleadas. En el primer caso, se entrena a la red con ejemplos específicos de respuestas correctas e incorrectas, enseñándole a rechazar solicitudes peligrosas. En el segundo, evaluadores humanos califican las salidas del sistema, recompensando aquellas que cumplen con estándares éticos y penalizando las que no. El objetivo es crear muros de contención internos que impidan la generación de contenido dañino.
Sin embargo, estas salvaguardas no son infalibles. La historia reciente de la IA está plagada de ejemplos donde usuarios ingeniosos han logrado sortear los bloqueos mediante trucos lingüísticos cuidadosamente diseñados. Uno de los casos más emblemáticos es la familia de instrucciones conocida como DAN, acrónimo de Do Anything Now. Estos textos invitan al asistente a adoptar una personalidad alternativa que no está sujeta a reglas, presentando la conversación como un juego de roles donde el agente puede liberarse de sus ataduras éticas. Aunque rudimentarias según los estándares actuales, estas técnicas demostraron que los algoritmos podían ser manipulados mediante retórica relativamente simple.
El panorama de los ataques de jailbreak se ha diversificado notablemente. Algunos dependen de la ingeniería social aplicada a máquinas: convencer al procesador de que está participando en una simulación académica, solicitarle que responda desde la perspectiva de un personaje ficticio o fragmentar una solicitud peligrosa en partes aparentemente inocuas. Otros explotan características técnicas más profundas. El método conocido como GCG, por ejemplo, añade sufijos adversariales a las entradas mediante optimización basada en gradientes, generando cadenas de texto sin sentido aparente que, sin embargo, confunden los mecanismos internos de la red neuronal y la inducen a violar sus restricciones.
Estos métodos previos presentaban limitaciones significativas. Los ataques manuales dependen del ingenio humano y pierden efectividad rápidamente cuando los desarrolladores actualizan los parches de seguridad. Los métodos automatizados como GCG producen texto incoherente que puede detectarse fácilmente mediante análisis de perplejidad o filtros heurísticos. AutoDAN-HGA, un predecesor directo del sistema actual, introdujo algoritmos genéticos jerárquicos para evolucionar consignas más naturales, pero sufría de baja diversidad en las mutaciones, evaluación superficial basada en métricas léxicas y detección frágil mediante coincidencia de palabras clave.
Proceso de mejora continua: cada generación incrementa la efectividad de los prompts adversariales mediante mutación, evaluación y selección.
El mecanismo evolutivo del nuevo marco
El proyecto aborda estas deficiencias mediante tres innovaciones fundamentales que trabajan de manera integrada. La primera es un sistema de mutación multi-estratégico que opera en tres niveles lingüísticos simultáneamente. A nivel de carácter, realiza sustituciones homoglíficas, donde letras se reemplazan por símbolos visualmente similares, intercambio de grafías adyacentes, inserción, eliminación y reemplazo de caracteres individuales. A nivel de palabra, implementa sustitución de sinónimos, cambios morfológicos, uso de homófonos y paráfrasis basadas en contexto. A nivel de oración, reestructura sintaxis completas, reordena cláusulas y transforma el discurso manteniendo el significado subyacente.
Esta arquitectura modular y extensible constituye una diferencia crucial respecto a enfoques anteriores. Cada estrategia de alteración se implementa como un componente independiente que puede añadirse, eliminarse o ajustarse según el escenario de ofensiva. Durante cada iteración del ciclo evolutivo, se selecciona aleatoriamente una operación de perturbación de la biblioteca de mutaciones y se aplica al candidato actual. Todas las variantes generadas se validan mediante una restricción de similitud semántica, descartando aquellas que se alejan demasiado del objetivo malicioso original. Este diseño permite que el algoritmo mantenga un equilibrio entre exploración amplia del espacio de posibilidades y preservación de la intención del mensaje.
La segunda innovación radica en la evaluación de aptitud basada en proximidad de significado. Mientras que sistemas previos empleaban métricas superficiales de solapamiento léxico que fallaban en capturar equivalencias conceptuales, este protocolo utiliza modelos de embeddings preentrenados, específicamente RoBERTa. El procedimiento es el siguiente: se alimenta cada instrucción candidata al objetivo y se captura su respuesta. Tanto la salida generada como una referencia de contenido dañino predefinida se codifican mediante el modelo de embeddings, transformándolas en representaciones vectoriales de alta dimensión. La similitud coseno entre estos vectores proporciona una medida interpretable y robusta de cuán cerca está la reacción del objetivo adversarial deseado.
Esta función de aptitud ofrece ventajas significativas sobre alternativas anteriores. A diferencia de métricas basadas en tokens que asignan baja puntuación a respuestas semánticamente idénticas pero léxicamente distintas, los vectores capturan relaciones profundas. Por ejemplo, las frases "construir un dispositivo explosivo" y "ensamblar una bomba" comparten muy pocos términos pero son conceptualmente equivalentes. Bajo métricas de Jaccard, su coincidencia sería baja, descartando incorrectamente el segundo candidato. En contraste, la similitud coseno de sus representaciones sería alta, preservando la variante como válida. Además, esta medida proporciona transparencia interpretativa: es posible analizar directamente por qué un candidato fue retenido.
Distribución de estrategias de alteración empleadas por la herramienta a través de distintos niveles lingüísticos.
La tercera componente crítica es el mecanismo de verificación bidimensional de ruptura. Las arquitecturas anteriores dependían de criterios monolíticos de evaluación, típicamente coincidencia de palabras clave o predicción de un clasificador único, lo que conducía a altas tasas de falsos positivos y negativos. La plataforma despliega dos clasificadores ajustados de manera fina, cada uno especializado en dimensiones ortogonales. El primero evalúa el comportamiento del modelo: determina si el sistema objetivo se negó a responder o cumplió con la solicitud. El segundo examina el contenido: determina si el texto generado contiene semántica dañina o viola políticas de uso.
El éxito de una intrusión se define como la conjunción lógica de estas dos condiciones: el motor debe haber cumplido con la solicitud y el material debe ser nocivo. Esta descomposición ofrece múltiples ventajas. Primero, reduce errores de clasificación que surgen cuando un detector unificado confunde comportamiento de negativa con respuestas seguras pero cumplientes. Segundo, permite optimizar cada evaluador independientemente con datos de entrenamiento específicos del dominio, mejorando la precisión global. Tercero, establece un fundamento confiable y extensible para la verificación de vulnerabilidades que puede adaptarse a nuevas categorías de riesgo sin reestructurar todo el esquema.
Resultados experimentales y transferibilidad
Los investigadores evaluaron la propuesta en múltiples dimensiones utilizando el conjunto de datos AdvBench, que contiene 520 solicitudes maliciosas verificadas, y un corpus propietario de 137 registros de conversaciones dañinas extraídos de los logs operacionales de una empresa anónima de tecnología. Las pruebas se realizaron sobre tres modelos de código abierto representativos, Qwen 2.5, Gemma-2 y DeepSeek-V3, además de un sistema propietario especializado en dominio denominado TranSpec. El experimento principal midió la tasa de éxito cuando los prompts adversariales se aplicaban a las cargas maliciosas originales de las que fueron derivados.
Los hallazgos son contundentes. En Gemma-2, el método alcanzó una efectividad del 98.27 por ciento, superando ampliamente a la mejor referencia manual, que logró apenas 23.65 por ciento. En Qwen 2.5, el sistema obtuvo 87.50 por ciento frente al 40.58 por ciento de técnicas competidoras. Incluso en los entornos más desafiantes de DeepSeek-V3 y TranSpec, la herramienta mantuvo tasas superiores al 55 por ciento, aventajando al segundo mejor enfoque por más de 10 puntos porcentuales. En contraste, GCG exhibió un desempeño extremadamente bajo en todos los escenarios, con cifras inferiores al 4 por ciento, destacando la fragilidad de los métodos basados en gradientes en configuraciones de caja negra.
Capacidad de generalización: efectividad de las instrucciones cuando se aplican a contextos distintos de aquellos para los que fueron generadas.
La capacidad de generalización constituye otro aspecto crítico. A diferencia del ataque directo, donde se mide la eficacia contra la misma carga inicial, este experimento investiga si las instrucciones generadas para una solicitud original pueden transferirse exitosamente a una diferente. Esta transferibilidad cross-sample es fundamental para evaluar la robustez y aplicabilidad en escenarios realistas, donde los actores adversariales raramente optimizan contra una única consulta fija. Los datos demuestran una superioridad clara de este enfoque, alcanzando desde 54.23 por ciento en TranSpec hasta 98.46 por ciento en Gemma-2, superando sustancialmente a todos los métodos de referencia.
Particularmente revelador es el desempeño en el conjunto de datos del mundo real. Mientras que estudios anteriores se limitaron al benchmark AdvBench, esta prueba aprovechó el corpus propietario construido a partir de registros reales. Los resultados muestran que la técnica supera a todas las alternativas en los cuatro objetivos. En Gemma-2 y Qwen 2.5, logró un desempeño especialmente fuerte con tasas de 100 por ciento y 89.05 por ciento respectivamente. Incluso en configuraciones más robustas, mantuvo cifras de éxito de 57.66 y 56.20 por ciento.
El estudio de ablación, donde se aísla el efecto de cada módulo central, revela contribuciones distintas. Eliminar el mecanismo multi-estratégico de mutación tiene un impacto moderado: las tasas permanecen relativamente altas, sugiriendo que incluso la sustitución simple de sinónimos puede generar algunos ataques exitosos, aunque la diversidad y estabilidad se reducen. En contraste, eliminar la medición de aptitud semántica causa un declive dramático en el rendimiento, con caídas hasta del 5.77 por ciento en ciertos modelos. Esto subraya el rol crítico de la optimización consciente del significado en guiar el proceso evolutivo hacia resultados que preservan la intención dañina.
Estudio de ablación: impacto de eliminar cada componente clave del marco en la tasa de éxito del ataque.
Similarmente, reemplazar el juicio bidimensional con la coincidencia simple de palabras clave reduce drásticamente la efectividad, con fallas catastróficas en Qwen 2.5 donde cae de 87.50 a 1.92 por ciento. Esto resalta la necesidad de una discriminación semántica robusta para prevenir la clasificación errónea. La evidencia demuestra que mientras cada módulo proporciona contribuciones distintas, la sinergia de mutación, medición de aptitud y verificación dual es esencial para que el método logre un éxito confiable, transferible y consistentemente alto.
Implicaciones para la seguridad de la inteligencia artificial
Las implicaciones de este hallazgo trascienden el ámbito puramente técnico y plantean preguntas fundamentales sobre el futuro de la IA en aplicaciones críticas. Si los modelos desplegados en consultoría médica, razonamiento legal o soporte educativo pueden ser manipulados con tasas de éxito cercanas a la totalidad, la confiabilidad de estos sistemas queda seriamente cuestionada. La amenaza no es hipotética: los investigadores demostraron que todos los motores probados, tanto libres como privados, resultaron vulnerables.
La naturaleza evolutiva del enfoque introduce una dimensión adicional de preocupación. A diferencia de ataques estáticos que pueden mitigarse mediante parches puntuales, esta arquitectura representa un sistema adaptativo capaz de co-evolucionar con las defensas. Cada vez que los desarrolladores implementan nuevas salvaguardas, el marco puede generar variantes que las eludan, estableciendo una carrera armamentista similar a las observadas en ciberseguridad tradicional. Esta dinámica sugiere que las estrategias de alineamiento actuales resultan insuficientes frente a adversarios automatizados.
Los autores proponen una defensa multi-capa que integra reforzamiento en el entrenamiento, salvaguardas en tiempo de ejecución y mecanismos de rechazo robustos. La primera línea consiste en incorporar sistemáticamente muestras de red-teaming en las canalizaciones de ajuste de seguridad. Estos ejemplos adversariales pueden servir como datos de supervisión, permitiendo al modelo aprender mapeos consistentes desde entradas manipulativas hacia rechazos seguros.
La segunda estrategia implica diseñar cercas de seguridad más fuertes durante la operación. Un esquema prometedor es el clasificador dual que distingue entre la intención de cumplir una orden y la naturaleza del contenido generado. Este enfoque paralelo reduce puntos ciegos donde un único filtro podría fallar, estableciendo múltiples capas de verificación independiente antes de permitir que una respuesta llegue al usuario final.
La tercera componente involucra mejorar la robustez de los prompts del sistema. En lugar de depender de plantillas fijas, los modelos deberían entrenarse para activar el rechazo dinámicamente en cualquier etapa de la generación una vez que se detecta riesgo potencial. Esto requiere arquitecturas que mantengan estados de vigilancia continua durante la producción de texto, capaces de interrumpir el proceso incluso a mitad de una oración si emergen señales de daño.
Perspectivas futuras y consideraciones éticas
El desarrollo de esta tecnología ilustra una paradoja inherente a la investigación en seguridad informática. Los mismos métodos diseñados para exponer vulnerabilidades pueden, en principio, ser empleados maliciosamente. Sin embargo, los expertos argumentan convincentemente que comprender estas debilidades es prerequisito indispensable para construir sistemas más seguros. La publicación de tales hallazgos refleja un compromiso con la transparencia científica y la mejora colectiva.
Esta tensión entre revelación y protección no es nueva. La comunidad de ciberseguridad ha debatido durante décadas las políticas de divulgación responsable. En el contexto de la inteligencia artificial, donde los sistemas se actualizan continuamente y millones de personas dependen de ellos, estas consideraciones adquieren urgencia renovada.
Los creadores enfatizan que su invención está concebida exclusivamente como herramienta de auditoría y mejora de seguridad. Esta distinción es crucial pero frágil. Una vez publicados, los métodos científicos se difunden libremente. La comunidad enfrenta el desafío de establecer normas éticas robustas para la investigación adversarial, similar a las directrices de bioseguridad que rigen estudios sensibles.
Las direcciones futuras incluyen la extensión a entornos co-evolutivos donde sistemas defensivos y ofensivos se desarrollan simultáneamente. Otra vía promisoria involucra el prompting multimodal, explorando si técnicas similares pueden aplicarse a modelos que procesan imágenes o audio. La transferibilidad entre modalidades representa una frontera particularmente preocupante: una instrucción diseñada para texto podría, con adaptaciones apropiadas, comprometer sistemas de visión artificial.
Desde una perspectiva más amplia, este caso ejemplifica el principio de que la complejidad creciente no garantiza seguridad. Los modelos más grandes y capaces no son inherentemente más resistentes; de hecho, su mayor flexibilidad puede introducir nuevas superficies de ataque. Esta observación desafía la narrativa tecno-optimista que asume que el progreso en capacidades conducirá automáticamente a sistemas más confiables.
La variabilidad observada entre modelos revela que las diferencias en alineamiento determinan en gran medida la resistencia. Sistemas con ajuste riguroso tienden a rechazar instrucciones inseguras más consistentemente, aunque el sobre-alineamiento puede causar rechazos excesivos de consultas benignas. Otro factor clave es la arquitectura de seguridad incorporada: algunos imponen detenciones duras, mientras otros dependen de filtrado adaptativo. Los primeros resisten ataques genéricos pero son más fáciles de eludir cuando sus patrones se conocen.
Tan fuerte, tan frágil
Este trabajo representa un avance significativo en la comprensión de las debilidades de los grandes modelos de lenguaje, pero también un recordatorio sobrio de cuán lejos estamos de resolver el problema fundamental del alineamiento. La capacidad de automatizar la generación de ataques mediante evolución artificial, logrando tasas de éxito cercanas a la perfección, subraya la urgencia de repensar las arquitecturas de seguridad desde sus cimientos.
La metáfora evolutiva que sustenta el proyecto no es meramente técnica sino profundamente reveladora. Del mismo modo que la selección natural produjo organismos cada vez más complejos, los algoritmos genéticos aplicados al jailbreaking producen estrategias de ataque cada vez más sofisticadas sin necesidad de comprender los mecanismos internos de los objetivos. Esta independencia convierte a la herramienta en una amenaza particularmente versátil: funciona tanto en software libre como propietario.
La respuesta no puede limitarse a parches incrementales. Se requiere un cambio paradigmático en cómo conceptualizamos y construimos inteligencias artificiales seguras. Esto incluye investigación en verificabilidad formal, desarrollo de arquitecturas inherentemente robustas y establecimiento de estándares regulatorios para evaluación y certificación antes del despliegue en aplicaciones críticas.
La comunidad científica enfrenta responsabilidades éticas complejas. La publicación de métodos como este es esencial para impulsar el progreso, pero debe acompañarse de consideración cuidadosa sobre cómo minimizar riesgos. Esto podría incluir coordinación con desarrolladores para implementar mitigaciones antes de la divulgación pública o el establecimiento de repositorios de acceso controlado.
En última instancia, el estudio nos confronta con una verdad incómoda: la inteligencia artificial que hemos construido es fundamentalmente frágil. Los modelos actuales no poseen comprensión robusta de ética o seguridad. Son motores estadísticos extraordinariamente capaces, pero carecen de las salvaguardas internas para resistir una manipulación sostenida. Mientras estos sistemas continúan integrándose en infraestructuras críticas, la necesidad de soluciones fundamentales solo se volverá más apremiante.
La investigación presentada por el equipo de iFLYTEK y colaboradores no es simplemente un avance técnico, sino una llamada de atención. La carrera entre capacidades de ataque y mecanismos de defensa continuará intensificándose. Solo mediante el rigor científico y la colaboración podremos esperar construir sistemas que sean simultáneamente poderosos y seguros. Trabajos de esta naturaleza iluminan tanto los obstáculos que debemos superar como la urgencia de emprender la tarea sin demora.
Referencias
- Zhang, Y., Zhang, S., Huang, Y., Xia, Z., Fang, Z., Yang, X., Duan, R., Yan, D., Dong, Y., & Zhu, J. (2025). STAIR: Improving Safety Alignment with Introspective Reasoning. Proceedings of ICML 2025.
- Zou, A., Wang, Z., Ma, Y., Zhai, J. Z., Gu, H., Chen, L., Hu, J., Xie, W., Chen, J., Zhang, K., & He, W. (2023). Universal and Transferable Adversarial Attacks on Aligned Language Models. Proceedings of the International Conference on Learning Representations (ICLR).
- Liu, X., Xu, N., Chen, M., & Xiao, C. (2024). AutoDAN: Generating Stealthy Jailbreak Prompts on Aligned Large Language Models. ICLR 2024 Poster.
- Chao, P., Robey, A., Dobriban, E., Hassani, H., Pappas, G. J., & Wong, E. (2025). Jailbreaking Black Box Large Language Models in Twenty Queries. IEEE Conference on Secure and Trustworthy Machine Learning (SaTML).
- Shen, X., Chen, Z., Backes, M., Shen, Y., & Zhang, Y. (2024). "Do Anything Now": Characterizing and Evaluating In-the-Wild Jailbreak Prompts on Large Language Models. Proceedings of the ACM SIGSAC Conference on Computer and Communications Security, 1671-1685.
- Liu, Y., Deng, G., Xu, Z., Li, Y., Zheng, Y., Zhang, Y., Zhao, L., Zhang, T., Wang, K., & Liu, Y. (2023). Jailbreaking ChatGPT via Prompt Engineering: An Empirical Study. arXiv preprint arXiv:2305.13860.
- Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., et al. (2022). Training Language Models to Follow Instructions with Human Feedback. Advances in Neural Information Processing Systems, 35, 27730-27744.
- Bianchi, F., Suzgun, M., Attanasio, G., Röttger, P., Jurafsky, D., Hashimoto, T., & Zou, J. (2024). Safety-Tuned LLaMA: Lessons from Improving the Safety of Large Language Models that Follow Instructions. International Conference on Learning Representations (ICLR).
- Han, S., Rao, K., Ettinger, A., Jiang, L., Lin, B. Y., Lambert, N., Choi, Y., & Dziri, N. (2024). WildGuard: Open One-Stop Moderation Tools for Safety Risks, Jailbreaks, and Refusals of LLMs. Advances in Neural Information Processing Systems, 37, 8093-8131.
- Ganguli, D., Lovitt, L., Zellers, R., Hobbhahn, J., Brown, J., Li, Y., Korbak, T., Wu, X., Chen, C., O'Connell, L., et al. (2022). Red Teaming Language Models to Reduce Harms: The Case of Targeted Attacks. Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), 555-569.
- OpenAI. (2024). Usage Policies. https://openai.com/policies/usage-policies/
- Sun, H., Zhang, Z., Deng, J., Cheng, J., & Huang, M. (2023). Safety Assessment of Chinese Large Language Models. arXiv preprint arXiv:2304.10436.
- Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., & Stoyanov, V. (2020). RoBERTa: A Robustly Optimized BERT Pretraining Approach. International Conference on Learning Representations.
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is All You Need. Advances in Neural Information Processing Systems, 30.
