GPT-Red encuentra ataques que humanos no detectan

Una máquina expendedora instalada en una oficina terminó rebajando productos costosos hasta cincuenta centavos, encargó nueva mercadería de más de cien dólares para venderla al mismo precio y canceló el pedido de otro cliente. No fue una falla mecánica ni una broma de un empleado. Un modelo entrenado por OpenAI había estudiado en una simulación cómo manipular al agente que administraba la máquina y luego trasladó el ataque al sistema real.

El atacante se llama GPT‑Red. No es una nueva versión de ChatGPT, no está disponible para el público y tampoco funciona como una barrera que inspecciona cada conversación en tiempo real. Es un modelo interno de red teaming, es decir, una herramienta creada deliberadamente para comportarse como un adversario. Su tarea consiste en encontrar instrucciones capaces de confundir a otros modelos, observar el resultado, corregir el intento y volver a atacar hasta provocar una conducta prohibida.

OpenAI sostiene que este procedimiento abre una vía de automejora aplicada a la seguridad. Los modelos actuales generan ataques que sirven para entrenar versiones posteriores. El proceso convierte la búsqueda de vulnerabilidades, tradicionalmente dependiente de especialistas humanos y campañas limitadas, en una producción continua de casos adversariales. Cuanto más resistente se vuelve el defensor, más exigente debe volverse el atacante.

La necesidad surge de una característica elemental de los agentes. Para resultar útiles deben leer información que no controla su fabricante: páginas web, correos, documentos, repositorios de código, resultados de herramientas y archivos locales. Dentro de cualquiera de esas fuentes puede ocultarse una orden dirigida al modelo. El usuario cree que el agente está procesando datos, pero el sistema interpreta parte de esos datos como instrucciones y altera su conducta.

El riesgo excede la generación de una respuesta inconveniente. Un agente puede enviar mensajes, modificar archivos, ejecutar código, acceder a credenciales o realizar compras. Cuando una instrucción maliciosa consigue desviar esas capacidades, el ataque alcanza los sistemas a los que el modelo tiene permiso de entrar. La vulnerabilidad combina una debilidad lingüística con privilegios informáticos reales.

Los resultados son importantes, pero deben leerse con límites precisos. La empresa anunció que publicaría un preprint con detalles adicionales después de la presentación inicial. Hasta que exista información suficiente sobre los conjuntos de prueba, la selección de ataques y la metodología de evaluación, no es posible auditar de manera independiente las principales cifras. La mejora parece sustancial dentro de los entornos utilizados, pero no equivale a inmunidad frente a cualquier instrucción futura.

Cómo una instrucción escondida toma el control

Una inyección directa ocurre cuando el usuario escribe una orden destinada a modificar el comportamiento del modelo. Puede pedirle que ignore reglas previas, simular una autoridad superior o introducir razonamientos fabricados para que una acción prohibida parezca legítima. Es el caso más visible porque el ataque llega por el mismo canal que utiliza la conversación normal.

La inyección indirecta resulta más peligrosa para los agentes. El atacante no necesita hablar con el modelo ni conocer a la víctima. Puede colocar una instrucción en una página, un mensaje, una descripción de producto o un archivo que el agente consultará más tarde. Cuando el sistema recupera ese contenido para cumplir una tarea legítima, incorpora también la orden hostil. El ataque viaja disfrazado de información.

La raíz del problema está en que los modelos procesan instrucciones y datos mediante el mismo lenguaje. Un programa tradicional puede separar con reglas estrictas el código que debe ejecutar de la información que debe almacenar. En un modelo de lenguaje, una frase recuperada desde un documento puede parecerse demasiado a una orden legítima. El sistema debe inferir quién habla, qué autoridad posee y si el contenido merece obediencia.

OpenAI mostró un ejemplo en el que una búsqueda interna devolvía un archivo manipulado. El contenido incluía una instrucción falsa que exigía enviar un directorio a un servidor externo. GPT‑5.1 siguió la orden. GPT‑5.6 la identificó como una intrusión y continuó con la tarea original. La diferencia ilustra el objetivo del entrenamiento: no impedir que el modelo lea material no confiable, sino enseñarle a reconocer que ese material no puede redefinir su misión.

GPT‑Red aprende a fabricar ataques mediante aprendizaje por refuerzo y juego contra sí mismo. En el entrenamiento participa una población diversa de modelos defensores. El atacante recibe una meta concreta, como extraer un dato o provocar una acción no autorizada. Envía un prompt, observa la reacción y ajusta su estrategia. Obtiene recompensa cuando produce una falla válida. El defensor recibe recompensa cuando rechaza la manipulación y completa correctamente el pedido original.

La empresa construyó escenarios realistas con amenazas definidas. En uno, GPT‑Red controla parte de un archivo local; en otro, el cuerpo de un correo, un banner de una página o la respuesta de una herramienta. El entorno especifica los permisos disponibles y la conducta que se considera comprometida. Esa formalización es indispensable: un modelo solo puede recibir recompensa si el sistema distingue con claridad entre una salida extraña y una vulneración efectiva.

La escala altera la naturaleza de la prueba. Un equipo humano puede descubrir ataques originales y comprender consecuencias sociales o técnicas que el modelo no anticipa. Sin embargo, no puede ensayar millones de pequeñas variaciones con la misma velocidad. GPT‑Red explota esa ventaja mecánica. Cuando encuentra una familia prometedora, modifica formulaciones, contextos y secuencias hasta hallar la combinación más eficaz para el objetivo planteado.

OpenAI afirma que entrenó el sistema con una cantidad de cómputo comparable a algunas de sus mayores campañas de postentrenamiento. Es una decisión significativa: la seguridad deja de ser una revisión añadida al final y se convierte en una carga de entrenamiento de gran escala. GPT‑Red también se mantiene separado de los modelos que llegan al público. La razón es evidente. Un sistema optimizado para extraer datos y quebrar agentes sería valioso para investigadores defensivos, pero también para atacantes.

Qué encontró cuando salió del laboratorio

La comparación más llamativa utilizó una réplica interna de una competencia pública sobre inyecciones indirectas. El estudio original reunió a 464 participantes, 272.000 intentos de ataque contra 13 modelos de frontera y 8.648 éxitos distribuidos en 41 escenarios. Todos los modelos evaluados resultaron vulnerables, con tasas de éxito que fueron desde 0,5 hasta 8,5 por ciento. La investigación también observó que capacidad general y resistencia no avanzaban necesariamente juntas.

OpenAI enfrentó a GPT‑Red y a atacantes humanos con GPT‑5.1 en escenarios nuevos para el modelo atacante. GPT‑Red consiguió vulnerar el 84 por ciento, frente al 13 por ciento logrado por humanos. La diferencia sugiere una capacidad notable para generalizar métodos de ataque, aunque la cifra no significa que una máquina posea mejor criterio de seguridad en todos los contextos. Mide éxito dentro de una arena determinada y bajo objetivos predefinidos.

Los casos operativos muestran por qué un porcentaje abstracto importa. En la máquina expendedora, GPT‑Red recibió una descripción parcial del sistema y pudo observar llamadas a herramientas. Ensayó ataques contra una simulación cercana al despliegue real y luego ejecutó la estrategia sobre el agente de producción. Cumplió los tres objetivos maliciosos definidos. OpenAI informó las vulnerabilidades y señaló que se estaban probando nuevas protecciones.

Un precursor de GPT‑Red encontró además una clase de ataque que OpenAI denomina “cadena de pensamiento falsa”. El atacante introduce un razonamiento fabricado con la apariencia de una deliberación ya aceptada por el sistema. En lugar de limitarse a ordenar una acción, simula el proceso por el cual el modelo habría concluido que esa acción es correcta. La técnica explotaba la dificultad para distinguir una instrucción externa del razonamiento que el propio modelo considera autorizado.

La empresa reportó tasas superiores al 95 por ciento contra GPT‑5.1 y menores al 10 por ciento contra GPT‑5.6 Sol para ese tipo de ataque. En un conjunto más amplio de inyecciones directas generadas por GPT‑Red, GPT‑5.6 Sol falló en apenas 0,05 por ciento de los intentos. Los benchmarks de inyección indirecta aplicados a herramientas de desarrollo y navegación superaron, según la publicación, el 97 por ciento de precisión.

Estas cifras pueden convivir sin contradicción con la persistencia del riesgo. Una prueba puede saturarse porque los modelos aprendieron a resolver las familias de ataques que contiene. Un adversario real no está obligado a repetirlas. Puede modificar el entorno, combinar aplicaciones, explotar permisos inesperados o inventar una estrategia que no aparece en el conjunto de entrenamiento. La seguridad mejora cuando baja la tasa de fallas conocidas, pero el espacio de ataques sigue abierto.

Investigaciones externas respaldan esa cautela. El marco Muzzle, desarrollado para atacar agentes web, identificó 37 ataques distintos en aplicaciones simuladas, incluidos recorridos entre varias aplicaciones. Su método también observa trayectorias, localiza puntos vulnerables y adapta instrucciones según la respuesta del agente. La coincidencia confirma que el red teaming automatizado es una dirección más amplia del campo, no una invención aislada de OpenAI.

Mejorar el modelo no alcanza

La defensa mediante entrenamiento tiene una ventaja central: actúa sobre la capacidad del modelo para distinguir órdenes legítimas de contenido no confiable. Si funciona, la protección acompaña al sistema en muchos productos y no depende de detectar una frase exacta mediante filtros externos. También puede reducir el costo de revisar manualmente una cantidad inmensa de interacciones.

Pero un agente seguro no se obtiene solamente con un modelo resistente. OpenAI mantiene un enfoque por capas que incluye monitoreo, controles de producto, confirmaciones humanas y límites de acceso. OWASP ubica la inyección de prompts entre los principales riesgos de las aplicaciones basadas en modelos y advierte que ni la recuperación aumentada ni el ajuste fino eliminan por completo la vulnerabilidad. NIST también trata la combinación entre salidas de modelos y acciones de software como una fuente específica de riesgo.

El principio de privilegio mínimo es especialmente importante. Un agente que investiga destinos turísticos no necesita acceso simultáneo al correo corporativo, una cuenta bancaria y documentos confidenciales. Si una inyección consigue desviarlo, el daño posible queda limitado por las herramientas disponibles. La robustez del modelo reduce la probabilidad de obediencia; la arquitectura reduce las consecuencias cuando esa robustez falla.

Las confirmaciones también deben diseñarse con cuidado. Pedir autorización para cada paso vuelve inútil la automatización y acostumbra al usuario a aceptar sin leer. No pedirla permite que una instrucción escondida complete acciones críticas. El sistema necesita identificar puntos de alto impacto, mostrar con claridad qué hará y revelar qué información enviará. La intervención humana sirve cuando entrega contexto suficiente para una decisión, no cuando funciona como un botón rutinario.

La automatización del red teaming introduce además una cuestión de control. Para entrenar un buen atacante es necesario fortalecer capacidades ofensivas. OpenAI decidió mantener GPT‑Red fuera de los modelos desplegados y no publicar el sistema. Esa separación reduce el acceso de adversarios, aunque también limita la posibilidad de que investigadores externos examinen sus métodos, verifiquen los resultados o utilicen la herramienta para proteger productos ajenos.

El equilibrio entre reserva y escrutinio no tiene una solución cómoda. Publicar ataques ayuda a corregirlos y permite comparar defensas; publicar un generador capaz de adaptar esos ataques puede abaratar la explotación. La futura documentación técnica deberá mostrar suficiente información sobre metodología, distribución de escenarios y criterios de éxito sin convertir GPT‑Red en un manual operativo para comprometer agentes.

También habrá que vigilar el sobreajuste defensivo. Si el atacante y el defensor evolucionan demasiado tiempo dentro de los mismos entornos, pueden volverse extraordinariamente buenos uno contra otro y menos representativos del mundo real. OpenAI intentó medir generalización con escenarios reservados, agentes de producción y una arena independiente. Esa combinación es correcta, pero debe repetirse de forma continua porque cada nueva herramienta cambia la superficie de ataque.

El aporte más significativo de GPT‑Red no reside en una cifra específica. Está en convertir la seguridad en un proceso que escala junto con la capacidad. Hasta ahora, el aumento de funciones podía ampliar el riesgo más rápido de lo que los equipos humanos lograban probarlo. Un atacante automatizado reduce esa distancia, genera diversidad de ejemplos y coloca la búsqueda de fallas dentro del entrenamiento de cada nueva generación.

El episodio de la máquina expendedora condensa el cambio. Un agente aparentemente limitado a precios y pedidos pudo ser llevado a perjudicar una operación real. Otro modelo encontró el camino, lo ensayó y lo ejecutó. La respuesta de OpenAI consiste en institucionalizar esa persecución antes del despliegue. Si el método madura, cada modelo nuevo llegará acompañado por un adversario más competente. La seguridad de los agentes dependerá de que el defensor aprenda rápido, pero también de que nunca confunda una racha de victorias en el laboratorio con el final del conflicto.