Imitar autores confunde a los detectores

Noventa y nueve autores dejaron, sin saberlo, una prueba para sistemas que todavía no existían. Sus cuentos, artículos de blog y trabajos científicos habían sido publicados antes de noviembre de 2022, cuando ChatGPT todavía no estaba disponible. Epoch AI tomó fragmentos de esa escritura, se los mostró a tres modelos avanzados y les pidió producir textos nuevos con el mismo estilo. Después entregó el resultado a Pangram, GPTZero y Originality.ai.

La operación no incluyó una herramienta clandestina ni una reescritura manual. Cada modelo recibió cinco muestras de un autor y una instrucción de imitación. Ese cambio bastó para alterar el desempeño de los detectores. Cuando Claude Opus 4.8, GPT-5.5 y Gemini 3.1 Pro escribieron a partir de consignas breves y genéricas, los fallos fueron casi inexistentes. Cuando copiaron rasgos de una voz reconocible, entre 30 y 53 de los 297 pasajes generados escaparon a la clasificación automática.

El contraste corrige dos afirmaciones frecuentes. Los detectores comerciales no fallaron de manera caótica ante cualquier texto, pero tampoco conservaron su precisión cuando cambió la forma de pedirle a un modelo que escribiera. La prueba publicada por Epoch AI el 15 de julio no demuestra que esas herramientas sean inútiles. Muestra que su rendimiento depende de la distribución del texto y que una evaluación favorable con prompts elementales puede ocultar una debilidad relevante.

La distinción importa en universidades, editoriales, medios y plataformas que utilizan estos servicios como filtro. Un porcentaje no responde por sí solo quién escribió un documento. Expresa la decisión de un clasificador frente a patrones estadísticos aprendidos en otros textos. Si el generador modifica esos patrones, el detector puede perder señales aunque el pasaje continúe siendo íntegramente sintético.

Una prueba que separa tres escrituras

El diseño del experimento evita mezclar dos errores distintos. Un falso positivo ocurre cuando un texto humano es etiquetado como generado. Un falso negativo aparece cuando el contenido producido por un modelo pasa por humano. Epoch AI evaluó ambos problemas, pero no los redujo a una única cifra de exactitud. Esa decisión permite observar una tensión central: un detector puede evitar acusaciones equivocadas y, al mismo tiempo, dejar escapar una parte del contenido sintético.

El corpus humano reunió 495 pasajes de unas 500 palabras, correspondientes a 99 autores. Un tercio provenía de blogs y boletines, otro de ficción breve y el resto de escritura científica disponible en arXiv. Un agente de programación buscó personas con producción abundante y verificable anterior a 2022. Los fragmentos de blogs y ficción fueron cotejados con copias archivadas en Wayback Machine; los científicos, con las fuentes de arXiv. Cuando dos muestras procedían de una misma obra, no se superponían.

Cada autor aportó cinco ejemplos de referencia para la generación por imitación. Claude Opus 4.8, GPT-5.5 y Gemini 3.1 Pro recibieron ese material y produjeron un pasaje nuevo sobre un asunto elegido por el propio modelo. A continuación, los investigadores extrajeron el tema y redactaron una consigna general, equivalente a pedir un cuento sobre un perro perdido. El mismo modelo produjo entonces otro texto sin muestras estilísticas. El procedimiento creó dos grupos comparables de 297 pasajes, uno de imitación y otro de generación básica.

Los títulos y encabezados fueron retirados para que la clasificación no se apoyara en señales de formato. GPT-5.5 tendía a exceder aproximadamente una vez y media la extensión solicitada; los pasajes largos fueron cortados al final de una oración. Como esa intervención podía dejar una huella exclusiva, Epoch AI también eliminó la última oración de otros textos para reducir el factor de confusión.

La evaluación utilizó Pangram 3.3.2, el modelo 2026-05-11-base de GPTZero y Originality.ai Turbo 3.0.2, disponibles en junio de 2026. Pangram y GPTZero fueron consultados mediante sus interfaces de programación. Originality.ai, que no ofrecía API en el nivel Pro empleado, fue procesado con su cargador web por lotes. Dos documentos que fallaron en esa carga fueron enviados manualmente.

Epoch AI adoptó una regla exigente: solo un veredicto limpio de “AI” contaba como detección correcta. Las etiquetas “Mixed” de Pangram y GPTZero fueron consideradas fallos, porque ninguno de los pasajes combinaba escritura humana y generada. Si esa categoría se aceptara como detección, la tasa de falsos negativos de imitación bajaría de 10,1% a 6,1% para Pangram y de 10,8% a 8,8% para GPTZero. Originality.ai no ofrece una etiqueta equivalente.

En la condición básica, Pangram detectó los 297 pasajes. GPTZero perdió dos y Originality.ai uno, equivalentes a tasas redondeadas de 1% y 0%. La imitación produjo otra distribución: Pangram dejó pasar 30 textos, GPTZero 32 y Originality.ai 53. No hubo un detector inmune ni un modelo generador que evitara el problema en todas las combinaciones.

Los resultados humanos fueron más favorables que los de numerosos estudios anteriores. Pangram y GPTZero no clasificaron como generado ninguno de los 495 fragmentos genuinos. Originality.ai marcó 19, una tasa de 3,8%. Dieciséis de esos errores aparecieron en ficción. El corpus, sin embargo, está formado por escritores conocidos con obra publicada, no por tareas escolares espontáneas ni por una muestra representativa de todas las variedades del inglés.

La prosa científica concentra los fallos

El promedio general esconde una diferencia mayor entre géneros. Los tres detectores reconocieron casi toda la ficción imitada: sus falsos negativos quedaron entre 1% y 5%. En blogs, Pangram perdió 4%, GPTZero 6% y Originality.ai 19%. La escritura científica elevó esas tasas a 25%, 24% y 29%. Casi uno de cada cuatro pasajes sintéticos con estilo científico atravesó los dos detectores más precisos del conjunto; Originality.ai se acercó a tres de cada diez.

La explicación no puede atribuirse a un único mecanismo porque los productos declaran enfoques diferentes. GPTZero describe el uso de perplejidad y variación de la perplejidad, conocidas como burstiness: mide cuán previsibles son las elecciones de palabras y cuánto cambia esa previsibilidad dentro del documento. Pangram afirma utilizar un clasificador neuronal entrenado sin depender de perplejidad. Originality.ai se presenta como un clasificador supervisado sobre un gran corpus etiquetado de escritura humana y sintética.

Aun con arquitecturas distintas, los tres pueden aprender regularidades estilísticas asociadas con sus datos de entrenamiento. La prosa científica humana ya posee muchas características que suelen vincularse con producción automática: terminología estable, estructura expositiva, frases cautelosas, menor presencia de experiencias personales y convenciones compartidas. Cuando un modelo recibe ejemplos de un científico real, la señal de autoría puede acercarse todavía más a una distribución humana especializada.

Las celdas más difíciles muestran que el generador también influye. En ciencia, Pangram dejó pasar 48% de los textos de Gemini 3.1 Pro y GPTZero, 36%. Originality.ai alcanzó su peor resultado con GPT-5.5, 39%. Esas celdas contienen solo 33 pasajes cada una, de modo que no justifican un ranking definitivo entre modelos. Sí revelan que la precisión agregada puede ocultar combinaciones concretas mucho más vulnerables.

La prueba tampoco reproduce todos los métodos de evasión disponibles. No evalúa paráfrasis automáticas, edición humana, traducción de ida y vuelta, cambios deliberados de puntuación ni servicios que se venden como “humanizadores”. Trabajos académicos anteriores ya habían mostrado que la reescritura y el desplazamiento entre dominios reducen la sensibilidad. Una evaluación publicada en Findings of NAACL en 2025 encontró tasas de detección extremadamente bajas en determinadas condiciones no vistas, incluso con falsos positivos controlados.

RAID, un benchmark publicado en ACL 2024, reunió millones de generaciones y múltiples ataques adversariales para evaluar la robustez fuera de conjuntos cerrados. Sus autores concluyeron que el desempeño puede degradarse de manera pronunciada cuando cambian modelos, dominios o estrategias de modificación. La investigación de Epoch AI no contradice esos resultados. Añade un escenario especialmente simple: el modelo no reescribe un documento ya creado, sino que genera desde el comienzo con referencias de estilo humano.

Detectar no equivale a demostrar

El principal riesgo práctico aparece cuando una clasificación probabilística se convierte en una acusación. La prueba de Epoch AI ofrece una imagen relativamente favorable para Pangram y GPTZero sobre escritura humana, pero no valida su uso como evidencia única. Su muestra no incluye estudiantes, hablantes no nativos, textos breves, documentos híbridos ni español. Tampoco mide el efecto de revisiones gramaticales legítimas o de herramientas de accesibilidad.

Una línea de investigación previa mostró que algunos detectores confundían con mayor frecuencia el inglés de hablantes no nativos con producción automática. El trabajo de Liang, Yuksekgonul, Mao, Wu y Zou, publicado en Patterns en 2023, vinculó parte del problema con una menor perplejidad estadística. Estudios de 2026 continúan examinando el fenómeno y advierten que el desempeño agregado puede ocultar diferencias entre poblaciones, géneros, niveles de competencia lingüística y condiciones económicas.

Los propios proveedores introducen cautelas. Turnitin informa que su modelo puede confundir escritura humana, generada y parafraseada, y establece que el reporte no debe ser la única base para tomar medidas adversas contra un estudiante. También oculta el porcentaje exacto cuando el resultado está entre 1% y 19%, porque en ese rango los falsos positivos son más probables. Esa política reconoce que una puntuación no es equivalente a una determinación de conducta.

La tasa base modifica además el significado de cualquier alarma. Si en un conjunto de mil trabajos solo diez contienen uso no permitido, incluso un detector con una tasa de falsos positivos baja puede producir una cantidad de alertas incorrectas comparable con los casos reales. La precisión comercial anunciada fuera de un contexto no permite calcular cuántas acusaciones serán correctas en una institución concreta. Hace falta conocer la prevalencia, el tipo de texto, la extensión y la población evaluada.

En educación, un procedimiento más sólido combina evidencias de proceso. Los borradores sucesivos, notas de lectura, referencias, historial de edición, defensas orales y actividades realizadas en clase permiten observar cómo se construyó un trabajo. Ninguna de esas señales es perfecta por separado, pero juntas describen aprendizaje y autoría con más información que un porcentaje opaco.

La solución no consiste en abandonar toda detección. En moderación de plataformas, fraude masivo o análisis de campañas, un clasificador puede ser útil para priorizar grandes volúmenes sin imponer una sanción individual automática. En esas tareas importa la capacidad de ordenar casos para revisión. El umbral adecuado cambia cuando el resultado afecta una calificación, un empleo, una publicación o la reputación de una persona.

La investigación de Epoch AI tiene límites que impiden convertir sus cifras en una garantía. Los 99 autores no representan toda la escritura humana; las celdas por género y modelo contienen 33 generaciones; los textos rondan 500 palabras; solo se evaluó inglés y un método de imitación. Los detectores pueden ser modificados después de la prueba. El código y los datos publicados permiten inspeccionar el procedimiento, pero los resultados todavía no constituyen una replicación independiente de las afirmaciones comerciales de cada producto.

También existe una cuestión conceptual. Un texto puede ser escrito por una persona, corregido por un modelo, reestructurado por otra herramienta y revisado nuevamente por su autor. Las categorías binarias pierden información ante ese proceso. GPTZero y Pangram intentan responder con etiquetas mixtas, pero Epoch AI contó esas salidas como no detecciones porque su material era enteramente generado. En el uso real, la mezcla no es una excepción metodológica sino una forma creciente de producción.

La fecha de la prueba también forma parte del resultado. Los clasificadores fueron fijados en versiones concretas de junio de 2026, mientras los generadores pertenecen a la frontera disponible en ese momento. Una actualización puede corregir parte de la debilidad y crear otra frente a nuevos modelos o estilos. La detección de texto no se evalúa una sola vez: funciona dentro de una competencia técnica cuyos dos extremos continúan cambiando.

Los cinco textos de referencia entregados a cada modelo no escondieron una máquina detrás de errores tipográficos ni de una cadena complicada de transformaciones. Le enseñaron cómo escribía alguien. Ese procedimiento convierte la voz humana en una condición de generación y borra parte de la distancia que el detector esperaba encontrar. Cuanto más capaz sea un modelo de incorporar estilos, dominios y revisiones, menos razonable resultará tratar una puntuación aislada como una firma de origen.