Los modelos parecen creativos, pero repiten demasiado

Una buena idea científica no siempre parece brillante al nacer. A veces es una sospecha modesta: algo no cierra, una medición falla, un método sirve en un caso pero se rompe en otro, una explicación aceptada deja demasiados cabos sueltos. La investigación empieza ahí, en ese instante raro en el que alguien no solo busca una respuesta, sino que detecta una pregunta que vale la pena perseguir.

El estudio Measuring the Gap Between Human and LLM Research Ideas, firmado por Ziyu Chen, Yilun Zhao y Arman Cohan, pone el dedo justo en ese punto. No analiza si un sistema tipo ChatGPT puede escribir un resumen convincente, ni si puede producir una hipótesis con buen aspecto. Eso ya se sabe: puede. La pregunta es más incómoda. Cuando se le pide que proponga investigaciones nuevas a partir de papers existentes, ¿piensa los problemas como lo hacen los científicos?

La respuesta corta es no del todo. La respuesta larga es más interesante: los modelos producen ideas razonables, incluso prolijas, pero se mueven dentro de un repertorio más angosto que el humano. Ven menos tipos de oportunidades. Repiten con demasiada frecuencia una misma salida: juntar trabajos, conectar enfoques, combinar métodos, unir piezas separadas. Es una forma válida de investigar, por supuesto. El problema aparece cuando esa forma se vuelve casi automática.

En ciencia, no todo avance nace de unir campos. Algunos nacen de romper una suposición. Otros, de mostrar que un instrumento mide mal. Otros, de reemplazar una pieza defectuosa en un método. Otros, de separar dos fenómenos que todos trataban como si fueran uno solo. Ahí está la diferencia que el paper busca medir: no si la máquina suena inteligente, sino cuántas maneras distintas tiene de imaginar una investigación.

El experimento

Para evitar una comparación tramposa, los autores no pidieron ideas sueltas sobre grandes temas. No fue una consigna del estilo “proponga una investigación sobre biología” o “imagine un avance en aprendizaje automático”. Eso habría favorecido respuestas generales, bonitas y poco verificables. En cambio, construyeron una prueba más controlada.

Tomaron papers reales de conferencias de aprendizaje automático como ICLR, ICML y NeurIPS, además de artículos de Nature Communications. De cada trabajo extrajeron la idea central. Luego reconstruyeron un pequeño conjunto de estudios anteriores que podían haber servido como punto de partida. Esos antecedentes, presentados mediante títulos y resúmenes, fueron entregados a los modelos para que propusieran una nueva línea de investigación.

La comparación, entonces, no enfrenta a una persona contra una máquina en el vacío. Enfrenta dos respuestas posibles ante el mismo material de base. De un lado, la idea humana que terminó publicada. Del otro, la idea que genera el modelo al leer los antecedentes. La pregunta deja de ser “¿puede escribir algo convincente?” y pasa a ser “¿qué tipo de problema ve cuando mira la misma literatura?”.

Para ordenar esa comparación, los investigadores usaron una clasificación sencilla en espíritu, aunque rigurosa en su construcción. Miraron dos cosas. Qué problema cree ver cada propuesta. Y qué clase de solución ofrece. Un estudio puede nacer porque falta una explicación, porque hay una contradicción, porque falta evidencia, porque el método actual es frágil, porque hay un límite de recursos o porque distintos trabajos deberían conectarse. Después puede resolverlo midiendo mejor, construyendo una herramienta, ampliando el alcance, haciendo más robusto un método, formalizando una explicación o unificando enfoques.

Ese mapa fue aplicado a 11.683 ideas humanas y a las propuestas generadas por los modelos. La escala importa, porque una sola idea puede engañar. Una propuesta aislada puede sonar original. Mil propuestas empiezan a mostrar costumbres. Y las costumbres, en este caso, son el dato.

El patrón repetido

El resultado más fuerte puede decirse sin jerga: las personas varían más. Los modelos tienden a concentrarse. Cuando los investigadores humanos formularon ideas, solo el 12,1% estuvo centrado principalmente en conectar trabajos o campos que estaban separados. En los modelos, ese tipo de idea apareció muchísimo más: entre el 47,1% y el 64,2%, según el sistema evaluado.

La misma diferencia aparece al mirar la solución propuesta. Entre las ideas humanas, apenas el 5,1% se apoyó principalmente en sintetizar o unificar enfoques. En los modelos, ese movimiento ocupó entre el 22,5% y el 38,7%. No es que la síntesis sea mala. Sería absurdo decirlo: muchísimos avances nacen de cruzar conocimientos. Pero si casi todo se vuelve “combinar A con B”, la creatividad empieza a parecer una receta.

El paper también mide la variedad general de las ideas. En términos simples, los humanos cubren más territorio. Los modelos se amontonan en menos zonas del mapa. Esa menor variedad no significa que cada salida sea pobre. Significa que, al mirar el conjunto, aparecen menos formas de imaginar qué falta y qué conviene hacer.

Hay otro dato que pincha una intuición bastante común. Darles más contexto a los modelos no resolvió el problema. En una prueba adicional, algunos sistemas recibieron información más amplia sobre los trabajos previos. Aun así, no se acercaron más al patrón humano. En ciertos casos, incluso se alejaron. Más lectura no alcanzó para producir más criterio.

Tampoco ayudó necesariamente activar modos de razonamiento extendido. En Qwen3-8B, por ejemplo, el uso de ese modo aumentó las ideas basadas en conexión del 49,7% al 71,1%. También subieron las soluciones de síntesis, del 38,7% al 52,2%. La lectura sencilla es brutal: pensar más no siempre significa pensar distinto. A veces significa insistir con más seguridad en el mismo camino.

La diferencia humana

La parte más reveladora del estudio aparece cuando los autores miran los verbos detrás de las ideas. Los modelos usan mucho operaciones como integrar, unificar, adaptar o fusionar. En cambio, las ideas humanas aparecen más asociadas a movimientos como reemplazar, separar, formalizar o modificar una pieza concreta del problema.

La diferencia es más importante de lo que parece. “Integrar” suele ser una operación amplia: juntar dos líneas de trabajo, mezclar señales, combinar métodos. “Reemplazar” o “separar” exige otra clase de mirada. Supone que alguien detectó una pieza que no funciona, una relación mal entendida o una confusión escondida dentro del mecanismo. Es menos vistoso, pero muchas veces más científico.

Esta observación ayuda a entender por qué muchas propuestas generadas por modelos pueden sonar razonables y aun así ser menos interesantes como conjunto. Una idea puede estar bien redactada, tener vocabulario académico y parecer novedosa en la superficie. Pero si su estructura interna se repite una y otra vez, el brillo se gasta rápido.

El estudio incluso muestra que modelos distintos tienden a parecerse entre sí cuando reciben el mismo punto de partida. Qwen3-8B y DeepSeek-V4-Flash generaron ideas más similares entre ellas que respecto de la idea humana asociada al paper original. Eso sugiere que no se trata solo de una marca o de un modelo particular. Hay un modo compartido de resolver la tarea: tomar conceptos reconocibles y conectarlos de una manera segura.

Para un lector no especializado, la conclusión práctica es clara. Estos sistemas pueden ser útiles para explorar literatura, ordenar antecedentes, sugerir combinaciones y acelerar borradores. Pero no conviene confundir fluidez con olfato científico. El oficio de investigar no consiste solo en producir una propuesta que suene bien. Consiste en advertir qué anomalía merece atención, qué parte de un método está fallando, qué supuesto se volvió cómodo pero falso.

Ahí sigue estando la distancia. Los modelos ven muchos puentes. Los científicos también ven grietas, piezas flojas, zonas mal medidas, preguntas torcidas y mecanismos que conviene desmontar antes de volver a armar. La ciencia no avanza únicamente cuando alguien une dos cosas que estaban separadas. También avanza cuando alguien se anima a decir: esta pieza no va acá.

El futuro de la investigación asistida por estos sistemas no debería medirse solo por la cantidad de ideas generadas. Cantidad ya hay. El desafío real será conseguir variedad útil. Que no propongan siempre juntar, mezclar o unificar. Que aprendan a sospechar, descartar, separar, reemplazar y mirar el detalle menos obvio. En ciencia, la originalidad no es sonar nuevo. Es encontrar el problema que todavía no tenía nombre.