GeneBench-Pro revela el límite real de los modelos

Los datos científicos rara vez llegan como una carpeta ordenada con instrucciones limpias. Llegan con ruido, huecos, covariables mal entendidas, artefactos técnicos, muestras que deberían excluirse, efectos que parecen biológicos pero son estadísticos, y decisiones que se encadenan de forma cruel: si el primer filtro está mal, todo lo demás puede parecer sofisticado y seguir siendo falso. GeneBench-Pro, presentado por OpenAI, pone el dedo justo ahí. No mide memoria enciclopédica. No premia al sistema que recita más siglas. Evalúa si un agente puede actuar como un analista con criterio cuando el terreno se vuelve incierto.

Ese cambio importa porque la biología computacional ya no sufre solo por falta de datos. La caída del costo de la secuenciación, la expansión de biobancos, la disponibilidad de historias clínicas enlazadas y la multiplicación de ensayos moleculares empujaron el cuello de botella hacia otro lugar: convertir datos en decisiones confiables. En ese punto, los modelos capaces de ejecutar análisis multietapa prometen algo más valioso que respuestas rápidas. Prometen acelerar la ruta entre observación, hipótesis, validación y decisión experimental. La promesa es real. La confiabilidad, todavía no.

La cifra central explica la tensión. GPT-5.6 Sol Pro alcanza 31,5 por ciento de aprobación en la suite completa. GPT-5.6 Sol, 28,7 por ciento. GPT-5.5 queda en 12 por ciento, GPT-5.4 en 8,9, y Claude Opus 4.8, el baseline no GPT más fuerte reportado por OpenAI, llega a 16. Los números son impresionantes si se mira el avance desde versiones anteriores. Son insuficientes si se los mira como reemplazo de un experto. Esa doble lectura es la única honesta: el salto es grande y el piso sigue siendo bajo.

La prueba no busca obediencia

La palabra que OpenAI utiliza para describir la capacidad evaluada es research taste, algo difícil de traducir sin empobrecerlo. No es gusto en el sentido estético. Es olfato analítico. Es la habilidad de ver que una correlación puede ser un artefacto, que una población no coincide con el estimando, que un control de calidad no es un paso administrativo sino una decisión causal, que una señal local debe modificar el modelo completo. En investigación real, ese criterio separa al operador obediente del científico competente.

GeneBench-Pro fue construido para evitar una trampa conocida de los benchmarks largos en biología: cuando se usan datasets históricos y preguntas abiertas, puede haber varios caminos defendibles. Un sistema puede fallar no porque razone mal, sino porque eligió una convención distinta a la del autor. También puede ocurrir lo contrario: un problema mal calibrado permite errores graves sin castigo numérico. OpenAI intenta resolver esa tensión con datos sintéticos. Al controlar la estructura causal y el proceso de generación, puede saber qué respuesta es correcta, ajustar la complejidad y verificar mediante ablation studies que los errores plausibles realmente fallen.

Esta decisión tiene un costo: lo sintético nunca es la realidad completa. Pero aquí el costo parece razonable, porque el objetivo no es simular toda la biología, sino aislar una habilidad difícil de medir. El benchmark no pretende reemplazar un laboratorio ni capturar el ciclo entero de descubrimiento. Construye unidades autocontenidas de análisis end-to-end donde cada bifurcación importa. Esa precisión es lo que le da valor. Un examen demasiado realista puede volverse injusto; uno demasiado limpio se vuelve inútil. GeneBench-Pro intenta caminar por el borde.

El diseño fue sometido a revisión externa. Según el paper, 84 problemas candidatos recibieron evaluación de 11 expertos, entre estudiantes de posgrado, posdoctorandos, científicos de industria y profesores; 82 quedaron incluidos en la evaluación final. Las críticas no fueron cosméticas. Detectaron estimandos subespecificados, métodos de referencia mal implementados, targets no recuperables, evidencia conflictiva y configuraciones demasiado artificiales. Esa parte del trabajo es tan importante como el ranking de modelos. Un benchmark científico vale menos por la severidad de su nota que por la calidad de sus objeciones.

El fallo ocurre dentro del razonamiento

Los agentes reciben un entorno de trabajo con Python, librerías científicas, herramientas de genómica como PLINK 2.0 y paquetes de análisis estadístico. No tienen internet. No pueden compensar una mala inferencia con búsqueda externa. Deben hacer lo que haría un analista en una mesa de trabajo: abrir archivos, inspeccionar datos, decidir filtros, correr modelos, mirar diagnósticos, ajustar supuestos y devolver una respuesta estructurada. En un ejemplo público de oncología somática, el sistema debe estimar utilidad clínica neta de un inhibidor sintético en tumores con activación mediada por variantes estructurales, combinando beneficio, toxicidad y una decisión de clase terapéutica. No es una pregunta de examen. Es un pequeño comité molecular encerrado en un problema.

La falla típica es reveladora. Los modelos no siempre se pierden desde el principio. A menudo detectan una señal local correcta, como un artefacto de calidad, un confusor temporal, una inconsistencia de dosis o una estructura poblacional. El problema aparece después: no trasladan esa señal al resto del análisis. Ven el indicio, pero no cambian la decisión metodológica que depende de ese indicio. En términos humanos, se parecen a un analista que anota una alarma en el margen y luego entrega el informe como si no la hubiera visto.

Ahí está el núcleo del avance y del límite. Los sistemas están mejorando en ejecución, pero el trabajo científico no se reduce a ejecutar. Una pipeline puede correr sin errores y producir una conclusión equivocada. Un modelo puede escribir código correcto sobre el subconjunto incorrecto. Puede aplicar una regresión impecable a una población mal definida. Puede detectar batch effects y tratarlos como ruido menor cuando cambian todo el estimando. GeneBench-Pro mide esa zona intermedia donde la técnica y el juicio se confunden. Justamente por eso incomoda.

La comparación histórica vuelve el resultado más interesante. Cuando OpenAI empezó a construir el GeneBench original, su mejor modelo de frontera, GPT-5, quedaba por debajo del 5 por ciento. La nueva versión reporta saltos fuertes con GPT-5.6 Sol, y OpenAI sostiene que, al mayor nivel de razonamiento, resuelve casi seis veces más preguntas que GPT-5.2 usando alrededor de dos tercios de los tokens. Hay dos lecturas. La optimista: los modelos aprenden rápido a sostener análisis largos. La sobria: todavía aprueban menos de un tercio de las tareas en el mejor modo reportado.

La utilidad empieza antes del reemplazo

La tentación comercial será vender estos resultados como antesala de científicos autónomos. Sería una exageración. El propio paper reconoce que los agentes actuales siguen siendo demasiado poco fiables para reemplazar trabajo experto. Pero quedarse solo con esa limitación también sería corto. Una herramienta puede ser valiosa antes de ser autónoma. Si ayuda a explorar rutas de análisis, detectar fallas, proponer controles, comparar estimadores o acelerar la primera pasada sobre un dataset, ya modifica el rendimiento de un equipo científico.

Ese punto conecta GeneBench-Pro con GPT-Rosalind, el modelo de OpenAI orientado a ciencias de la vida. La compañía viene insistiendo en que el valor no está solo en responder preguntas de biología, sino en acompañar flujos de trabajo: revisión de literatura, análisis de datos, diseño experimental, interpretación de resultados y uso de herramientas especializadas. GeneBench-Pro le da a esa narrativa una vara más dura. No evalúa si el modelo suena informado. Evalúa si puede sobrevivir a la fricción de un análisis donde cada decisión afecta la siguiente.

El caso de los 10 problemas liberados públicamente también es relevante. OpenAI publica estudios representativos con prompts, datasets y materiales de apoyo, y planea entregar una parte retenida a Artificial Analysis para benchmarking independiente. Ese movimiento no elimina todas las sospechas. La propia compañía reconoce una inquietud razonable: al usar modelos GPT para desarrollar y endurecer problemas, el benchmark podría favorecer indirectamente a su propia familia. La defensa de OpenAI es que los competidores, en el mejor de los casos, igualan modelos GPT comparables y con frecuencia quedan bastante por debajo. Es una respuesta plausible, aunque la validación externa será decisiva.

La señal de fondo es clara. La evaluación de modelos científicos está dejando atrás el examen de respuesta corta. Las pruebas útiles ya no pueden limitarse a pedir definiciones, resolver preguntas cerradas o comparar contra datasets demasiado pulidos. La investigación real es iterativa, contaminada por decisiones locales y atravesada por incertidumbre. GeneBench-Pro acierta al medir ese terreno. También muestra algo menos cómodo para el entusiasmo tecnológico: todavía no existe un agente capaz de convertir datos biológicos complejos en decisiones confiables de punta a punta con la consistencia que exigiría un laboratorio serio.

La conclusión más fuerte no es que los modelos estén listos para hacer ciencia solos. No lo están. La conclusión es que el trabajo científico empieza a tener un nuevo tipo de asistente evaluable: no uno que decora informes, sino uno que puede ser medido en la cadena real que va del dato crudo a la decisión. Ese desplazamiento cambia la discusión. En adelante, la pregunta ya no será si un sistema “sabe” biología. La pregunta será si sabe cuándo una señal debe cambiar todo el análisis. GeneBench-Pro convierte esa pregunta en examen. Y por primera vez, varios modelos empiezan a responderla, aunque todavía se equivoquen demasiado como para dejarles las llaves del laboratorio.