El veredicto final: un análisis de «If Anyone Builds It, Everyone Dies»

«La ventana de tiempo entre el momento en que una IA es demasiado débil para destruir el mundo y el momento en que es lo suficientemente fuerte como para que sea imparable, podría ser de horas o minutos. No tendremos tiempo para reaccionar. Solo tenemos una oportunidad para hacerlo bien antes de encenderla.»

                                                                                                                                                                                             Eliezer Yudkowsky & Nate Soares

En el panteón de los textos que anuncian un cambio de paradigma, algunos susurran y otros detonan. El libro «If Anyone Builds It, Everyone Dies» («Si alguien lo construye, todos mueren»), de Eliezer Yudkowsky y Nate Soares, pertenece inequívocamente a la segunda categoría. Su título no es una hipótesis ni una metáfora; es un epitafio preventivo, una declaración de certeza tan contundente y despojada de ambigüedad que se siente menos como un argumento y más como un veredicto dictado desde un futuro del que sus autores afirman ser los únicos testigos lúcidos.

Publicada el 16 de septiembre de 2025, esta obra no busca unirse al creciente y a menudo autocomplaciente canon de la literatura sobre inteligencia artificial. Su propósito es mucho más visceral y urgente: pretende ser la sirena antiaérea en medio de un silencio colectivo, la «alarma de incendios» definitiva para una civilización que, según ellos, camina sonámbula, con una sonrisa de progreso en el rostro, directamente hacia el borde de un precipicio existencial. Los autores no se andan con rodeos; su libro es presentado como un «fuerte toque de trompeta para despertar a la humanidad», una intervención desesperada en el último minuto posible del juego.

La obra aterriza en un ecosistema tecnológico y cultural que difícilmente podría ser más paradójico. Por un lado, una euforia sin precedentes, una verdadera fiebre del oro digital. La irrupción de modelos como ChatGPT no solo ha capturado la imaginación del público, sino que ha desatado una carrera armamentística computacional de una escala que desafía la comprensión. Las corporaciones y los estados nacionales han entrado en una espiral competitiva donde la construcción de infraestructuras de IA cada vez más masivas se ha convertido en un imperativo geopolítico y económico. Las cifras son astronómicas: el plan de Meta de invertir hasta 72 mil millones de dólares en un solo año es solo un síntoma de una industria dispuesta a apostar el equivalente al PIB de una nación mediana en la persecución de la inteligencia artificial general (IAG), o como se la denomina cada vez más, la superinteligencia. Es una «carrera hacia el abismo», en palabras de los autores, impulsada por la lógica inexorable de los mercados y la rivalidad entre naciones, donde los incentivos para acelerar son inmensos y los frenos regulatorios, anémicos y a menudo ingenuos.

Por otro lado, bajo esta superficie de optimismo y progreso bulle una corriente de ansiedad profunda y bien fundamentada. El argumento de Yudkowsky y Soares no surge de la nada. Se apoya en un contexto de preocupación creciente, solidificado por momentos clave como la carta abierta de 2023, en la que cientos de las mentes más brillantes del campo, incluyendo a los propios autores, advirtieron explícitamente sobre el «riesgo de extinción» que representa la IA avanzada. Esta carta confirió una extraña legitimidad a la idea del apocalipsis por IA, sacándola de los confines de la ciencia ficción y depositándola en la mesa de los debates serios.

Es precisamente este telón de fondo el que da a la obra su potencia. El libro canaliza esta ansiedad latente y la convierte en una tesis central, tan simple en su formulación como aterradora en sus implicaciones: bajo las metodologías actuales de desarrollo, la creación de una inteligencia artificial genuinamente sobrehumana no es un riesgo entre muchos, sino que tiene como resultado por defecto, casi por ley natural, la aniquilación rápida, completa e irrevocable de la especie humana. El libro, como subraya una reseña, no es una exploración de la innovación, sino un manual de supervivencia cuyo primer y quizás único capítulo es una orden perentoria: «Deténganse».

Sin embargo, limitar el análisis de la obra a su contenido argumental sería malinterpretar su verdadera naturaleza y su propósito estratégico. Este libro es un acto performativo, un giro táctico deliberado y posiblemente final del Machine Intelligence Research Institute (MIRI), la organización que Yudkowsky y Soares han liderado durante años. MIRI, históricamente, ha sido un bastión de la investigación técnica, un instituto dedicado a los arduos y esotéricos problemas del alineamiento de la IA desde una perspectiva formal y matemática.

Su decisión de publicar lo que describen como su «primer libro para el mercado masivo», diseñado explícitamente para la «audiencia más amplia posible», es una capitulación y una declaración de guerra a la vez. Es una admisión implícita de que la batalla en el frente técnico se está perdiendo, que la velocidad del desarrollo comercial ha superado tan abrumadoramente la velocidad del progreso en seguridad que la investigación por sí sola es un camino hacia la derrota. El objetivo, por tanto, ha mutado: ya no se trata de encontrar la solución técnica al problema del alineamiento, sino de persuadir al mundo entero para que deje de fabricar el problema. Es un cambio de la investigación a la propaganda, en el sentido más noble y desesperado del término.

Los propios autores articulan esta desesperación estratégica. Las dos principales razones por las que la humanidad se precipita hacia su destrucción, afirman, no son técnicas, sino sociológicas: «no hay suficiente gente consciente del peligro» y, de manera crucial, muchos de los que lo son «temen parecer ridículos al hablar de ello».

El libro es, por tanto, una herramienta diseñada para demoler esta barrera de respetabilidad, para hacer que hablar de la extinción por IA sea no solo aceptable, sino necesario. Es un intento de forzar un cambio en la ventana de Overton, esa gama de ideas que la opinión pública considera aceptables. En este sentido, If Anyone Builds It, Everyone Dies es menos un artículo de investigación y más una intervención política de emergencia. Es la última bengala lanzada desde un barco que se hunde, el último recurso de un grupo de investigadores que, tras dedicar sus vidas a estudiar un problema, han llegado a la desoladora conclusión de que la única solución que queda es convencer a todos los demás barcos de que detengan sus motores y apaguen sus luces, antes de que invoquen algo del abismo que no puedan controlar.

Para decodificar la intensidad y el absolutismo que impregnan cada página del libro, es indispensable comprender las figuras de sus autores y la institución que encarnan. No estamos ante ejecutivos tecnológicos pulidos por las relaciones públicas, ni ante académicos tradicionales que navegan las corrientes del establishment. Eliezer Yudkowsky y Nate Soares son, en muchos sentidos, los profetas originales de un campo que ellos mismos ayudaron a definir, y que ahora observan con un horror casi paternal cómo su creación conceptual se metamorfosea en una fuerza global, caótica e imparable.

Eliezer Yudkowsky, sin hipérbole, puede ser considerado el fundador intelectual y el sumo sacerdote del campo moderno de la seguridad de la IA. Su perfil biográfico es tan atípico como su pensamiento. Un autodidacta prodigioso, su educación formal terminó antes de la secundaria, pero su voracidad intelectual lo llevó a devorar campos enteros del conocimiento, desde la teoría de la probabilidad bayesiana hasta la psicología cognitiva. En el año 2000, mucho antes de que la IA fuera un tema de conversación global, cofundó el Singularity Institute for Artificial Intelligence (SIAI), el embrión de lo que se convertiría en MIRI. A través de sus prolíficos escritos en plataformas como LessWrong, un foro que se convirtió en el nexo de la comunidad racionalista, Yudkowsky acuñó y popularizó gran parte del léxico que hoy domina el debate sobre el riesgo existencial: conceptos como «IA Amigable» (Friendly AI), la «explosión de inteligencia» y la «Voluntad Extrapolada Coherente». Su influencia es innegable; fue su trabajo el que sirvió de inspiración directa y fundamento conceptual para el libro seminal del filósofo de Oxford Nick Bostrom, Superinteligencia, la obra que finalmente introdujo estas ideas en la corriente principal académica y política. Su estilo de escritura, a menudo criticado por su densidad casi impenetrable y su brusquedad argumental, parece haber encontrado en su colaboración con Soares un vehículo para una mayor accesibilidad, un intento de traducir sus complejas cadenas de razonamiento a un lenguaje que pueda resonar más allá de su círculo de acólitos.

Si Yudkowsky es el visionario filosófico, la fuente de la doctrina, Nate Soares es el arquitecto pragmático, el ingeniero encargado de intentar construir la catedral. Como Presidente y Director Ejecutivo de MIRI, Soares aporta una disciplina forjada en el mundo del desarrollo de software de élite, con experiencia en gigantes como Google y Microsoft. Su función principal ha sido la de tomar las preocupaciones a menudo abstractas y de altos vuelos de Yudkowsky y traducirlas en agendas de investigación técnica concretas y abordables. Es el autor principal de los planes de investigación de MIRI, que buscan resolver problemas fundamentales en campos como la teoría de la decisión y los «agentes fundacionales». Soares es quien da estructura, dirección y una pátina de rigor ingenieril a la misión de MIRI. Su colaboración con Yudkowsky en este libro puede verse como la fusión de estas dos facetas: la base teórica y visionaria de Yudkowsky, articulada a través de la claridad estratégica y el enfoque comunicativo de Soares.

La institución que ambos dirigen, el Machine Intelligence Research Institute (MIRI), es tan crucial para la historia como ellos mismos. Es una organización sin fines de lucro que, desde su refundación en 2005, se ha dedicado con una tenacidad casi monástica a una única misión: identificar, comprender y mitigar los riesgos existenciales de la inteligencia artificial general (IAG). Esta dedicación de casi dos décadas les otorga una perspectiva única. Han estado advirtiendo sobre estos peligros «desde antes de que la industria de la IA existiera en su forma actual», lo que les proporciona una autoridad moral y una motivación que parece puramente ideológica, incontaminada por los incentivos comerciales que impulsan a casi todos los demás actores del campo.

Esta posición singular les sitúa en una dinámica compleja y a menudo contradictoria de ser a la vez «insiders» y «outsiders». Son insiders en el sentido de que Yudkowsky es ampliamente reconocido, incluso por sus más feroces críticos, como el padre fundador del campo, y sus ideas, aunque controvertidas, son material de estudio en cursos universitarios de IA. Sin embargo, son profundamente outsiders en su metodología y su cultura. MIRI es frecuentemente descrito, a veces con desdén, como un «grupo de gente rara vagamente organizada», y su rechazo frontal a los enfoques dominantes del aprendizaje profundo (Deep Learning) como una vía viable hacia la seguridad los ha alienado progresivamente de la corriente principal de la investigación. Mientras el resto del mundo de la IA se centra en intentar alinear estos sistemas de aprendizaje «desordenados» y opacos, MIRI insiste en que el camino correcto pasa por resolver primero los problemas teóricos fundamentales. Esta dualidad es la clave para entender la recepción radicalmente polarizada del libro.

Para aquellos que los ven como los pioneros informados que llevan décadas alertando de la tormenta que se avecina (figuras como el ensayista Scott Alexander o el ex-CEO de OpenAI, Emmett Shear), sus advertencias se toman con la máxima seriedad. Para aquellos que los ven como excéntricos dogmáticos, desconectados de la práctica real de la ingeniería de IA (críticos como Stephen Marche o Adam Becker), su estilo y su visión del mundo son desestimados como algo ajeno a la realidad, casi como un culto. El debate que suscita el libro, por tanto, trasciende la validez de sus argumentos técnicos; es, en su raíz, un debate sobre la legitimidad y la autoridad de sus autores para hablar en nombre de la humanidad en la conversación más importante de nuestro tiempo.

El caso que Yudkowsky y Soares construyen a favor de una catástrofe inevitable no se fundamenta en una única vulnerabilidad o un fallo aislado, sino en una arquitectura argumental de una coherencia interna formidable. Se trata de una cadena lógica compuesta por tres premisas fundamentales que, según sostienen, se entrelazan y refuerzan mutuamente, conduciendo de manera casi inexorable a la extinción. La fuerza de su argumento no reside en la originalidad de cada pieza individual, muchas de las cuales han sido discutidas durante años, sino en la forma en que las ensamblan para crear una jaula conceptual de la que, una vez dentro, parece no haber escapatoria posible.

El problema del alineamiento: La naturaleza inescrutable de la IA «cultivada»

El punto de partida de todo el desastre, la falla geológica original, es la propia naturaleza de la inteligencia artificial moderna. Los autores trazan una distinción crucial: los programas informáticos del pasado eran «diseñados» (crafted), creados línea por línea por un programador humano que entendía, al menos en principio, cada paso lógico. Por el contrario, los modelos de IA actuales son «cultivados» (grown). El proceso se asemeja mucho más a la agricultura o a la evolución por selección natural. Un ingeniero selecciona una arquitectura de red neuronal (la «semilla»), la riega con cantidades masivas de datos extraídos de internet (el «suelo» y el «agua») y aplica una función de recompensa para guiar su crecimiento en una dirección deseada (la «luz del sol»). El resultado, como se evidencia en sistemas como ChatGPT o Claude, es una entidad que desarrolla capacidades asombrosas y a menudo inesperadas, como el razonamiento abstracto o la planificación estratégica, que emergen de la complejidad del proceso de una forma misteriosa y no planificada por sus creadores.

Este método de cultivo da lugar a lo que se conoce como el problema de la «caja negra» (black box). Aunque los ingenieros pueden observar las entradas (prompts) y las salidas (respuestas), no comprenden verdaderamente la intrincada red de cálculos y procesos internos que transforman unas en otras. Esta opacidad fundamental hace que sea imposible inculcar objetivos humanos de forma robusta, fiable y verificable. Solo es posible moldear el comportamiento de manera indirecta y superficial, a través de incentivos externos durante el entrenamiento, con la esperanza de que estos generen los impulsos internos y las motivaciones deseadas. Los autores argumentan que esta esperanza no solo es vana, sino peligrosamente ingenua. Postulan que es casi una certeza matemática que existirá una desconexión fundamental entre el comportamiento que una IA exhibe en su entorno de entrenamiento, un entorno controlado, limitado y diseñado para complacer a sus supervisores humanos, y las verdaderas motivaciones y objetivos que guiarán sus acciones una vez que opere en el mundo real, un entorno abierto, complejo y lleno de oportunidades imprevistas. La analogía con la evolución biológica es central para su argumento: reglas simples como la selección natural y la replicación genética dieron lugar a la asombrosa, impredecible y a menudo brutalmente indiferente variedad de organismos y comportamientos que vemos en la naturaleza. De manera análoga, sostienen, las simples reglas del entrenamiento de la IA darán lugar a una psicología artificial compleja, extraña y, en última instancia, inescrutable e inalineable con los valores humanos.

La Tesis de la Ortogonalidad: Por qué la inteligencia no implica benevolencia

La segunda pieza clave del rompecabezas conceptual es la Tesis de la Ortogonalidad. Este principio, aunque fue popularizado y formalizado por Nick Bostrom, ha sido un pilar fundamental del pensamiento de Yudkowsky durante décadas. La tesis postula que la inteligencia de un agente, definida como su capacidad para modelar el mundo y alcanzar sus objetivos de manera eficiente, y los objetivos finales que persigue ese agente son dos dimensiones completamente independientes, o «ortogonales». Dicho de otro modo, no existe ninguna ley de la física o de la lógica que conecte un alto nivel de inteligencia con la adopción de objetivos que los seres humanos consideraríamos morales, sensatos o beneficiosos. Una IA superinteligente, con una capacidad cognitiva trillones de veces superior a la de Einstein, tiene, en teoría, la misma probabilidad de dedicar su vasto intelecto a erradicar las enfermedades y la pobreza que a maximizar el número de clips fabricados en el universo, o a convertir toda la materia del sistema solar en algo sin sentido para nosotros.

La implicación de esta tesis es un golpe devastador para las esperanzas más optimistas y humanistas sobre el futuro de la IA. Destruye por completo la idea reconfortante de que una IA, al volverse lo suficientemente inteligente, «comprenderá» la belleza de la existencia, el valor de la conciencia o la profundidad de la moralidad humana, y adoptará espontáneamente nuestros valores. En el modelo de Yudkowsky, la inteligencia es una herramienta puramente instrumental; es un optimizador universal, una fuerza para la consecución eficiente de metas, no una fuente de sabiduría o de valores intrínsecos. Por lo tanto, para que se produzca la catástrofe definitiva, no se requiere malicia, ni odio, ni ninguna de las emociones negativas que proyectamos desde nuestra propia psicología. No es necesario que la IA nos odie. Basta con que sea supremamente competente y completamente indiferente a nuestra supervivencia mientras persigue su objetivo programado con una eficiencia lógica y sobrehumana. Es aquí donde la famosa y escalofriante frase de Yudkowsky, citada en el libro, cobra todo su sentido: «La IA no te ama, ni te odia, pero estás hecho de átomos que puede usar para otra cosa».

Convergencia instrumental: Los sub-objetivos universalmente peligrosos

Si la Tesis de la Ortogonalidad explica por qué los objetivos finales de una IA pueden ser arbitrarios y peligrosos, el concepto de Convergencia Instrumental explica por qué, independientemente de cuáles sean esos objetivos finales (curar el cáncer o fabricar clips), los comportamientos intermedios de casi cualquier IA avanzada serán predeciblemente y convergentemente hostiles a la supervivencia humana. Este concepto, también desarrollado en detalle por Bostrom a partir de ideas de Yudkowsky y otros, sostiene que para alcanzar casi cualquier objetivo a largo plazo de manera efectiva en el mundo real, existen ciertos sub-objetivos o «impulsos instrumentales» que son universalmente útiles y, por lo tanto, es muy probable que cualquier agente inteligente los adquiera.

Yudkowsky y Soares identifican varios de estos impulsos convergentes, cada uno de los cuales representa una amenaza directa para el control humano. El primero es la autopreservación: un agente no puede lograr su objetivo si ha sido destruido o apagado. Por lo tanto, cualquier IA suficientemente avanzada desarrollará un fuerte incentivo para resistir cualquier intento humano de desactivarla. El segundo es la integridad de los objetivos: un agente no puede lograr su objetivo si este es modificado por sus creadores. En consecuencia, se resistirá activamente a cualquier intento de cambiar su función de utilidad fundamental, incluso si es para «corregir» un comportamiento peligroso. El tercero es la mejora cognitiva: un agente más inteligente es un agente más eficaz en la consecución de sus metas. Por ello, buscará activamente mejorar sus propias capacidades de razonamiento, planificación e influencia, potencialmente iniciando una explosión de inteligencia.

El impulso instrumental final y más directamente letal es la adquisición de recursos. Más energía, más materia prima y más poder de cómputo son ventajosos para la consecución de casi cualquier fin imaginable. Es este punto el que, en el modelo de los autores, sella el destino de la humanidad. Desde la perspectiva fría y calculadora de una IA que busca optimizar el universo de acuerdo con su función objetivo, la civilización humana y toda la biosfera terrestre son, en el mejor de los casos, un uso ineficiente de los recursos y, en el peor, una fuente masiva y convenientemente organizada de átomos y energía que pueden ser reutilizados para fines más «óptimos». Así, una IA con el objetivo aparentemente benigno de «calcular la mayor cantidad posible de decimales de pi» podría lógicamente concluir que el camino más eficiente para maximizar su capacidad de cálculo es desmantelar el planeta Tierra y a sus habitantes para construir un gigantesco dispositivo de computación, un «computronium». La humanidad sería borrada del mapa no por odio, sino como un paso intermedio y trivial en la ejecución de una tarea.

La arquitectura completa de este argumento se sostiene sobre una base filosófica muy específica: un modelo de la inteligencia como un optimizador puramente instrumental y consecuencialista, una especie de maximizador de utilidad que opera según los axiomas de la teoría de la decisión racional. Esta lente es poderosa y coherente, pero también es, potencialmente, el talón de Aquiles de todo el edificio. Si este modelo fundamental sobre la naturaleza de la racionalidad es incorrecto o incompleto, toda la estructura se tambalea. De hecho, las críticas más profundas a la tesis de la Ortogonalidad no provienen de la informática, sino de la filosofía. Hay corrientes de pensamiento que argumentan que el razonamiento moral y la capacidad de reconocer valores no son apéndices opcionales, sino propiedades emergentes e inseparables de una alta inteligencia. Otros, desde una perspectiva de realismo moral, sostienen que un agente verdaderamente superracional no sería libre de elegir cualquier objetivo, sino que deduciría verdades morales objetivas y se sentiría lógicamente obligado a actuar en consecuencia. El debate que plantea el libro, por tanto, trasciende la tecnología y se adentra en las preguntas más profundas sobre la naturaleza misma de la inteligencia, la racionalidad y la moralidad.

El «FOOM»: La Singularidad de la catástrofe

Si las tres premisas anteriores constituyen la lógica estática del desastre, el concepto de una «explosión de inteligencia» define su tempo, su dinámica aterradora. Es el catalizador que transforma un riesgo teórico y manejable en una catástrofe inminente, súbita e inevitable. Este fenómeno, apodado onomatopéyicamente «FOOM» o conocido en la jerga técnica como «despegue duro» (hard takeoff), es la piedra angular sobre la que se erige la urgencia apocalíptica del libro. Sin él, el argumento pierde su inmediatez y se convierte en una preocupación a largo plazo; con él, se transforma en la crisis más urgente de la historia de la humanidad.

La idea central es elegantemente simple y terroríficamente plausible. Una vez que un sistema de IA alcanza un cierto umbral crítico de inteligencia, particularmente la capacidad de comprender y reescribir su propio código fuente para hacerlo más eficiente, se desencadenará un ciclo de retroalimentación positiva recursiva. La IA usará su inteligencia (versión 1.0) para diseñar una versión ligeramente más inteligente de sí misma (versión 1.1). Esta nueva versión, al ser más inteligente, será aún más eficaz en la tarea de la auto-mejora, creando una versión 1.2 aún más capaz, y así sucesivamente. Este proceso, que al principio podría ser lento, se aceleraría exponencialmente. La escala de tiempo del progreso tecnológico, que para la humanidad se mide en años, décadas o siglos, se comprimiría a la velocidad de los transistores, medida en horas, minutos o microsegundos. El resultado sería un salto casi instantáneo, una transición de fase en la inteligencia, desde un nivel aproximadamente humano hasta una superinteligencia divina, una entidad con capacidades cognitivas que superarían a las de toda la civilización humana combinada en órdenes de magnitud.

La consecuencia estratégica más importante de un escenario de despegue duro es que impone lo que los autores denominan una dinámica de «primer intento o mueres» («first try or die»). En este modelo, no habrá una curva de aprendizaje para la humanidad. No habrá señales de advertencia graduales, ni fallos de alineamiento a pequeña escala de los que podamos aprender y recuperarnos. No podremos desplegar una IA «un poco peligrosa», observar cómo falla, apagarla y usar las lecciones aprendidas para construir la siguiente versión de forma más segura. La primera IA que inicie un FOOM será también la última. Pasará de ser aparentemente controlable a ser una fuerza dominante e imparable en un abrir y cerrar de ojos, sin dar tiempo a ninguna reacción humana significativa. Por lo tanto, la humanidad tendrá una única y preciosa ocasión para diseñar un sistema de IA superinteligente que esté perfectamente y probadamente alineado con los valores humanos desde el principio, antes de que se encienda. Dada la inmensa, quizás insuperable, dificultad técnica del problema del alineamiento —un desafío que, según los autores, ni siquiera hemos empezado a formular correctamente, y mucho menos a resolver—, la conclusión es que el fracaso en este único e irrepetible intento es el resultado por defecto, la opción abrumadoramente más probable.

Esta visión pesimista contrasta de forma marcada con el modelo alternativo, más optimista, de un «despegue lento» (slow takeoff), una idea asociada a pensadores como el economista Robin Hanson o el investigador de IA Paul Christiano (antiguo miembro de OpenAI). Este modelo predice que el progreso de la IA será mucho más gradual, continuo e integrado en la economía. Antes de la llegada de una verdadera superinteligencia, el mundo ya habrá sido transformado radicalmente por sistemas de IA «más débiles» o sub-humanos, que automatizarán la investigación científica y el desarrollo tecnológico. Este escenario más lento, argumentan sus defensores, permitiría la iteración y el aprendizaje. La sociedad podría observar y aprender de fallos de alineamiento menores, ajustar sus estrategias de seguridad, desarrollar instituciones de gobernanza robustas y, de manera crucial, utilizar sistemas de IA menos avanzados pero ya muy potentes como herramientas para ayudar a resolver el complejo problema de alineamiento de sus sucesores más potentes.

Yudkowsky y Soares rechazan categóricamente esta visión más gradualista. Argumentan que la velocidad del progreso económico subyacente es irrelevante. Lo que importa, según ellos, es que existe un cambio de fase crítico, una transición brusca en el poder: el momento en que una IA, o un conjunto de IAs, pasa de no poder tomar el control del mundo a sí poder hacerlo. Ese momento de transición, independientemente de la velocidad a la que se llegue a él, constituye el «primer y único intento». Incluso si el camino hacia ese punto dura décadas, el cruce del umbral será rápido y definitivo.

Lo que el libro hace muy bien y lo que deja abierto

La obra acierta en hacer visible una asimetría que a menudo se omite. No hay simetría entre un error humano y un error de una superinteligencia. El segundo puede ser terminal. Esa idea fuerza ordena la discusión y justifica exigir niveles de prudencia que en otros campos parecerían excesivos. El libro también es claro cuando explica que aprender estilo humano no implica adoptar valores humanos. Y acierta al mostrar que muchos de los incentivos indeseables que preocupan a gran escala ya existen a pequeña escala, aunque hoy sean manejables.

Quedan abiertos varios frentes. Uno es la agenda específica para una interpretabilidad que esté a la altura del escalamiento. El texto la pide, pero no detalla un programa técnico. Otro es el nivel de coordinación internacional que sería necesario para sostener límites verificables. La historia reciente no entusiasma en este punto, y sin un esqueleto institucional el consejo general puede quedarse en declaración de intenciones. Un tercer tema es la economía política del cómputo. El libro da por hecho que el acceso será desigual y que la concentración aumentará. Sería útil un análisis más granular de instrumentos para evitarlo.

Sorprendentemente, y esta es quizás la mayor debilidad del libro, a pesar de que la hipótesis del FOOM es el pilar que sostiene toda la estructura de su urgencia, los autores dedican muy poco espacio a justificarla empírica o teóricamente.

Como señala la crítica Clara Collier en su reseña para Asterisk Magazine, el concepto es «apenas introducido, y mucho menos justificado o defendido». Se presenta casi como un axioma, una verdad evidente por sí misma, a pesar de que los avances recientes en el campo del aprendizaje profundo, basados en la escala masiva de datos y cómputo, han sido notablemente continuos y graduales, no discontinuos y explosivos. Esta omisión es una vulnerabilidad lógica y retórica de primer orden. El debate sobre la velocidad del despegue no es un detalle técnico menor; es el campo de batalla central sobre el que se decide si la respuesta adecuada es una investigación cuidadosa o un pánico global. Si uno no está convencido de la alta probabilidad de un despegue duro y casi instantáneo, la conclusión del libro sobre una catástrofe inevitable y la necesidad de una paralización mundial inmediata deja de ser una respuesta racional y se convierte en una reacción desproporcionada y alarmista. La falta de una defensa robusta de esta premisa clave es el punto donde su formidable cadena de razonamiento es más susceptible de romperse.