Por qué los modelos de lenguaje siempre inventarán algo

Durante años, las alucinaciones en los modelos de lenguaje grande (LLMs) se han tratado como una falla de ingeniería, un error corregible que surge de imperfecciones en el entrenamiento o la arquitectura. Sin embargo, un conjunto creciente de investigaciones teóricas está desmantelando esta visión simplista y redefiniendo el problema desde sus cimientos mismos. Un paper publicado en septiembre de 2025 con el intrigante título Hallucination is Inevitable for LLMs with the Open World Assumption es uno de los trabajos más recientes que abordan este tema, pero no es el primero en proponer una idea radical: las alucinaciones podrían ser una característica estructural, no un defecto accidental. Este cambio de paradigma tiene profundas implicaciones para cómo entendemos, construimos y confiamos en estas tecnologías. En lugar de ver las alucinaciones como un fallo a corregir, el estudio propone aceptarlas como una manifestación inherente del problema de la generalización en entornos donde el conocimiento nunca es completo.

El corazón de esta nueva perspectiva reside en la distinción entre dos supuestos fundamentales sobre el mundo en el que opera un modelo: el mundo cerrado (CWA, por sus siglas en inglés, Closed World Assumption) y el mundo abierto (OWA, por sus siglas en inglés, Open World Assumption). La CWA es el principio que subyace a muchos sistemas tradicionales de bases de datos y reglas estrictas. Bajo esta premisa, si algo no se encuentra en la base de datos, se asume que es falso. Por ejemplo, una base de datos de reservas aéreas que no registra un vuelo directo entre Austin y Madrid conducirá a la conclusión de que tal vuelo no existe. Este enfoque permite tomar decisiones rápidas y deterministas, ya que se parte de la premisa de que la información disponible es completa. Sin embargo, este mismo principio es su mayor debilidad en contextos complejos.

La OWA representa un paradigma radicalmente diferente. Se aplica en dominios donde el conocimiento es incompleto, dinámico y distribuido, como es el caso de la web o nuestra propia experiencia del mundo. Según la OWA, la ausencia de información sobre una afirmación no implica que sea falsa; simplemente significa que su estado de verdad es desconocido. Si un historial clínico no registra ninguna alergia para un paciente, bajo la OWA no se puede afirmar que el paciente no tenga alergias, sino que esa información es simplemente desconocida. Esta suposición es la piedra angular de la Web Semántica, permitiendo que diferentes sistemas compartan y conecten información sin requerir un consenso centralizado sobre lo que constituye "todo el conocimiento". Los LLMs operan intrínsecamente dentro de este marco de la OWA. Su vasto corpus de entrenamiento, aunque enorme, es solo una muestra finita y necesariamente incompleta de todo el conocimiento humano y digital. Nunca pueden estar seguros de haber visto todos los hechos relevantes, lo que hace que cualquier predicción en un nuevo contexto sea un acto de generalización.

Esta diferencia conceptual es crucial. Mientras que la CWA permite definir con precisión cuándo un hecho es verdadero o falso, la OWA introduce una capa de incertidumbre fundamental. Para un LLM, responder a una pregunta es equivalente a adivinar en un espacio de posibilidades inmensamente grande. Diferentes estudios corroboran que esta naturaleza de adivinanza es innata. Adam Tauman Kalai y sus colegas de OpenAI argumentan que las alucinaciones surgen porque los procedimientos de entrenamiento y evaluación premian adivinar, no reconocer la incertidumbre. Los modelos son optimizados para obtener altas puntuaciones en exámenes estandarizados que usan métricas binarias (correcto/incorrecto), lo que incentiva a elegir una respuesta incluso cuando la certeza es baja. De manera similar, otros trabajos basados en la teoría computacional demuestran que cada etapa del proceso de un LLM —desde la recuperación de información hasta la generación final— posee una probabilidad no nula de cometer un error que puede ser interpretado como una alucinación. Estos hallazgos convergentes sugieren que las alucinaciones no son un comportamiento anómalo, sino una consecuencia inevitable del diseño de los LLMs para funcionar en un mundo abierto, lleno de datos incompletos y nuevas informaciones que constantemente emergen. El papel del desarrollador, por tanto, no es eliminar las alucinaciones, sino gestionarlas, diseñar sistemas tolerantes a ellas y hacer explícitos los límites de sus capacidades.

Fundamentos teóricos

Para comprender por qué las alucinaciones son consideradas inevitables, es necesario adentrarse en los fundamentos teóricos que sustentan estos argumentos. Lejos de ser meras observaciones empíricas, los investigadores están utilizando herramientas matemáticas y de la teoría de la computación para demostrar formalmente la existencia de estos límites. Tres grandes pilares teóricos convergen en esta conclusión: la indecibilidad de problemas fundamentales, los resultados de la teoría del aprendizaje, y la paradoja de la autoreferencia.

Uno de los argumentos más contundentes se basa en el primer teorema de incompletitud de Gödel y la noción de problemas indecidibles. Este teorema establece que en cualquier sistema formal lo suficientemente complejo como para describir la aritmética, existen afirmaciones verdaderas que no pueden ser probadas dentro de ese sistema. Extendiéndolo a los LLMs, se postula que existen preguntas cuyas respuestas correctas (verdaderas) no pueden ser derivadas o generadas por el modelo, independientemente de su tamaño o cantidad de datos de entrenamiento. Esto crea un vacío que el modelo debe llenar al generar una salida, resultando en una alucinación. Además, se invoca el problema de la parada (halting problem), que prueba que no existe un algoritmo general que pueda determinar si otro programa arbitrario se detendrá o ejecutará para siempre. Se demuestra que el problema de la parada es indecidible para los LLMs, lo que implica que no pueden predecir con certeza su propio flujo de generación. Esta incapacidad de auto-monitoreo les deja expuestos a generar afirmaciones autorreferenciales contradictorias ("Esta afirmación es falsa"), una forma extrema de alucinación.

El segundo pilar proviene de la teoría del aprendizaje computacional, específicamente del teorema 'No Free Lunch' (Wolpert y Macready, 1997). Este teorema afirma que ningún método de aprendizaje puede ser universalmente superior a todos los demás en todas las tareas. Existe una compensación inherente: un método que funciona bien en un tipo de problema probablemente funcionará mal en otro. Aplicado a los LLMs, esto significa que un modelo que ha sido entrenado para aprender patrones específicos de un corpus de datos no puede garantizar un rendimiento perfecto en entradas completamente nuevas y distintas. Su capacidad de generalización está limitada por la asunción de que el futuro seguirá siendo estadísticamente similar al pasado, una premisa que la OWA invalida. Rohan Paul resume este punto al señalar que las alucinaciones son un problema de generalización, no un simple bug, y que ninguna técnica puede resolverlo completamente debido a esta limitación fundamental.

El gráfico interactivo anterior ilustra el concepto central del teorema “No Free Lunch”. Los puntos negros representan datos de entrenamiento conocidos. La curva naranja es la función que el modelo ha aprendido. El punto rojo “H” representa una alucinación: una predicción fuera del patrón observado. Sin embargo, el punto púrpura “F” muestra que esa misma predicción podría ser correcta en un escenario no visto durante el entrenamiento. Desde la perspectiva del modelo durante el entrenamiento, es imposible saber cuál es la respuesta correcta en el futuro.

Finalmente, técnicas de la teoría de la computabilidad, como la diagonalización, se utilizan para demostrar formalmente la inevitabilidad. Ziwei Xu y sus colaboradores definen una alucinación como una inconsistencia entre un LLM computable y una función de verdad de referencia también computable. Usando argumentos de diagonalización, similares a los empleados por Alan Turing para demostrar la indecibilidad del problema de la parada, prueban tres teoremas clave: 1. Teorema de Diagonalización: Cualquier conjunto enumerable de LLMs inevitablemente alucinará respecto a alguna función de verdad de referencia. 2. Infinitud de Errores: Cualquier LLM computable que alucina, lo hará en un número infinito de entradas distintas. 3. Incapacidad de Auto-Corrección: Ningún LLM computable puede evitar sus propias alucinaciones.

Un corolario crucial de estos teoremas es que incluso métodos de mitigación como el razonamiento en cadena (Chain-of-Thought), que intentan hacer el proceso de pensamiento del modelo más transparente, no pueden superar esta limitación fundamental. Estos argumentos formales, aunque abstractos, proporcionan una base sólida para la afirmación de que las alucinaciones no son un artefacto temporal de una tecnología imperfecta, sino un rasgo profundo y potencialmente permanente de cualquier sistema que intente modelar un mundo complejo y abiertamente desconocido.

Clasificando las alucinaciones y sus orígenes

Si las alucinaciones son inevitables, la siguiente pregunta lógica es si todas son iguales o si pueden clasificarse para entender mejor sus causas y, en última instancia, gestionarlas de forma más eficaz. El paper de Bowen Xu y el trabajo de Manuel Cossio ofrecen marcos de clasificación que dividen las alucinaciones en categorías distintas, reconociendo que mientras algunas pueden ser corregidas, otras son estructuralmente arraigadas en la naturaleza de los LLMs. Esta diferenciación es fundamental para avanzar desde una mentalidad de eliminación a una de gestión inteligente.

La clasificación más citada distingue entre dos tipos principales de alucinaciones: Tipo I (HT-I) y Tipo II (HT-II). Las alucinaciones del Tipo I, o "falsa memoria", ocurren cuando el modelo genera una salida que contradice un hecho que ya estaba presente en su corpus de entrenamiento. Son, por así decirlo, "memorias" rotas. Desde una perspectiva teórica, estas son consideradas corregibles. Podrían deberse a errores durante el proceso de tokenización, problemas de indexación en la memoria vectorial o simplemente una mala consolidación de la información durante el entrenamiento. La solución para las HT-I parece sencilla: actualizar el modelo con correcciones o nuevos datos para rectificar la información errónea almacenada. Sin embargo, en la práctica, identificar y aislar estas falsas memorias es extremadamente difícil, especialmente en modelos con miles de millones de parámetros.

Por otro lado, las alucinaciones del Tipo II, o "falsa generalización", son mucho más sutiles y profundas. Ocurren cuando el modelo extiende incorrectamente los patrones que ha aprendido de ejemplos vistos durante el entrenamiento a nuevos casos que no pertenecen a esos patrones. Por ejemplo, si un modelo ha visto muchas oraciones sobre gatos cazando ratones, podría generalizar incorrectamente que todos los félidos cazan roedores, incluso si no hay evidencia para afirmar que un leopardo lo hace. Estas alucinaciones son el resultado de la dificultad inherente del problema de la inducción: inferir una regla general a partir de un número finito de observaciones. En el contexto de la OWA, donde el modelo nunca ha visto "todo", la falsa generalización se convierte en una característica estructural, no un error de implementación. El trabajo de Ziwei Xu y sus coautores refuerza esta distinción al demostrar formalmente que cualquier LLM computable alucinará en un número infinito de entradas, lo que subraya la naturaleza omnipresente de la falsa generalización.

Figura 1: Ilustración de una Alucinación Tipo I (HT-I). El punto rojo "HTI" representa una salida errónea del modelo que contradice un hecho de entrenamiento conocido (el punto negro "F"). Dado que el hecho ya está en los datos, el modelo puede ser corregido.

Figura 2: Ilustración de una Alucinación Tipo II (HT-II). El punto rojo "HTII" representa una salida errónea en un escenario completamente nuevo. No existe un dato de entrenamiento (el punto "F?" es desconocido), por lo que el error es una consecuencia inevitable de la generalización bajo la suposición del mundo abierto.

Más allá de esta dicotomía, Manuel Cossio propone una taxonomía aún más detallada que examina las alucinaciones desde múltiples dimensiones. Divide las causas en tres áreas principales: problemas de datos, problemas de diseño del modelo y problemas de prompts. * Problemas de Datos: La calidad de la entrada del modelo es crítica. Datos de entrenamiento desactualizados, sesgados, ruidosos o inconsistentes pueden llevar directamente a alucinaciones. Por ejemplo, una afirmación histórica que ha sido posteriormente refutada podría estar codificada en el corpus, provocando una HT-I. * Diseño del Modelo: La propia arquitectura del LLM contribuye a las alucinaciones. La generación autoregresiva, donde cada palabra se genera basándose en las anteriores, acumula errores. La falta de mecanismos robustos de razonamiento simbólico y la tendencia a la sobreconfianza, incluso cuando la incertidumbre es alta, son diseños que favorecen la producción de contenido fabricado. * Prompts: El modo en que interactuamos con el modelo también juega un rol crucial. Prompts ambiguos, mal formulados o que introducen un sesgo de confirmación pueden guiar al modelo hacia caminos que terminan en alucinaciones. Incluso prompts deliberadamente diseñados para ser adversarios pueden revelar las vulnerabilidades del modelo, como los intentos de hacer que cuente hacia atrás desde el infinito.

Finalmente, la taxonomía de Cossio también distingue entre alucinaciones "intrínsecas" y "extrínsecas". Las intrínsecas violan la consistencia con el contexto de entrada proporcionado por el usuario, como contradecir una instrucción explícita. Las extrínsecas, en cambio, son inconsistentes con un fuente externa de verdad (datos de entrenamiento, realidad factual), lo que equivale a una HT-I si se refiere al entrenamiento y a una HT-II si se refiere a una verdad externa. Esta taxonomía, aunque compleja, es invaluable porque permite a los desarrolladores y usuarios diagnosticar el origen de un error y aplicar estrategias de mitigación más específicas, ya sea actualizando datos, ajustando prompts o mejorando la arquitectura del modelo.

Evidencia empírica y limitaciones de las soluciones actuales

Las discusiones teóricas sobre la inevitabilidad de las alucinaciones cobran vida en los resultados empíricos de experimentos rigurosos. Investigadores han movido masas de datos de entrenamiento, entrenado modelos con billones de parámetros y sometido a los LLMs a pruebas agónicas para verificar sus límites. Los hallazgos son consistentes: aunque las alucinaciones pueden reducirse, no pueden eliminarse, especialmente en tareas que requieren un razonamiento preciso o que operan en dominios complejos.

Los estudios de Ziwei Xu y sus colegas con modelos tan diversos como Llama 2, Llama 3 y GPT muestran fallos consistentes y sistemáticos en tareas que, según la teoría computacional, son particularmente propensas a alucinaciones. Por ejemplo, en problemas como el ordenamiento lineal computable o listar todas las cadenas de texto posibles de una longitud dada, los modelos fracasan repetidamente, incluso con ventanas de contexto muy largas y miles de millones de parámetros. Estos experimentos no son triviales; son problemas de complejidad demostrable, lo que significa que se sabe con certeza que no tienen una solución rápida. El hecho de que los LLMs, que a menudo parecen mágicos, fallen en tales pruebas subraya que su poder no reside en un razonamiento lógico profundo, sino en la capacidad de modelar estadísticas superficiales de los datos. Otro experimento claro es el de Adam Tauman Kalai, quien muestra que un modelo de código de última generación respondió incorrectamente a una pregunta básica sobre cuántas letras 'D' hay en la palabra "DEEPSEEK", optando por '2' o '3' en múltiples intentos. Estos casos demuestran que la sobreconfianza y la tendencia a adivinar en lugar de admitir ignorancia son características profundas del comportamiento del modelo.

Basándose en estos hallazgos, se han propuesto diversas soluciones de mitigación. Entre las más populares se encuentran la Generación Aumentada por Recuperación (RAG), que busca información relevante de una base de conocimiento externa antes de generar una respuesta, y Toolformer, que le permite al modelo utilizar herramientas externas (como un motor de búsqueda o una calculadora) para realizar tareas. Estas estrategias tienen sentido intuitivo: si el modelo no sabe la respuesta, busque una fuente externa fiable. De hecho, benchmarks como TruthfulQA o FActScore, que evalúan la fiabilidad factual de los LLMs, se basan en gran medida en esta idea de validación contra datos externos.

Sin embargo, incluso estas soluciones avanzadas tienen sus límites. El propio paper de Bowen Xu advierte que estas estrategias solo abordan las alucinaciones del Tipo I (falsas memorias). No resuelven el problema fundamental de la falsa generalización (Tipo II), que es intrínseca al funcionamiento del modelo en un mundo abierto. Un detector de alucinaciones, por ejemplo, enfrenta el mismo problema: sería él mismo un modelo de lenguaje que, bajo la misma suposición del mundo abierto, también tendría sus propias alucinaciones y errores de generalización. Por lo tanto, un detector no puede garantizar la ausencia de alucinaciones; simplemente traslada el problema de un nivel de abstracción a otro. La conclusión es que no existe una solución única y definitiva. La investigación concluye que el uso de estos modelos en aplicaciones críticas, como la medicina o el derecho, requiere barreras de seguridad adicionales, supervisión humana continua y el uso de bases de conocimiento externas como una capa de respaldo indispensable. La aceptación de las alucinaciones como un fenómeno estructural no es un signo de derrota, sino la base para construir sistemas más robustos y responsables.

Consecuencias para la inteligencia artificial y el futuro de la AGI

La conclusión de que las alucinaciones son una característica inevitable de los LLMs tiene profundas y reverberantes implicaciones para el campo de la inteligencia artificial en su conjunto, especialmente para la aspiración a una inteligencia artificial general (AGI). Durante décadas, el progreso en IA se ha medido por la capacidad de los sistemas para superar retos cognitivos humanos. Sin embargo, el problema de las alucinaciones revela una brecha fundamental entre la inteligencia simulada por los LLMs y la inteligencia real.

Una de las principales consecuencias es que la idea de una "IA perfecta" o infalible, al menos en el paradigma de los LLMs, es una utopía inalcanzable. La inevitabilidad de las alucinaciones bajo la OWA significa que cualquier sistema de IA que opere en el mundo real —un entorno que es, por definición, abierto y dinámico— estará destinado a cometer errores. Esto nos obliga a repensar el objetivo de la investigación en IA. En lugar de buscar perfección, el foco debe cambiar hacia la construcción de sistemas que sean tolerantes a la incertidumbre, adaptativos y capaces de comunicar su grado de confianza. Un sistema de diagnóstico médico basado en IA no debería ofrecer una sentencia definitiva, sino una lista de diagnósticos probables junto con un nivel de certeza, permitiendo al profesional humano tomar la decisión final. Esta transición desde un paradigma de certeza a uno de gestión de la incertidumbre es crucial para la seguridad y la ética de la IA.

Esta realidad tiene implicaciones directas para el desarrollo de la AGI. Muchos visionarios especulan con una AGI que poseería una comprensión profunda y exhaustiva del mundo, evitando así las alucinaciones. Sin embargo, el análisis teórico sugiere lo contrario: una verdadera comprensión del mundo implicaría una suposición de mundo cerrado, lo cual es irrealizable. El universo de conocimientos es infinito y en constante expansión. Por lo tanto, cualquier AGI real tendría que operar bajo una OWA, lo que la haría susceptible de manera inherente a alucinaciones similares a las de los LLMs actuales. La investigación sugiere que la compatibilidad de la AGI con la inteligencia humana no será una cuestión de imitar nuestra perfección, sino de compartir nuestra habilidad para navegar un mundo de conocimiento incompleto y manejar la ambigüedad. El éxito de la AGI dependerá de su capacidad para reconocer sus propios límites y complementarlos con la sabiduría y la intuición humana.

Además, esta conclusión afecta la forma en que concebimos el diseño de los sistemas. La idea de una sola entidad inteligente que procesa información de manera monolítica podría estar obsoleta. En cambio, el futuro podría inclinar hacia arquitecturas distribuidas y híbridas. Imagine un sistema de IA para la toma de decisiones estratégicas que integre un LLM para la generación de ideas creativas (donde las alucinaciones pueden ser útiles) con un motor de lógica simbólica para la verificación de argumentos y la detección de contradicciones. La supervisión humana dejaría de ser una excepción para convertirse en un componente integrado del ciclo de decisión. La coexistencia armónica entre la inteligencia sintética y la humana, como proponen algunos investigadores, no sería una elección filosófica, sino una necesidad pragmática derivada de los límites teóricos de la propia inteligencia artificial. En última instancia, el problema de las alucinaciones no es un obstáculo que frenará el progreso de la IA, sino un catalizador que nos empuja hacia un futuro más sofisticado, donde la fuerza de la inteligencia artificial se define por su capacidad para reconocer y gestionar sus propias imperfecciones.

Hacia una convivencia inteligente con la incertidumbre artificial

En resumen, la investigación sobre la inevitabilidad de las alucinaciones en los modelos de lenguaje grandes marca un punto de inflexión en nuestra relación con la inteligencia artificial. Ha transitado de una era de promesas casi ilimitadas a una de madurez, confrontando la realidad de sus límites fundamentales. El mensaje central que emerge de los estudios teóricos y empíricos es inequívoco: las alucinaciones no son un desperfecto temporal ni una falla de ingeniería, sino una característica estructural inseparable del paradigma de los LLMs que operan en un mundo abierto y de conocimiento incompleto.

Este descubrimiento, aunque inicialmente desalentador, presenta una oportunidad transformadora. Nos libera de la búsqueda frustrante de una perfección inalcanzable y nos invita a un nuevo paradigma: el de la convivencia inteligente con la incertidumbre artificial. La estrategia más prometedora no es la eliminación de las alucinaciones, sino la gestión consciente de ellas. Esto implica un cambio de enfoque en múltiples frentes. Primero, en el diseño de los sistemas, que deben incorporar activamente mecanismos de calibración de confianza y adaptabilidad, reconociendo que la certeza absoluta es un ideal inaccesible. Segundo, en la evaluación, que debe evolucionar para valorar no solo la precisión, sino también la capacidad de un modelo para reconocer y expresar su propia incertidumbre, quizás otorgando crédito por responder "no sé" en lugar de penalizarlo.

Desde una perspectiva social y ética, esta comprensión nos lleva a una mayor responsabilidad. El uso de LLMs en decisiones que afectan la vida de las personas (en medicina, justicia o finanzas) requiere barreras de seguridad robustas, bases de conocimiento externas y, fundamentalmente, una supervisión humana continua. La confianza no debe ser ciega, sino fundada en la conciencia de los límites del sistema. El papel del ser humano no se ve amenazado por esta realidad, sino que se redefine y fortalece. Somos los guardianes, los validadores y los curadores de la información generada por estas máquinas, responsables de interpretar sus salidas y de tomar la responsabilidad final por las acciones que se derivan de ellas.

Para el futuro de la inteligencia artificial general (AGI), la lección es aún más profunda. La inevitabilidad de las alucinaciones subraya que la "inteligencia" no se mide únicamente por la capacidad de generar información precisa, sino por la capacidad de navegar un mundo de conocimiento incompleto. La compatibilidad con la inteligencia humana no radicará en la imitación de nuestra perfección, sino en la integración de nuestras habilidades para manejar la ambigüedad, aprender de la experiencia y, sobre todo, reconocer lo que no sabemos. En última instancia, el legado de este descubrimiento será la construcción de una nueva generación de sistemas de IA que no solo sean más poderosos, sino también más honestos, transparentes y, por lo tanto, más dignos de confianza.