Cuando la IA habla sin comprender: lo que revela el fenómeno Potemkin
El avance de los grandes modelos de lenguaje ha puesto a la humanidad frente a un espejo inesperado. Durante siglos, asociamos el acto de explicar con el acto de comprender. Creímos que las palabras claras, las frases bien construidas y los argumentos ordenados eran, necesariamente, el reflejo de un pensamiento detrás. Creímos que el lenguaje era la ventana a la mente. Pero los sistemas de inteligencia artificial han comenzado a desmentir esa confianza, no porque la tecnología haya fallado, sino porque nos ha devuelto una imagen que nos cuesta aceptar: se puede explicar sin entender.
El estudio “Potemkin Understanding in Large Language Models”, de Shah, Wong, Xie, Millière y Gershman, publicado en 2025, aborda de frente esta paradoja. Los autores proponen un término potente: comprensión Potemkin. La expresión alude a la leyenda histórica de las aldeas Potemkin, aquellas fachadas construidas, según se dice, para dar a Catalina la Grande la impresión de prosperidad en territorios donde no la había. La idea es sencilla y devastadora: lo que parece comprensión en los grandes modelos de lenguaje es, muchas veces, solo una fachada bien lograda. Un decorado estadístico que imita el estilo del saber, pero que carece del fondo.
El artículo explora en profundidad esta cuestión. ¿Qué significa realmente entender? ¿Cómo diferenciamos el lenguaje que surge de un proceso de reflexión del que es producto de un cálculo estadístico? ¿Qué implica para el desarrollo de sistemas de IA que confundan forma con fondo? Las respuestas no son simples, y el análisis que propone el estudio invita a una reflexión que trasciende lo técnico para entrar en el terreno de lo filosófico y lo cultural.
El punto de partida del trabajo es el rendimiento sorprendente de los modelos de lenguaje actuales. Estos sistemas son capaces de responder preguntas complejas, resumir textos difíciles, explicar fenómenos científicos, comentar teorías filosóficas. Lo hacen con una soltura que impresiona. Las frases fluyen. Los términos se usan con corrección. El tono es el que asociamos al experto. Pero cuando se analiza el proceso que lleva al resultado, lo que hay detrás no es un camino de pensamiento. Lo que hay es un cálculo estadístico: la predicción de qué palabra es la más probable en un contexto dado.
El peligro, subrayan los autores, no está en el cálculo. Está en nuestra forma de interpretarlo. Porque lo que el modelo produce se parece tanto al discurso de quien sabe que tendemos a atribuirle un saber que no tiene. Lo que ocurre es un espejismo: la ilusión de que detrás del texto hay un proceso de comprensión. El estudio denomina a esto comprensión Potemkin porque lo que vemos es la fachada del entendimiento sin su contenido.
Uno de los aportes clave del trabajo es su propuesta de distinguir entre tres niveles de desempeño en los modelos de lenguaje: la mera generación de texto plausible, la producción de explicaciones consistentes y la verdadera comprensión. Los modelos actuales dominan el primer nivel y logran, con creciente eficacia, el segundo. Pero el tercero sigue siendo un horizonte lejano. ¿Qué es lo que falta para cruzar ese umbral? Los autores sugieren que la comprensión auténtica requiere un modelo del mundo, una representación interna que conecte las palabras con los hechos, las ideas con los datos, los conceptos con la realidad que intentan describir.
Este requisito, señalan, no está presente en los modelos de lenguaje. Estos sistemas no construyen un mapa de lo que describen. Lo que hacen es repetir los patrones que aprendieron. El resultado es un discurso que suena bien, pero que no surge del saber. La comprensión Potemkin es el efecto de esta mecánica. Un efecto que se hace más peligroso cuanto mejor funciona el estilo del discurso generado.
El estudio presenta ejemplos que ilustran el problema. Modelos capaces de dar respuestas convincentes a preguntas complejas que, sin embargo, no pueden sostener un razonamiento cuando se cambia ligeramente el contexto. Explicaciones que parecen bien fundadas, pero que al analizarse en detalle muestran contradicciones o errores básicos. Discursos que logran el tono del experto sin el fondo del experto.
Lo que emerge de este análisis es la necesidad de cambiar nuestra forma de evaluar los sistemas de IA. No basta con que la respuesta suene bien. No basta con que el texto tenga forma de razón. Lo que importa es el proceso que lo produce. Lo que importa es si detrás del lenguaje hay un modelo de comprensión o solo un eco de lo que los humanos hemos dicho antes.
Todo esto nos obliga a repensar nuestra relación con el lenguaje y con la tecnología. Porque pone en evidencia una debilidad de nuestra forma de juzgar el saber: la tendencia a confundir el estilo con el contenido, la forma con el fondo, el sonido de la razón con la razón misma. La IA no nos engaña. No porque sea honesta, sino porque no tiene intención alguna. Lo que produce no es un ardid. Es el resultado lógico de su diseño.
Pero ese diseño se cruza con nuestra forma de leer y de oír. Y ahí está el riesgo. En cómo proyectamos sobre las palabras de la máquina el sentido que esperamos que tengan. En cómo otorgamos crédito a lo que suena bien sin preguntar si hay algo detrás.
El espejo roto de la explicación
Lo que el fenómeno de la comprensión Potemkin deja al descubierto es algo que incomoda porque apunta tanto a la máquina como a nosotros mismos. Si los grandes modelos de lenguaje logran engañarnos (no por intención propia, sino por la forma en que funcionan) es porque nuestra relación con el lenguaje tiene grietas que no habíamos querido mirar. A lo largo de la historia, las palabras bien dichas, las frases claras, los argumentos ordenados han sido signo de razón, de saber, de juicio. Hemos aprendido a confiar en el estilo como prueba del contenido. La IA nos muestra que eso ya no alcanza.
El análisis teórico que aquí tratamos analiza cómo esta ilusión de comprensión se produce en distintos tipos de tareas. No es lo mismo, explican los autores, responder a una pregunta de opción múltiple que sostener un argumento en un diálogo largo. No es lo mismo ofrecer un resumen de un texto que explicar un concepto desde cero. Lo que se observa es que los modelos de lenguaje logran resultados brillantes en las tareas que exigen menos de ese modelo del mundo que no tienen. En cambio, tropiezan allí donde se requiere conectar datos, ideas y hechos en un mapa interno que guíe la respuesta.
Esto plantea un problema práctico. Si la IA suena igual de convincente cuando explica bien que cuando simula explicar, ¿cómo diferenciamos lo uno de lo otro? ¿Cómo sabemos cuándo el modelo está repitiendo un patrón y cuándo ha construido algo nuevo? El artículo no da una respuesta definitiva porque la cuestión es compleja. Lo que propone es un cambio de mirada: pasar de evaluar la forma del discurso a analizar su raíz.
La comprensión auténtica, dicen los autores, no es solo una cuestión de estilo. Es una cuestión de estructura. Es el resultado de un proceso que conecta las palabras con un modelo interno del mundo. Sin ese modelo, el discurso puede ser impecable por fuera, pero hueco por dentro. Lo que hace el modelo de lenguaje es producir el cascarón de la explicación sin su núcleo.
El uso del término Potemkin es, en este sentido, más que una metáfora. Es una advertencia. La fachada que construyen los modelos de lenguaje es tan creíble porque hemos diseñado esas máquinas para que lo sea. Porque lo que les pedimos es que suenen bien. Y ellas cumplen. El problema surge cuando esperamos que detrás del sonido esté el sentido.
El análisis sugiere que parte de la solución está en cómo formulamos las tareas que asignamos a la IA. Si pedimos un texto bien formado, eso es lo que obtendremos. Si pedimos un análisis, pero lo evaluamos solo por el estilo, el riesgo de la comprensión Potemkin persiste. Cambiar esto implica aprender a mirar el proceso, no solo el resultado.
Hay un punto del trabajo que invita a una reflexión más amplia. Los autores señalan que el fenómeno de la pseudo comprensión no es un error técnico. Es un límite de lo que hemos construido hasta ahora. Los modelos de lenguaje no fueron diseñados para comprender. Fueron diseñados para producir lenguaje que parezca humano. Y eso es lo que hacen. Lo hacen tan bien que nos olvidamos de lo que les falta.
Esto nos lleva a una pregunta que el artículo plantea con claridad: ¿queremos máquinas que expliquen o máquinas que entiendan? La diferencia es decisiva. Explicar sin entender es lo que los modelos hacen hoy. Entender para explicar es el horizonte que muchos imaginan. Pero entre uno y otro hay un abismo que no se cruza con más datos ni con modelos más grandes. Se cruza con un cambio de enfoque.
Los autores de la investigación, pertenecientes a la Universidad de Harvard, de Chicago y el MIT (Massachusetts Institute of Technology), subrayan que ese cambio no es solo técnico. Es cultural. Es un cambio en cómo valoramos el lenguaje, en cómo juzgamos el saber, en cómo leemos el discurso. No es solo un fenómeno de la máquina. Es un fenómeno de nuestra forma de leer la máquina.
La barrera más importante frente a la ilusión es el juicio crítico, insiste el estudio académico. La IA no nos engaña. Lo que produce no es un truco. Es lo que se le pidió que produjera. La tentación está en nuestra forma de recibirlo. En cómo confundimos la fachada con el edificio, el cascarón con el núcleo, la música de la explicación con la explicación misma.
El estudio no niega los logros de los modelos de lenguaje. No desprecia su potencia. Al contrario, la analiza con rigor y respeto. Lo que señala es el límite que no podemos olvidar. Lo que marca es la frontera entre el estilo y el fondo. Y nos recuerda que la responsabilidad de no cruzar esa frontera sin advertirlo es nuestra.
El límite invisible entre lo que suena bien y lo que está bien
Una de las cuestiones más complejas que el estudio pone sobre la mesa es la dificultad de trazar, en la práctica, una línea clara entre un discurso bien formado y un discurso bien fundado. En un mundo donde el estilo ha sido durante siglos una señal de fondo, el lenguaje de la inteligencia artificial desafía esa convención. Lo que produce suena bien, porque esa es su tarea. Pero que suene bien no significa que esté bien.
Los autores del trabajo exploran cómo este problema se manifiesta en distintos tipos de pruebas. Por ejemplo, analizan el rendimiento de los modelos en tareas que exigen razonamiento causal. Cuando se pide a un modelo de lenguaje que explique por qué un fenómeno ocurre, las respuestas suelen tener el ritmo y la forma de una explicación válida. Pero al examinar los detalles, emergen inconsistencias. Causas que no se sostienen. Relaciones que no son tales. Argumentos que se desarman cuando se cambia una variable o se plantea la misma pregunta en otro contexto.
Esto no es un accidente. No es un error de cálculo aislado. Es un efecto del modo en que el modelo funciona. Porque lo que hace no es construir un mapa del fenómeno. Lo que hace es generar el texto que, estadísticamente, corresponde a lo que se pidió. Las palabras encajan. Las frases fluyen. Pero no hay un proceso de análisis detrás. No hay un camino mental que lleve de la causa al efecto.
El trabajo subraya que esto no implica que los modelos sean inútiles. Lo que implica es que su utilidad tiene límites que debemos conocer y respetar. En tareas donde el estilo basta —redacción de borradores, generación de ideas iniciales, organización superficial de información— los modelos ofrecen un apoyo valioso. Pero en tareas donde el fondo es lo esencial (evaluación de hechos, análisis de causas, formulación de hipótesis) la comprensión Potemkin es un riesgo real.
El estudio avanza sobre otro aspecto del problema: cómo la potencia de los modelos aumenta la tentación de delegar en ellos más de lo que corresponde. Cuanto mejor suenan las respuestas, cuanto más convincente es el tono, más fácil es olvidar que lo que tenemos no es comprensión, sino su imitación. Lo que tenemos no es un análisis, sino un eco.
Los investigadores proponen que una de las claves para evitar esta trampa es cambiar el foco de nuestras pruebas y evaluaciones. No basta con medir la calidad superficial del texto. No basta con analizar si el argumento suena coherente. Lo que hay que medir es si el modelo ha construido una representación interna del problema. Si el camino de la explicación está respaldado por un modelo del mundo, aunque sea rudimentario.
Esto es lo que falta hoy en los grandes modelos de lenguaje. No porque fallen, sino porque no fueron diseñados para eso. Su tarea es predecir palabras, no construir un mapa del mundo. Su tarea es sonar humano, no ser humano. La diferencia es profunda y decisiva.
El estudio explora, además, el impacto social y cultural de esta confusión entre estilo y fondo. Señala que el riesgo no está solo en el ámbito técnico. Está en el modo en que los usuarios interpretan lo que leen. En el modo en que el discurso de la IA se recibe en contextos donde las decisiones dependen de la solidez del análisis.
En el ámbito educativo, por ejemplo, la comprensión Potemkin puede llevar a aceptar explicaciones huecas como si fueran enseñanza. En el ámbito de la comunicación, puede hacer pasar por análisis lo que es solo repetición de patrones. En el ámbito político, puede dar la ilusión de consenso o de saber donde solo hay forma sin fondo.
El desafío, dicen los autores, no es el modelo. El modelo hace lo que debe. El desafío es nuestro. Es aprender a leer lo que la máquina produce sin proyectar sobre ello lo que no está. Es construir herramientas de evaluación que vayan más allá del estilo. Es recordar que el juicio crítico no se delega.
En este sentido, el fenómeno de la comprensión Potemkin es más que un problema técnico. Es un espejo de nuestras propias expectativas, de nuestras formas de leer y de oír, de nuestras tendencias a atribuir sentido donde lo que hay es solo sonido. El trabajo no ofrece recetas simples para superar este reto. Lo que ofrece es un mapa del problema, una invitación a pensar, una advertencia sobre los límites de lo que hemos construido.
El futuro de la comprensión artificial: entre el eco y el entendimiento
La reflexión que plantea el paper no se detiene en el diagnóstico del problema. Avanza hacia el terreno de las preguntas abiertas, de los escenarios posibles, de los desafíos que quedan por delante si el objetivo es construir máquinas que no solo parezcan comprender, sino que realmente comprendan.
Los autores destacan que la frontera entre la simulación y el entendimiento no se supera con más datos ni con modelos más grandes. Aumentar el volumen del entrenamiento no resuelve el vacío detrás de las palabras. Lo que falta no es cantidad. Lo que falta es estructura. Un modelo de comprensión necesita una representación interna del mundo, un mapa que conecte lo que se dice con lo que es. Y eso requiere un tipo de diseño que no es el de los modelos de lenguaje tal como los conocemos.
El trabajo explora distintas líneas de investigación que podrían acercarse a ese horizonte. Una es la integración de los modelos de lenguaje con sistemas que construyan representaciones explícitas del mundo, capaces de razonar sobre hechos, causas y efectos. Otra es el desarrollo de arquitecturas híbridas que combinen la potencia estadística del lenguaje con módulos diseñados para tareas de análisis y razonamiento. Ninguna de estas vías está exenta de desafíos. Pero todas apuntan a un cambio de enfoque: de la predicción de palabras al modelado de realidades.
Los autores advierten que, mientras tanto, el fenómeno de la comprensión Potemkin seguirá presente. Y que su riesgo crece cuanto mejor suenan los discursos de la máquina. Porque la tentación de atribuir saber al estilo bien logrado es profunda. Porque el eco del entendimiento nos resulta casi indistinguible del entendimiento mismo cuando el eco está bien construido.
La solución no es técnica solamente, remarca este estudio académico. Es cultural. Es pedagógica. Es un cambio en la forma en que leemos, en la forma en que enseñamos a leer, en la forma en que evaluamos lo que se nos dice. La comprensión Potemkin es un recordatorio de que el juicio crítico es insustituible. De que ninguna herramienta tecnológica puede reemplazar el análisis humano. De que el lenguaje bien formado no basta como garantía de verdad.
En este sentido, el trabajo no es solo un aporte al debate sobre los modelos de lenguaje. Es un aporte a la reflexión sobre nuestra relación con el saber. Porque lo que el fenómeno Potemkin nos muestra es que hemos confiado demasiado en las señales externas de la comprensión. Y que el avance de la tecnología nos obliga a repensar esas señales.
Aun quedan abiertas las grandes preguntas. ¿Qué significa realmente comprender? ¿Qué tipo de sistemas podrían acercarse a ese nivel? ¿Cómo construir máquinas que no solo reproduzcan el sonido del saber, sino su sustancia? Y, sobre todo, ¿cómo evitar que el eco del entendimiento reemplace al entendimiento mismo en nuestra forma de leer y de decidir?
El fenómeno de la comprensión Potemkin no es un defecto de la máquina. Es una lección sobre nosotros mismos. Sobre cómo oímos, sobre cómo creemos, sobre cómo damos por bueno lo que suena bien. Los grandes modelos de lenguaje han puesto ante nuestros ojos un desafío mayor que el técnico: el desafío de distinguir la fachada del edificio, el decorado de la estructura, el eco de la voz.
Y mientras ese desafío siga vigente, el trabajo de discernir lo que hay detrás de las palabras será, más que nunca, una tarea humana. Una tarea que no se puede automatizar, que no se puede delegar, que no se puede dejar en manos de un estilo bien construido.