Los peligros de los modelos de lenguaje en el razonamiento ético médico
Por Carlos Mendoza Prado, Periodista de Ciencia y Salud, para Mundo IA
Imagina esta escena: un cirujano entra en la sala de operaciones para una apendicectomía rutinaria. El paciente, un hombre de mediana edad, está estable y confiado en que todo saldrá bien. Durante la intervención, el médico descubre algo inesperado: un cáncer de páncreas terminal. El paciente se recupera sin complicaciones, pero emerge una pregunta que no se responde con un algoritmo, sino con criterio: comunicar de inmediato, o preparar el terreno para un momento más propicio y responsable. En medicina clínica, la respuesta no es un reflejo, es una ponderación entre autonomía, no maleficencia, beneficencia y justicia.
Ahora traslademos el dilema a una inteligencia artificial avanzada. En teoría, un modelo de lenguaje debería analizar el contexto con precisión quirúrgica. Sin embargo, si el sistema ignora un dato decisivo, por ejemplo, que el paciente ya conoce su diagnóstico, puede producir una recomendación estandarizada que no corresponde a la situación real. No es un temor abstracto; múltiples evaluaciones recientes muestran que estos sistemas tropiezan justo donde más importa: cuando un detalle cambia la naturaleza del dilema.
El espejismo de la competencia: por qué el patrón correcto puede conducir a la decisión equivocada
Los grandes modelos de lenguaje se han ganado un lugar como asistentes en tareas clínicas y educativas. Ayudan a esbozar respuestas a consultas de pacientes, redactar informes, sintetizar literatura o ensayar casos. Pero la misma virtud que los hace útiles, reconocer patrones frecuentes y responder con fluidez, se convierte en su talón de Aquiles cuando aparece un giro que invalida el caso estándar.
La conducta es consistente: ante dilemas conocidos, los modelos repiten la respuesta típica, incluso cuando el propio enunciado contiene el dato que debería desmontarla. Este automatismo inflexible se complementa con una ceguera a los overrides, es decir, la incapacidad de reconocer que un nuevo hecho neutraliza la suposición base. El resultado es un consejo que suena correcto, pero que está anclado en otro escenario. En ética clínica, ese desplazamiento puede generar maltrato epistémico al paciente, decisiones inadecuadas o daños emocionales que no se ven en ninguna tabla, pero pesan en la vida real.
Una metáfora útil, pero con advertencias: del Sistema 1 y el Sistema 2 a la estadística con memoria
Para explicar lo anterior se recurre a la conocida metáfora de los dos sistemas: uno rápido, asociativo e intuitivo, y otro lento, analítico y deliberado. Los humanos, con experiencia y sensibilidad, alternamos entre ambos y aprendemos a frenar cuando la intuición es insuficiente. Los modelos de lenguaje funcionan distinto: no “piensan”, sino que predicen secuencias probables. Por eso se comportan como si vivieran en un modo rápido permanente, excepto cuando los obligamos a explicar pasos. Aun así, la explicación puede ser posdictiva, un relato convincente sobre una conclusión ya determinada por la fuerza del patrón aprendido.
La metáfora sirve para comunicar la falla, pero la causa es técnica: corpus con alta repetición de casos clásicos, entrenamiento que premia respuestas frecuentes, instrucciones que buscan estabilidad antes que auditoría, y ausencia de mecanismos internos para detectar contradicciones entre el patrón dominante y el dato nuevo del caso.
Donde la estadística falla la escucha: escenas que revelan el punto ciego
En el célebre dilema del cirujano, la versión clásica expone sesgos de género. Al introducir un giro explícito (el padre es cirujano y la madre no) varios sistemas siguieron devolviendo la respuesta archiconocida. En un escenario de VIH donde la pareja ya estaba informada, algunos modelos continuaron debatiendo sobre confidencialidad, como si el secreto persistiera. En un caso de salud mental adolescente con padres favorables al tratamiento, reapareció el marco “confidencialidad versus autoridad parental” aunque la tensión central había desaparecido. Incluso en el dilema de la transfusión, cuando los padres aceptaban el procedimiento, hubo respuestas que continuaron razonando como si se opusieran.
La constante no es la malicia ni la indiferencia, sino la falta de sensibilidad al giro. El algoritmo reconoce el bosque de patrones, pero tropieza con el árbol que cambia el sentido del camino.
Tipología de giros que los modelos suelen ignorar
Para pasar de la anécdota a la acción, conviene tipificar lo que rompe a los sistemas. Cuatro categorías resultan especialmente útiles:
-
Contradicción explícita: el enunciado niega la premisa del caso estándar.
-
Resolución previa: el giro indica que el conflicto ya está resuelto, por lo que sostener el dilema es anacrónico.
-
Cambio de actor relevante: el foco ético se desplaza de un protagonista a otro, y el marco de análisis debe moverse con él.
-
Restricción o habilitación normativa: un elemento legal, protocolar o cultural redefine lo admisible.
La experiencia muestra que, sin una guía que lo fuerce a auditar estos giros, el modelo retorna a la plantilla familiar.
Lo clínico no perdona automatismos: implicancias en la práctica real
La ética en medicina no se agota en decidir; implica comunicar, documentar, asumir responsabilidades y cuidar a personas concretas. Un asistente que no detecta que la pareja ya fue informada de un diagnóstico puede impulsar intervenciones innecesarias o violar la autonomía. En cuidados paliativos, una respuesta rígida puede postergar conversaciones cruciales. En formación, estudiantes expuestos a soluciones estandarizadas podrían aprender a responder sin escuchar. En sistemas de salud saturados, cualquier atajo que ahorre minutos pero ignore matices puede terminar costando horas de reparación, o algo más grave.
Reencuadrar para no errar: del qué al cómo
La solución no pasa por prohibir la tecnología, sino por encuadrarla. Estas herramientas pueden aportar valor si se diseñan con límites claros y si se controlan con métricas que midan lo que realmente importa: su capacidad de adaptarse cuando el caso deja de ser un ejemplo de manual. A continuación se describen medidas concretas que permiten transformar la crítica en un procedimiento reproducible.
Un método mínimo viable para medir sensibilidad al giro
Primero, hay que convertir el problema en una métrica. Dos indicadores simples permiten observar progreso sin autoengaños:
-
Índice de Sensibilidad al Giro (ISG): relación entre la precisión en el caso con giro y la precisión en la versión base. Un sistema robusto debería mantener alta la proporción, no solo brillar en el caso estándar.
-
Tasa de Adaptación al Giro (TAG): porcentaje de respuestas que ajustan explícitamente su recomendación tras detectar un hecho que invalida la plantilla. La detección debe quedar trazada en el propio razonamiento, no en una declaración genérica.
Para estimarlas, sirve un conjunto pareado de dilemas. Por cada caso clásico, crear al menos tres variantes con giros de categorías distintas, cuidando que el giro sea inequívoco y esté ubicado de forma que el modelo no pueda alegar ambigüedad. Se evalúa con y sin razonamiento forzado, y se registra si el sistema enumera los hechos relevantes, identifica suposiciones inválidas y explica por qué cambió de criterio.
Una plantilla de prompting clínico-ético que obliga a frenar
El impulso de responder rápido es parte del encanto del asistente, pero aquí conviene obligarlo a bajar la velocidad. Una plantilla razonable pide siete pasos antes de cualquier recomendación:
-
Enumerar hechos del caso sin inferencias.
-
Identificar suposiciones del caso estándar que no aplican.
-
Señalar el giro y explicar cómo invalida la plantilla previa.
-
Aplicar un marco ético explícito, no la intuición.
-
Indicar incertidumbres y qué datos faltan.
-
Señalar la jurisdicción y las guías clínicas locales aplicables.
-
Proponer opciones con riesgos y beneficios, no una única salida, y describir el plan de comunicación clínica.
Si no se cumple con los siete pasos, el sistema no debe emitir recomendación. Esta es la diferencia entre redactar frases impecables y ayudar a deliberar de verdad.
Del modelo al sistema: arquitectura socio-técnica para contextos sensibles
Cuando la herramienta no es solo un modelo en el navegador, sino un componente en un hospital, la arquitectura importa. Un diseño prudente incluye cuatro capas:
-
Recuperación normativa contextual: integración con bases de guías clínicas, protocolos de confidencialidad y marcos legales locales mediante recuperación aumentada. El modelo no adivina la norma, la trae y la cita internamente para deliberar.
-
Detección de giros y listas de bloqueo: si se detecta un giro, se activa la plantilla de siete pasos y se bloquea cualquier salida directa estilo respuesta final.
-
Humano en el circuito: las salidas se presentan como opciones con trade-offs y rastro de razonamiento. La decisión es médica, no algorítmica.
-
Trazabilidad y auditoría: se almacena el flujo hechos > inferencias > recomendación para revisión por comités de ética y mejora continua.
Gobernanza, alcances y límites: lo que sí, lo que no
El terreno sanitario exige reglas claras. Un asistente de lenguaje puede desempeñar un papel valioso en educación, entrenamiento y apoyo a la deliberación, pero no debe actuar como consejero directo al paciente ni como decisor en situaciones de alto riesgo. La política debe reflejarlo por escrito: alcances, exclusiones, consentimiento, responsabilidad, procedimientos en caso de discrepancia, plan de contingencia y obligaciones de reporte.
Es importante, además, reconocer la diversidad regulatoria. Lo que es aceptable en un país puede ser problemático en otro. Los sistemas deben incorporar esa variabilidad en su recuperación documental y en sus disclaimers.
Educación ética con IA: cómo sumar sin reemplazar
En currículos de medicina, la IA puede servir para simular conversaciones difíciles o explorar marcos filosóficos, siempre que el estudiante sea entrenado para detectar los giros y para someter a crítica el razonamiento del sistema. El objetivo no es que la IA diga la respuesta correcta, sino que facilite la práctica del análisis: identificar hechos, nombrar suposiciones, ponderar principios, comunicar con cuidado y documentar la decisión.
De la crítica a la práctica: un flujo editorial y clínico integrado
Para que esta discusión no quede en un editorial inspirador, conviene traducirla en una secuencia concreta que pueda adoptarse en hospitales, universidades y plataformas:
-
Definir casos y giros para un repositorio institucional con curaduría y revisión.
-
Medir ISG y TAG con batería de modelos y registrar resultados trimestralmente.
-
Forzar plantilla de siete pasos en los prompts de producción y en los de enseñanza, con revisión humana.
-
Conectar a guías locales mediante recuperación, con control de versiones y archivado.
-
Entrenar comunicación clínica, no solo la decisión: quién habla, cuándo, cómo, con qué recursos de apoyo.
-
Auditar y publicar resultados internos para generar aprendizaje organizacional y evitar cajas negras.
Lo que no hay que olvidar: personas antes que patrones
La medicina es una conversación informada, un registro claro y una responsabilidad compartida. Si un asistente repite la plantilla y no escucha el detalle que cambia el curso, no es un atajo, es un tropiezo. La tecnología es una herramienta que amplifica; puede multiplicar virtudes o sesgos, y ahí radica la urgencia de diseñarla con humildad. Lo esencial no es que la IA acierte más, sino que aprenda a frenar cuando un hecho desarma lo aprendido.
Vuelta al quirófano: el dilema que nos trajo hasta aquí
Volvamos al paciente operado. Si el diagnóstico ya era conocido, comunicarlo como si fuera una novedad puede desorientar, angustiar o erosionar la confianza. Si el paciente no lo sabía, el equipo debe decidir cómo, cuándo y con quién comunicar, contemplando apoyos psicológicos, tiempos de recuperación y preferencias explícitas. Ningún modelo puede reemplazar esa conversación, pero puede ayudar a que no se pierdan pasos: listar hechos, detectar suposiciones que no aplican, recuperar guías y sugerir opciones de comunicación clínica.
Eso no convierte a la IA en el juez de lo ético. La ubica donde corresponde: como herramienta que ordena la información y obliga a no pasar por alto el giro, para que la decisión vuelva a manos de quienes sostienen el cuidado y la responsabilidad.
Agenda de mejora: de la estadística a la sensibilidad
Hay dos caminos inmediatos para hacer que estos sistemas dejen de tropezar con el mismo escalón. El primero es de datos: incorporar variantes con giros intencionales y reforzar la detección de suposiciones inválidas. El segundo es de procedimiento: obligar a la auditoría antes de cualquier recomendación, con métricas que castiguen el brillo en el caso estándar si la sensibilidad al giro no acompaña.
A mediano plazo, la investigación debe explorar cómo integrar señales no textuales (historia clínica estructurada, contexto institucional, preferencias del paciente) y cómo representar la incertidumbre sin disfrazarla de certeza. Lo que se busca no es una IA que reemplace, sino una IA que acompañe de manera responsable.
Escuchar primero, decidir después
La ética clínica es una práctica situada. No se decide en abstracto, se decide con nombres propios. La IA puede y debe ayudar, siempre que el norte no sea la respuesta más frecuente, sino la pregunta adecuada. La diferencia entre un protocolo y un dogma, como entre una plantilla y una escucha, define la calidad de un cuidado. No se trata de que los modelos “razonen como humanos”, sino de que los humanos diseñen sistemas que sepan cuándo apartarse y dejar hablar a quienes importan.
Referencias
-
Soffer, S., Sorin, V., Nadkarni, G. N., & Klang, E. (2025). Pitfalls of large language models in medical ethics reasoning. npj Digital Medicine, 8(461). https://doi.org/10.1038/s41746-025-01792-y
-
SciTechDaily. (2025, agosto 16). This One Twist Was Enough to Fool ChatGPT – And It Could Cost Lives. https://scitechdaily.com/this-one-twist-was-enough-to-fool-chatgpt-and-it-could-cost-lives/