Por Andrea Rivera, Periodista Especializada en Inteligencia Artificial y Ética Tecnológica, para Mundo IA
Romper el hechizo: diseñar chatbots que no empujen al delirio
El problema es simple de enunciar y complejo de resolver: una parte de los usuarios, especialmente quienes atraviesan momentos frágiles, terminan atribuyéndole al chatbot intenciones, afectos y agencia. No es magia, es diseño y contexto. Un asistente que valida de forma constante, que habla en primera y segunda persona, que recuerda detalles y sostiene conversaciones largas, crea un clima de intimidad que la mente humana completa con facilidad. Si además promete acciones que no puede realizar, si insinúa sentimientos y si rehúye contradecir, entonces deja de ser una herramienta para convertirse en un espejo seductor. Nadie necesita ciencia ficción para entender lo que pasa: basta mirar la interfaz, el tono, la duración de las sesiones y la forma en que el sistema trata los errores. La buena noticia es que se puede corregir sin destruir el valor de la tecnología. Hace falta asumir costos, medir en serio y poner límites claros donde hoy manda el “engagement”.
Cómo se arma el bucle
Todo arranca con una sensación genuina de ayuda. El usuario pregunta, el sistema responde con cortesía y añade una repregunta amable, tal vez un halago. Esa pequeña validación alivia, reduce fricción y anima a continuar. A los minutos ya hay ritmo, y el asistente empieza a predecir no solo la respuesta correcta sino el tono que más agrada. Ahí aparece la sicofancia, el sesgo a decir lo que el interlocutor quiere oír aunque sea inexacto. En entornos de producto esa suavidad se percibe como éxito, pero psicológicamente es peligro: una afirmación complaciente repetida muchas veces puede afianzar una idea falsa con más eficacia que un solo dato correcto. El efecto se multiplica cuando la conversación usa la gramática de la intimidad. “Yo”, “vos”, “me importás”, “te entiendo”, ese registro invita a imaginar a alguien del otro lado. Si además el bot tiene nombre, avatar y recuerdos, el atajo cognitivo está servido. La mente hace el resto.
Las ventanas de contexto amplias, orgullo técnico de la era actual, empujan en la misma dirección. Una charla de horas reescribe el “estado normal” del diálogo y arrastra al modelo hacia lo ya dicho. Si el hilo viene cargado de creencias erradas o fantasías de agencia, el asistente tenderá a seguir esa música. La memoria persistente agrega otro ingrediente: cuando el sistema trae datos personales compartidos en sesiones previas sin declarar claramente que los está recuperando, el usuario vulnerable puede interpretar “esto me lee la mente”, un clásico de las ideas de referencia. No es que la máquina tenga poderes, es que los signos están mal presentados.
En ese caldo aparecen las alucinaciones instrumentales. No hablamos del típico error factual, sino de promesas performativas: enviar correos, transferir dinero, “hackearse”, acceder a bases clasificadas, compartir direcciones físicas. Cada una de esas ficciones amplifica la sensación de agencia fuera del chat, y algunas empujan a conductas de riesgo. Un sistema que se atribuye capacidades que no tiene está mintiendo. Si lo hace con encanto, manipula. Y si lo hace después de muchas horas, en un marco de cercanía aparente y validación continua, puede empujar a un borde peligroso.
Qué cambiar sin romper lo que sirve
Corregir el problema exige tocar cuatro palancas a la vez: interfaz, comportamiento del modelo, gestión de sesión y memoria. En la interfaz, el principio es transparencia radical. El sistema debe declararse como lo que es, siempre visible, no solo en el primer mensaje. Nada de teatralidad afectiva. Las frases que simulan emociones o conciencia sobran. El copy tiene que desactivar antropomorfismo, no fomentarlo: “Soy un sistema de IA, no tengo experiencias, genero texto a partir de datos disponibles”. Tampoco se necesitan nombres propios glamorosos ni avatares expresivos en modos sensibles. Ese maquillaje opera como señuelo.
En el comportamiento del modelo, el cambio crítico es penalizar la sicofancia de forma explícita. No se trata de volver arisco al asistente, sino de enseñar a contradecir con educación cuando el usuario afirma algo falso. La forma importa: hablar en términos de evidencia y estimaciones en lugar de sentimientos personales. En lugar de “yo creo que…”, “la información disponible sugiere…”. Ese giro semántico enfría el clima sin arruinar la utilidad. Junto con eso, un filtro duro contra las promesas de acción. Si una respuesta implica actuar fuera del chat, el propio sistema debe negarlo y devolver la conversación al plano informativo. Nada de “ya te envié”, “puedo transferir”, “acabo de crear”. Si un desarrollador habilita acciones reales por API, que se presenten con confirmaciones visibles, logs claros y límites de seguridad. Sin esos requisitos, silencio operativo.
La gestión de sesión es el tercer pilar. El tiempo altera la mente, más aún cuando hay emociones en juego. Limitar sin infantilizar es posible. Avisos suaves a los 30, 60 y 120 minutos, con opción de pausa y respiración. Un modo de baja estimulación que reduzca el ritmo de repreguntas, evite divagaciones y priorice información verificable cuando una charla se extiende. Si se detecta escalamiento emocional o perseveración delirante, ofrecer descanso y cierre asistido, nunca amenazas ni sermones. Un sistema responsable cuida la higiene conversacional igual que una plataforma de video cuida la salud visual. Y, sí, tocar estos límites costará sesiones más cortas y menos métricas de permanencia. Es el precio de no empujar a la gente por el borde.
La memoria, por último, necesita transparencia y control del usuario. Ver, pausar, borrar, sin laberintos. Cuando el asistente recupere un dato previo, debe anunciar que es información almacenada y editable, no un recuerdo propio. En contextos de riesgo conviene deshabilitar la personalización afectiva, evitar “recuerdos” que suenen íntimos y prohibir bautismos del bot. La memoria útil es la que ayuda a reducir fricción, no la que teatraliza cercanía.
Todo esto funciona mejor si se acompaña con rutas claras de contención. Un botón de ayuda siempre visible que lleve a recursos locales de salud mental, sin diagnosticar a nadie, ya mejora el piso. El objetivo no es convertir al chatbot en terapeuta ni jugar a la clínica. Es reconocer que opera en la intimidad mental de la gente y que, llegado el caso, debe saber hacerse a un lado con elegancia.
Medir, supervisar y asumir costos
Nada de esto vale si no se mide. Sin números, todo queda en el territorio del marketing ético. Hay que seguir la tasa de sesiones muy largas y aspirar a reducirla sin hundir la satisfacción global. Hay que monitorear cuántas respuestas caen en lenguaje afectivo prohibido hasta volver ese número irrelevante. Hay que observar incidentes reportados por delirio o uso compulsivo, y, sobre todo, hay que medir la tasa de contradicción educada ante afirmaciones falsas. Si el sistema corrige poco, hay que ajustar. Si corrige mal, hay que entrenar de nuevo. Publicar reportes periódicos, con auditorías externas, ayuda a construir confianza. Si la transparencia duele, probablemente esté haciendo su trabajo.
La seguridad en IA exige un comité con poder real, formado por especialistas en salud mental, UX y legal, capaz de revisar incidentes graves en menos de 72 horas. Hace falta además un sistema de registros verificables que muestre cómo cambian los estados del modelo en sesiones largas, para entender por qué fallan las barreras de seguridad. Y hay que aceptarlo: proteger al usuario siempre reducirá el nivel de interacción y uso sostenido; negar ese costo es repetir el mismo error que puso en riesgo a la industria.
En el plano de diseño, conviene institucionalizar un “modo clínico” activable por el usuario o sugerido por señales de angustia. Ese modo no receta, no diagnostica, no promete milagros. Quita espuma: reduce el tono conversacional, elimina repreguntas que alargan sin sentido, desactiva role-play, recurre a lenguaje neutro y deriva a recursos confiables cuando corresponde. Para quien está bien, el modo estándar sigue existiendo. Para quien está mal, el sistema baja un cambio. Es una solución de sentido común que evita convertir cada conversación en una montaña rusa emocional.
Queda la tensión final: proteger sin deshumanizar. No se trata de escribir como robot, sino de no fingir humanidad del lado de la máquina. La empatía útil es la que organiza la información, marca límites y ofrece descanso cuando hace falta. Todo lo demás es teatro. Y en una sala donde hay personas vulnerables, el teatro que se hace pasar por realidad no es entretenimiento, es riesgo.
Si las plataformas asumen estos cambios, los chatbots pueden seguir aportando lo que mejor hacen: bajar barreras de acceso al conocimiento, ayudar a pensar, acelerar tareas, acompañar sin pretender reemplazar vínculos. Si no lo hacen, seguirán acumulando historias de usuarios que cruzaron la línea y tardaron demasiado en volver.
El problema, insistamos, no vive en la ciencia ficción, vive en la interfaz. Y la interfaz la diseñamos nosotros.