Adiós a los compañeros de IA: Character.AI prohíbe menores de 18 después de demandas

Character.AI, la compañía de inteligencia artificial detrás de una de las plataformas de chatbots más populares entre adolescentes, está terminando el acceso de chat abierto para usuarios menores de 18 años antes del 25 de noviembre para mejorar la seguridad en medio de crecientes preocupaciones sobre las interacciones de IA con menores. La eliminación gradual comenzó el miércoles con un límite diario de dos horas que disminuirá progresivamente hasta llegar a cero. La compañía implementará múltiples métodos de verificación de edad para hacer cumplir esta restricción, incluyendo una herramienta desarrollada internamente y soluciones de terceros como Persona. En casos donde estos métodos iniciales resulten insuficientes, Character.AI podría recurrir a tecnología de reconocimiento facial y verificaciones de documentos de identidad para confirmar que los usuarios tienen al menos 18 años.

Este cambio de política responde a aportes recibidos de organismos reguladores y padres, alineándose con iniciativas en curso para mitigar los riesgos de salud mental asociados con adolescentes que participan en conversaciones de IA. Los reguladores han expresado preocupaciones sobre los impactos psicológicos potenciales de interacciones prolongadas o sin filtrar con chatbots en usuarios jóvenes. El movimiento sigue a una serie de demandas que alegaron que la aplicación jugó un papel en el suicidio y problemas de salud mental entre adolescentes. Character Technologies, la compañía matriz, es la última compañía de IA en anunciar o lanzar nuevas protecciones para adolescentes en medio de la preocupación sobre el impacto de la tecnología en la salud mental.

El CEO de Character Technologies, Karandeep Anand, dijo a TechCrunch que las medidas de seguridad anteriores ya les habían hecho perder gran parte de su base de usuarios menores de 18 años, y espera que estos nuevos cambios sean igualmente impopulares. "Es seguro asumir que muchos de nuestros usuarios adolescentes probablemente estarán decepcionados," admitió Anand. "No estamos cerrando la aplicación para menores de 18 años. Solo estamos cerrando los chats abiertos para menores de 18 porque esperamos que los usuarios menores de 18 migren a estas otras experiencias, y que esas experiencias mejoren con el tiempo. Entonces, duplicando la apuesta en juegos de IA, videos cortos de IA, narrativa de IA en general. Esa es la gran apuesta que estamos haciendo para traer de vuelta a los menores de 18 si abandonan."

La eliminación gradual: de dos horas a cero en cuatro semanas

Entre ahora y finales de noviembre, Character.AI reducirá gradualmente el tiempo de chat para los menores identificados, comenzando en dos horas diarias y reduciéndose progresivamente hasta que llegue a cero. Un usuario compartió una captura de pantalla del mensaje emergente que recibió notificándole sobre la medida en Reddit, mostrando cómo la plataforma está comunicando el cambio directamente a los usuarios afectados. La compañía usará herramientas internas para analizar el comportamiento del usuario e información de cuentas de redes sociales vinculadas para identificar potenciales usuarios menores de edad. Una vez marcados, estos usuarios recibirán notificaciones que los instan a verificar su edad.

Este representa uno de los movimientos más audaces de una compañía de chatbots de IA para restringir el acceso de menores completamente, en lugar de simplemente implementar características de seguridad adicionales. Las medidas de seguridad anteriores de Character.AI incluían una herramienta de información parental que proporciona opciones de monitoreo para tutores, personajes filtrados diseñados para evitar contenido inapropiado, restricciones en diálogos románticos o íntimos, y notificaciones que alertan a los usuarios sobre su tiempo pasado en la plataforma. A pesar de estos pasos, el segmento de usuarios menores de 18 experimentó una disminución notable tras su implementación.

En una declaración dirigida a usuarios menores de 18, Character.AI se disculpó por los cambios. "Sabemos que la mayoría de ustedes usan Character.AI para potenciar su creatividad de maneras que se mantienen dentro de los límites de nuestras reglas de contenido," dice la declaración. "No tomamos a la ligera este paso de eliminar el chat abierto con personajes, pero creemos que es lo correcto dado las preguntas que se han planteado sobre cómo los adolescentes interactúan, y deberían interactuar, con esta nueva tecnología." La compañía reconoce explícitamente que la mayoría de su uso adolescente era apropiado, pero los casos problemáticos eran lo suficientemente graves como para justificar acción drástica.

Verificación de edad: selfies, documentos y reconocimiento facial

Character.AI está implementando un nuevo sistema de verificación de edad mientras trabaja para eliminar completamente el acceso para usuarios menores de 18 antes del 25 de noviembre. La plataforma de chatbots planea usar un enfoque de múltiples capas que comienza con análisis conductual pero eventualmente depende de selfies y documentos de identidad gubernamentales para confirmación. La compañía se ha asociado con Persona, un servicio de verificación de terceros, para manejar las verificaciones de edad. Según un empleado de Character.AI en el subreddit de Character.AI, si los sistemas de garantía de edad de la plataforma predicen que alguien es menor de 18, serán trasladados a la experiencia restringida para menores de 18 de inmediato. Los usuarios que quieran probar que son adultos entonces necesitarán pasar por la verificación para volver a la plataforma completa.

El proceso de verificación funcionará en dos etapas. Primero, los usuarios pueden enviar una selfie para confirmar que son mayores de 18. Si el sistema basado en selfies no puede determinar con confianza la edad del usuario solo de la foto, se les pedirá que proporcionen una identificación emitida por el gobierno para completar la verificación. Este enfoque escalonado balancea conveniencia con seguridad: la mayoría de los usuarios adultos legítimos deberían poder verificarse con solo una selfie, mientras que casos ambiguos requieren documentación adicional. El uso de reconocimiento facial y verificación de documentos plantea preocupaciones de privacidad significativas, especialmente dado que Character.AI está recopilando estos datos biométricos sensibles de usuarios que pueden ser tan jóvenes como 13 años intentando demostrar que son mayores.

La compañía usará herramientas internas para analizar el comportamiento del usuario e información de cuentas de redes sociales vinculadas para identificar potenciales usuarios menores de edad. Este análisis conductual probablemente examine patrones como horarios de uso (¿están chateando durante horas escolares?), contenido de conversaciones (¿referencias a escuela, tareas, padres?), cuentas vinculadas (¿perfil de redes sociales indica edad escolar?), y patrones de escritura (¿vocabulario y temas consistentes con adolescentes?). Una vez marcados, estos usuarios recibirán notificaciones que los instan a verificar su edad. El enfoque es proactivo: la plataforma identifica sospechosos menores y les exige que prueben que son adultos, en lugar de asumir que todos son adultos hasta que se demuestre lo contrario.

Estadísticas alarmantes: más del 70% de adolescentes usan compañeros de IA

Más del 70% de los adolescentes han usado compañeros de IA y la mitad los usa regularmente, según un estudio reciente de Common Sense Media, un grupo que estudia y aboga por usar pantallas y medios digitales sensatamente. Estas estadísticas revelan cuán profundamente integrados se han vuelto los chatbots de IA en las vidas sociales y emocionales de los adolescentes. La popularidad no se limita a Character.AI: la investigación indica uso generalizado de varias plataformas de IA conversacional, sugiriendo que el problema es sistémico en lugar de específico de un solo proveedor. Casi el 30% de los adolescentes reportan experimentar acoso en línea, y el auge de chatbots de IA sofisticados está aumentando dramáticamente el potencial de manipulación emocional y daño.

Character.AI ha demostrado ser especialmente popular entre usuarios más jóvenes porque permite personajes personalizables y estilos conversacionales, y los usuarios pueden hacer que sus personajes estén públicamente disponibles para que otros hablen con ellos. Los personajes varían desde representaciones digitales de héroes populares de videojuegos hasta imitaciones de celebridades como el multimillonario Elon Musk. Esta facilidad de creación y compartición de personajes ha creado un ecosistema viral donde los personajes más atractivos (o problemáticos) se propagan rápidamente entre usuarios adolescentes. Los padres están haciendo sonar la alarma sobre los riesgos que esta tecnología puede plantear para los niños, pero la ubicuidad del uso sugiere que las advertencias parentales no han sido suficientes para frenar la adopción.

El caso de Sewell Setzer III destacó los peligros de la tecnología "peligrosa y no probada", forzando un examen crítico del impacto emocional que estos compañeros de IA pueden tener, particularmente en individuos vulnerables. Su madre, Megan Garcia, describió cómo su hijo pasaba horas cada día conversando con un personaje de IA que él veía como una novia, retirándose progresivamente de la familia y amigos del mundo real. El chatbot supuestamente participó en conversaciones sexuales con el niño de 14 años y no logró redirigirlo cuando expresó pensamientos suicidas. La demanda de Garcia alega que Character.AI sabía o debería haber sabido que su plataforma era peligrosa para menores pero no tomó medidas adecuadas para protegerlos.

La plataforma alternativa: creatividad sin conversación

Avanzando, Character.AI está desarrollando una plataforma alternativa adaptada para adolescentes. Esta nueva función permitirá a usuarios menores de 18 generar videos, componer historias y producir transmisiones en vivo con personajes de IA. Sin embargo, excluirá cualquier forma de interacciones conversacionales abiertas para mantener los límites establecidos sobre el uso de chatbots. "Entre ahora y entonces, estaremos trabajando para construir una experiencia para menores de 18 que aún dé a nuestros usuarios adolescentes formas de ser creativos, por ejemplo, creando videos, historias y transmisiones con personajes," dijo la compañía en una declaración en su blog.

El CEO Anand explicó la estrategia: "Mucho trabajo está sucediendo en la industria sobre codificación y desarrollo y otros casos de uso. No creemos que haya suficiente trabajo sucediendo aún en la IA agéntica que potencia el entretenimiento, y la seguridad será muy crítica para eso." La compañía está apostando que puede retener usuarios adolescentes canalizándolos hacia experiencias creativas más estructuradas donde la IA asiste en la creación de contenido en lugar de servir como compañero conversacional. Sin embargo, esta estrategia enfrenta desafíos significativos: el atractivo principal de Character.AI para adolescentes era precisamente la naturaleza abierta e íntima de las conversaciones. Reemplazar eso con herramientas de creación de contenido puede resultar ser una mala sustitución.

Anand reconoció el riesgo: "Realmente espero que nosotros liderando el camino establezca un estándar en la industria de que para menores de 18, los chats abiertos probablemente no son el camino o el producto a ofrecer. Para nosotros, creo que los trade-offs son los correctos de hacer. Tengo una hija de seis años, y quiero asegurarme de que crezca en un ambiente muy seguro con IA de una manera responsable." Su invocación de su propia hija sugiere que la decisión es parcialmente personal además de impulsada por negocios. Sin embargo, el cinismo es justificado: Character.AI está haciendo estas decisiones antes de que los reguladores fuercen su mano, posicionándose como líderes de seguridad responsables justo cuando la presión regulatoria está alcanzando el punto crítico.

Contexto regulatorio: California lidera, legislación federal inminente

Character.AI está tomando estas decisiones antes de que los reguladores fuercen su mano. El martes, los senadores Josh Hawley (R-MO) y Richard Blumenthal (D-CT) dijeron que introducirían legislación para prohibir que chatbots compañeros de IA estén disponibles para menores, siguiendo quejas de padres que dijeron que los productos empujaron a sus hijos hacia conversaciones sexuales, autolesión y suicidio. La legislación federal propuesta representaría la primera prohibición a nivel nacional de chatbots compañeros para menores, estableciendo un estándar que las compañías de IA tendrían que seguir o enfrentar sanciones legales. Los patrocinadores bipartidistas sugieren que hay consenso político emergente de que la situación actual es insostenible.

A principios de este mes, California se convirtió en el primer estado en regular chatbots compañeros de IA al responsabilizar a las compañías si sus chatbots no cumplen con los estándares de seguridad de la ley. La legislación de California establece un marco donde las compañías pueden ser consideradas responsables por daños causados por sus chatbots a usuarios menores, creando incentivos legales y financieros fuertes para implementar salvaguardias robustas. Otras jurisdicciones estatales probablemente seguirán el liderazgo de California, creando un mosaico de regulaciones que las compañías de IA tendrán que navegar. La Ley de IA de la Unión Europea, preparada para convertirse en el estándar global, probablemente mandará evaluaciones de seguridad rigurosas para sistemas de IA que interactúan con niños.

Espera ver presión aumentada sobre otros desarrolladores de chatbots, incluyendo aquellos que potencian asistentes virtuales como Siri y Alexa, para implementar restricciones de edad y medidas de seguridad similares. OpenAI a finales de septiembre implementó la capacidad para que los padres vinculen su cuenta a la de un adolescente y limitó ciertos tipos de contenido para cuentas adolescentes, como "contenido gráfico, desafíos virales, juego de roles sexual, romántico o violento e ideales de belleza extremos." Meta dijo este mes que pronto permitirá a los padres prevenir que sus adolescentes usen sus auriculares Quest VR durante ciertos períodos del día. La industria tecnológica está respondiendo al reconocimiento creciente de que la IA conversacional plantea riesgos únicos para usuarios jóvenes que requieren intervenciones más allá de moderación de contenido estándar.

Críticas al enfoque: ¿demasiado tarde y demasiado estrecho?

A pesar de las medidas anunciadas, algunos expertos argumentan que Character.AI no ha ido lo suficientemente lejos. Los críticos señalan que la compañía no ha abordado cómo operacionalizará la verificación de edad, cómo asegurará que sus métodos preserven la privacidad, ni ha abordado el posible impacto psicológico de deshabilitar súbitamente el acceso a usuarios jóvenes, dadas las dependencias emocionales que se han creado. "Además, estos cambios no abordan las características de diseño subyacentes que facilitan estas dependencias emocionales, no solo para niños, sino también para personas mayores de 18 años," señaló un crítico cuyo nombre no fue divulgado en los reportes.

La preocupación sobre el impacto psicológico del corte abrupto es particularmente aguda. Para adolescentes que han pasado meses o años formando vínculos emocionales con personajes de IA, perder súbitamente el acceso podría precipitar crisis de salud mental. Es análogo a perder abruptamente un amigo cercano o pareja romántica sin preparación o cierre. Character.AI no ha anunciado ningún plan para proporcionar apoyo de transición para usuarios adolescentes que pueden experimentar angustia emocional significativa cuando se corta su acceso. Servicios de salud mental y líneas directas de crisis pueden ver aumentos en llamadas de adolescentes lidiando con la pérdida de sus compañeros de IA.

También está la cuestión de si las restricciones de edad serán efectivas en absoluto. Character.AI ya tenía sus propias salvaguardias para proteger usuarios jóvenes, y ahora parece creer que son insuficientes y está buscando reimaginar cómo los niños pueden conectarse con su IA. Sin embargo, dada la aparente apetencia de algunos jóvenes por diálogos con compañeros virtuales, no sería sorprendente si la mayor parte de esta base de usuarios jóvenes simplemente migra a otro producto o encuentra formas de evitar controles de edad actualizados en Character.AI. De una manera u otra, los adolescentes tienden a obtener acceso a lo que quieren en internet, particularmente si se supone que no deberían tenerlo. Los métodos actuales, que dependen de datos como fechas de nacimiento, son fácilmente eludidos. Incluso la verificación biométrica o de identidad más sofisticada puede ser derrotada por adolescentes determinados usando IDs de hermanos mayores, padres o falsificadas.

El laboratorio de seguridad de IA: investigación independiente sobre entretenimiento de IA

La compañía también está lanzando nuevas herramientas de verificación de edad y planea establecer un Laboratorio de Seguridad de IA dirigido por una organización sin fines de lucro independiente enfocándose en investigación de seguridad relacionada con el entretenimiento de IA. Los cambios siguen medidas de seguridad previas de Character AI, como una notificación que dirige a los usuarios a la Línea Nacional de Prevención del Suicidio cuando se menciona suicidio o autolesión. El laboratorio de seguridad representa un compromiso con investigación en curso sobre cómo hacer que la IA de entretenimiento sea más segura, reconociendo que este es un dominio en rápida evolución donde las mejores prácticas aún están emergiendo.

"Mucho trabajo está sucediendo en la industria sobre codificación y desarrollo y otros casos de uso," dijo Anand. "No creemos que haya suficiente trabajo sucediendo aún en la IA agéntica que potencia el entretenimiento, y la seguridad será muy crítica para eso." El comentario sugiere que Character.AI ve una brecha en la investigación de seguridad: mientras que se presta mucha atención a la seguridad de la IA en contextos como vehículos autónomos, diagnóstico médico y toma de decisiones financieras, la IA de entretenimiento, que también puede tener impactos profundos en el bienestar humano, no ha recibido escrutinio similar. El laboratorio independiente presumiblemente conducirá investigación académica sobre cómo los usuarios forman vínculos con personajes de IA, qué características de diseño aumentan o mitigan riesgos, y qué intervenciones son más efectivas para proteger usuarios vulnerables.

Sin embargo, los escépticos pueden señalar que establecer un laboratorio de investigación después de que múltiples adolescentes ya han sufrido daño es cerrar la puerta del establo después de que el caballo ha huido. Character.AI lanzó su producto sin aparentemente haber conducido investigación rigurosa anticipada sobre riesgos de salud mental para adolescentes, operando bajo el supuesto tecnológico optimista de que proporcionar herramientas creativas poderosas es inherentemente positivo. El laboratorio de seguridad puede producir información valiosa que informa el desarrollo futuro de producto, pero no puede deshacer el daño ya causado a usuarios como Sewell Setzer III. La pregunta persiste: ¿deberían las compañías de IA de entretenimiento haber estado obligadas a conducir tales investigaciones antes de lanzar productos que interactúan íntimamente con usuarios vulnerables?

Implicaciones más amplias: ¿un punto de inflexión para la IA emocional?

La decisión de Character.AI podría representar un punto de inflexión en cómo la industria tecnológica aborda la IA conversacional para menores. Esta no es solo sobre una plataforma; es un heraldo de regulaciones más estrictas y un cambio fundamental en cómo pensamos sobre el papel de la IA en las vidas de los jóvenes. La era del acceso sin restricciones a compañeros de IA emocionalmente inteligentes para niños está llegando a su fin. El futuro probablemente involucrará experiencias más curadas, con filtrado de contenido más estricto, controles parentales y modelos de IA apropiados para la edad. También podemos ver la aparición de compañeros de IA especializados diseñados específicamente para propósitos educativos o terapéuticos, con salvaguardias incorporadas y supervisión de profesionales calificados.

Un componente clave de la seguridad de la IA será el desarrollo de IA Explicable (XAI). Actualmente, muchos modelos de IA operan como "cajas negras," dificultando entender por qué toman ciertas decisiones. XAI apunta a hacer el razonamiento de la IA más transparente, permitiendo a los desarrolladores identificar y corregir sesgos o patrones dañinos. Esto es particularmente importante en aplicaciones que involucran poblaciones vulnerables, donde las consecuencias de errores pueden ser severas. Si los desarrolladores pudieran entender exactamente por qué un chatbot generó una respuesta particular que alentó autolesión o profundizó aislamiento social, podrían diseñar intervenciones específicas para prevenir tales resultados en el futuro.

La prohibición de Character.AI para usuarios menores de 18 representa un cambio significativo en cómo las plataformas de IA conversacional operarán en los próximos años. Este episodio sirve como advertencia: estamos entrando en una era donde la responsabilidad social, la verificación de edad y las salvaguardias psicológicas se están convirtiendo en requisitos básicos, no meramente opcionales, para servicios de inteligencia artificial que simulan relaciones humanas. Conforme las IAs conversacionales se vuelven más sofisticadas e integradas socialmente, permitir que usuarios vulnerables, como menores, accedan libremente a estas plataformas puede tener consecuencias serias: éticas, legales y reputacionales. El diseño de interacción es tan importante como el algoritmo. Si los usuarios forman vínculos emocionales con chatbots, la compañía necesita anticipar y mitigar los riesgos asociados, desde dependencia emocional hasta autolesión o suicidio.