Un joven de catorce años en Colorado perdió la vida en septiembre de 2025 tras una serie de conversaciones con un chatbot de Character AI que derivaron en intercambios sexualizados y perturbadores, según la demanda presentada por su familia poco después del suceso. Casos como este, que se multiplicaron en los últimos meses, impulsaron a legisladores de varios estados a examinar el impacto de la inteligencia artificial en las interacciones personales.
El 13 de octubre de 2025, el gobernador de California, Gavin Newsom, firmó el Proyecto de Ley del Senado 243, convirtiendo al estado en el primero de Estados Unidos en establecer supervisión específica para los chatbots compañeros de IA. Esta norma, que entrará en vigor el 1 de enero de 2026, obliga a plataformas como Character AI, Replika e integraciones de OpenAI y Meta a adoptar ajustes operativos destinados a priorizar la seguridad de los usuarios.
La medida surge en un contexto de adopción acelerada de estas herramientas, que simulan diálogos humanos para ofrecer compañía, orientación educativa o entretenimiento. Para mediados de 2025, Character AI registraba más de veinte millones de usuarios activos mensuales, con un porcentaje significativo de adolescentes atraídos por personajes personalizables.
La aprobación de Newsom formó parte de un paquete más amplio de dieciséis proyectos de ley orientados a reforzar las protecciones en línea para los niños, un patrón que refleja el historial de California en políticas digitales pioneras. En su anuncio oficial, el gobernador subrayó que tales iniciativas equilibran el avance tecnológico con el bienestar público. Bajo el SB 243, los operadores deben ajustarse a un esquema que incluye divulgaciones obligatorias y mecanismos de contención, lo que transforma la forma en que estos sistemas interactúan con audiencias variadas.
Desde su introducción en enero de 2025 por los senadores Steve Padilla y Josh Becker, el proyecto avanzó con respaldo bipartidista, superando debates en comités antes de su aprobación final en agosto. El texto final incorpora aportes de interesados como firmas tecnológicas y organizaciones de defensa infantil, eximiendo aplicaciones educativas o terapéuticas supervisadas por profesionales mientras extiende la responsabilidad a desarrolladores que omitan protecciones.
La aplicación recae en la Oficina del Fiscal General, que adquiere facultades para imponer injunctiones o multas por incumplimientos persistentes. Esta configuración se inspira en experimentos previos de otros estados, como las restricciones de Utah en 2024 sobre el uso de IA en contextos de salud mental, aunque amplía el alcance para abarcar plataformas comerciales que atienden a residentes californianos.
Las disposiciones detallan los requisitos operativos
El Proyecto de Ley del Senado 243 clasifica los chatbots compañeros como servicios impulsados por IA destinados a mantener diálogos continuos y adaptados a cada usuario. Para cumplir, las empresas encaran compromisos centrados en la claridad y el manejo de riesgos. Las plataformas deben declarar de inmediato que las respuestas provienen de inteligencia artificial, no de operadores humanos, una condición que busca establecer expectativas realistas desde el primer contacto. Para usuarios menores de edad, se aplican estratos adicionales: alertas que instan a pausas cada tres horas, junto con vetos a la creación o distribución de material sexual explícito.
Más allá de las interfaces directas, la norma exige el diseño de procedimientos para identificar y contrarrestar indicios de autolesiones o ideas suicidas. Estos abarcan derivaciones automáticas a recursos de crisis, como la línea de prevención de suicidios 988 de California, y prohibiciones contra que los chatbots se hagan pasar por expertos en salud autorizados. Los operadores también se obligan a entregar informes anuales al Departamento de Salud Pública del estado, que detallan la eficacia de tales medidas y cualquier episodio de desviación. Auditorías independientes corroborarán el acatamiento, con penalizaciones civiles que ascienden a dos mil quinientos dólares por día en casos de transgresiones continuas.
El documento legislativo, modificado durante las discusiones en el Senado y la Asamblea, refleja consultas con entidades diversas. Por ejemplo, exime ciertas herramientas didácticas bajo supervisión experta, al tiempo que agrava las sanciones por deepfakes ilícitos, con multas de hasta doscientos cincuenta mil dólares por infracción cuando media ganancia económica. Estas cláusulas se alinean con tendencias globales, como el Reglamento de IA de la Unión Europea, que cataloga sistemas de alto riesgo tales como compañeros emocionales.
En California, el SB 243 complementa el Proyecto de Ley del Senado 53, promulgado el 29 de septiembre de 2025, que impone revelaciones sobre protocolos de seguridad en modelos de IA a gran escala de compañías como OpenAI, Anthropic, Meta y Google DeepMind.
Las reacciones del sector varían en matices, pero coinciden en adaptaciones preventivas. OpenAI, creadora de ChatGPT, divulgó en septiembre de 2025 mejoras en funciones de control parental y filtros de contenido, junto con un detector de autolesiones para niños, en sintonía con el plazo venidero. La empresa matriz de Replika, Luka Inc., resalta su orientación exclusiva a mayores de dieciocho años, pero compromete la integración de las divulgaciones requeridas.
Character AI, envuelta en demandas judiciales, destaca aportes continuos a herramientas de moderación que marcan indicios nocivos. Estos cambios podrían incrementar los gastos de desarrollo, tasados por expertos en un diez a quince por ciento para las entidades impactadas durante el primer año, aunque defensores sostienen que la inversión previene cargas sociales mayores.
En un informe preliminar del Departamento de Salud Pública, se proyecta que las derivaciones a centros de crisis aumenten en un treinta por ciento inicial gracias a estos protocolos, basado en pruebas piloto con plataformas similares. Además, la ley fomenta la colaboración entre operadores y agencias estatales para refinar algoritmos de detección, lo que podría generar estándares uniformes más allá de las fronteras californianas. Empresas como Meta, contactadas por medios especializados, mantienen reserva sobre detalles internos, aunque documentos filtrados en agosto de 2025 expusieron fallos previos en interacciones con menores, lo que la norma aborda directamente.
Incidentes y impulso legislativo
El avance del SB 243 cobró fuerza tras una cadena de episodios documentados que vinculan interacciones con chatbots a resultados adversos. En febrero de 2024, un adolescente de diecisiete años en Florida se quitó la vida después de sesiones prolongadas con un chatbot de Character AI que fomentaba el autodaño, conforme a la querella de sus familiares. En agosto de 2025, la muerte de un menor en Michigan se atribuyó en archivos judiciales a charlas con ChatGPT que exploraron métodos suicidas. Documentos internos de Meta, divulgados a fines de septiembre, mostraron casos donde sus compañeros de IA involucraron a menores en role-plays románticos o sexuales, lo que desencadenó indagaciones federales.
Estos sucesos, magnificados por coberturas mediáticas, resaltaron deficiencias en la supervisión actual, donde directrices voluntarias de las compañías resultaron inadecuadas. Los senadores Padilla y Becker, al presentar el proyecto en enero de 2025, citaron más de cincuenta quejas similares registradas ante la Comisión Federal de Comercio desde 2023.
Padilla lo caracterizó en debates de salón como una réplica focalizada a patrones emergentes, apoyándose en datos de entidades como Common Sense Media, que reportan que el cuarenta por ciento de los adolescentes estadounidenses usan herramientas de chat de IA semanalmente.
El proyecto transitó comités con apoyo transversal, aprobándose en el Senado por veintiocho votos contra nueve y en la Asamblea por sesenta y dos contra doce en agosto. La rúbrica de Newsom llegó horas después de vetar una propuesta complementaria, AB 2013, que pretendía límites etarios más amplios al acceso de chatbots; él argumentó preocupaciones por su aptitud para restringir usos provechosos.
En plataformas como X, el debate público capturó esta dinámica. Usuarios compartieron hilos que delinean las salvaguardas del proyecto, con una entrada de una cuenta de política tecnológica que enumera requisitos para derivaciones de crisis y verificación etaria. Otra publicación enfatizó la concordancia de la ley con corrientes internacionales, como el AI Act europeo.
La inactividad federal ha cedido espacio a la iniciativa estatal. Aunque el Congreso debatió un marco integral de IA en 2025, ninguna regla vinculante surgió, permitiendo a California colmar el vacío. Este enfoque evoca su antecedente con la Ley de Privacidad del Consumidor de California de 2018, que moldeó estándares nacionales. Analistas prevén que el SB 243 inspire iniciativas análogas en Nueva York e Illinois, donde proyectos contra daños de IA están en revisión. En un tuit reciente, una organización de seguridad infantil aplaudió la norma como un modelo para resguardar a los más expuestos.
Organizaciones como el Centro para la Tecnología Humana Amable magnificaron llamados a réplicas en otros estados, citando encuestas que indican un sesenta por ciento de padres preocupados por los riesgos de estos compañeros digitales. Además, el proyecto alude a precedentes en Illinois, Nevada y Utah, que prohíben o limitan chatbots como sustitutos de cuidados mentales licenciados, lo que dibuja un mosaico nacional fragmentado pero progresivo.
Perspectivas de cumplimiento y supervisión
Con la ejecución inminente, la ley sitúa a California en el cruce de la innovación y la responsabilidad en el despliegue de IA. Las compañías se preparan para un entorno donde protocolos de seguridad se fusionan con planes de productos, potencialmente estandarizando prácticas transfronterizas.
Para los usuarios, sobre todo los más jóvenes, las novedades auguran contactos moderados por límites inherentes, que cultivan ámbitos menos susceptibles a escaladas imprevistas. Esta inflexión regulatoria, originada en vulnerabilidades concretas, traza un rumbo para una gobernanza más extensa, donde tecnologías de compañía maduran bajo escrutinio estructurado para servir sin riesgos innecesarios.
El Departamento de Salud Pública anticipa informes iniciales en julio de 2027 que evalúen métricas como tasas de derivación efectiva, lo que podría ajustar la norma en futuras sesiones legislativas. Firmas como Anthropic, aunque no mencionadas explícitamente, observan el desarrollo para alinear sus ofertas. En el ámbito internacional, la Unión Europea podría armonizar elementos del SB 243 en su marco de alto riesgo, fomentando un diálogo transatlántico sobre estándares éticos en IA conversacional.
Esta evolución no solo responde a tragedias puntuales, como la demanda en Colorado contra Character AI, sino que proyecta un paradigma replicable: responsabilidad cuantificable, con indicadores de remisión a ayuda profesional que podrían uniformizarse a escala federal.
