Los mayores riesgos de seguridad de IA no están en el código: están en la cultura organizacional

Cuando las organizaciones hablan de seguridad de inteligencia artificial, la conversación casi invariablemente se dirige hacia lo técnico. Hablan de conjuntos de datos robustos, algoritmos verificados, arquitecturas de modelos bien diseñadas. Es lógico. Estos componentes son visibles, medibles, tangibles. Pueden auditarse, probarse, certificarse. Son el tipo de cosas que los equipos de seguridad saben cómo manejar.

Pero hay un problema con este enfoque. La mayoría de los riesgos de seguridad de IA en el mundo real no provienen de fallas técnicas fundamentales. No provienen de algoritmos defectuosos o conjuntos de datos corruptos. Provienen de algo mucho más mundano y mucho más difícil de solucionar: brechas en cómo los equipos trabajan juntos, comunican cambios y mantienen la responsabilidad sobre sistemas que evolucionan constantemente.

Los riesgos se acumulan gradualmente cuando las actualizaciones no se registran, cuando los modelos se mueven entre equipos sin contexto adecuado, cuando nadie está muy seguro de quién hizo el último cambio o por qué. Estas no son fallas de código o arquitectura. Son señales de que la forma en que los equipos construyen, adaptan y transfieren sistemas no ha seguido el ritmo de cuán ampliamente se usan ahora esos sistemas.

Replanteando la seguridad de IA: más allá del código

Un sistema de IA resiliente va más allá del rendimiento técnico. Refleja la cultura del equipo detrás de él. Esta es una verdad incómoda para muchas organizaciones porque es más fácil auditar código que cambiar cultura. Es más fácil contratar ingenieros de seguridad que rediseñar cómo los equipos se comunican entre sí.

Cuando se discute la seguridad de IA, el enfoque tiende a centrarse directamente en la capa técnica, en conjuntos de datos limpios, algoritmos robustos y modelos bien estructurados. Es un instinto comprensible. Estos son componentes visibles y tangibles, y son importantes.

El desarrollo de IA rara vez permanece dentro de un solo equipo. Los modelos se reentrenan, reutilizan y adaptan a medida que cambian las necesidades. Esa flexibilidad es parte de su valor, pero también agrega capas de complejidad. Los pequeños cambios pueden tener efectos de amplio alcance.

Dónde tiende a acumularse el riesgo

Considera un escenario común en organizaciones que despliegan IA a escala. Un equipo puede actualizar los datos de entrenamiento para reflejar nuevas entradas. Otro equipo puede ajustar un umbral para reducir falsos positivos. Un tercer equipo puede desplegar un modelo sin verificar cómo se configuró antes. Ninguna de estas decisiones es inherentemente incorrecta. Cada una puede ser localmente racional dado el contexto que ese equipo específico tiene.

Pero cuando los equipos no pueden rastrear una decisión hasta su origen, o nadie está seguro de quién aprobó un cambio, la capacidad de responder rápidamente se pierde. Cuando ocurre un problema, y ocurrirá, la organización descubre que no puede desentrañar lo que sucedió porque las pistas de auditoría son incompletas, la documentación es escasa y la propiedad es ambigua.

En sectores como salud y finanzas, donde los modelos ya están influyendo en decisiones de alto riesgo, estas brechas de coordinación no son problemas teóricos. Son vulnerabilidades operativas reales. Un modelo de IA que ayuda a diagnosticar condiciones médicas o aprobar préstamos no es solo una herramienta técnica. Es parte de un proceso de toma de decisiones complejo que involucra a múltiples partes interesadas, múltiples sistemas y múltiples puntos de falla potencial.

Convirtiendo la cultura en una superficie de control

Si el riesgo se acumula en los hábitos del día a día, la resiliencia debe construirse en el mismo lugar. La cultura es más que un habilitador de buenas prácticas. Se convierte en un mecanismo para mantener el control a medida que los sistemas escalan.

Ese principio se refleja en la regulación. La Ley de IA de la Unión Europea establece requisitos para sistemas de alto riesgo, incluidas evaluaciones de conformidad y códigos de práctica voluntarios, pero gran parte de la responsabilidad de integrar la gobernanza en las rutinas cotidianas aún recae en las organizaciones que los despliegan.

En el Reino Unido, el Código de Práctica de Ciberseguridad de IA del Departamento de Ciencia, Innovación y Tecnología sigue un enfoque similar, emparejando principios de alto nivel con orientación práctica que ayuda a las empresas a convertir la política en normas de trabajo.

El desafío de la IA agéntica: insiders digitales

La llegada de la IA agéntica, sistemas autónomos que pueden razonar, planificar, actuar y adaptarse sin supervisión humana, introduce una nueva capa de complejidad a estos desafíos culturales. Autónomos y orientados a objetivos, los sistemas de IA agéntica pueden iniciar acciones, colaborar entre silos y tomar decisiones que afectan los resultados comerciales sin intervención humana.

Un número creciente de organizaciones ahora están explorando o desplegando sistemas de IA agéntica, que se proyecta ayudarán a desbloquear entre 2.6 y 4.4 billones de dólares anuales en valor en más de sesenta casos de uso de IA generativa, incluido servicio al cliente, desarrollo de software, optimización de la cadena de suministro y cumplimiento.

Pero mientras la IA agéntica tiene el potencial de entregar un valor inmenso, la tecnología también presenta una variedad de nuevos riesgos, introduciendo vulnerabilidades que podrían interrumpir operaciones, comprometer datos sensibles o erosionar la confianza del cliente. Los agentes de IA no solo proporcionan nuevos puntos de entrada externos para posibles atacantes, sino que debido a que pueden tomar decisiones sin supervisión humana, también introducen riesgos internos novedosos.

Para adoptar la IA agéntica de manera segura, las organizaciones pueden tomar un enfoque estructurado y por capas. El viaje comienza con actualizar los marcos de riesgos y gobernanza, se mueve a establecer mecanismos de supervisión y conciencia, y concluye con implementar controles de seguridad.

Los datos sobre supervisión empresarial revelan la brecha

Los datos recientes subrayan cuán grande es la brecha entre la adopción de IA y la madurez de gobernanza. Solo el 12 por ciento de las empresas dicen sentirse muy preparadas para evaluar, gestionar y recuperarse de riesgos de IA y gobernanza de IA, con el 42 por ciento sin políticas para gobernar el uso de IA por parte de los empleados y el 75 por ciento sin planes dedicados para abordar riesgos de IA generativa.

Sin embargo, casi la mitad de las empresas Fortune 100 ahora citan específicamente el riesgo de IA como parte de las responsabilidades de supervisión de la junta, según una nueva investigación del Centro de Asuntos de la Junta de EY, un aumento de tres veces desde el 16 por ciento el año pasado hasta el 48 por ciento en 2025.

Los comités de auditoría siguen siendo el lugar más común para la supervisión de ciberseguridad en el 78 por ciento de las empresas, aproximadamente lo mismo que se informó durante los últimos tres años. Las tecnologías emergentes como la IA generativa están destinadas a cambiar los modelos de negocio e impactar la ciberseguridad. A medida que el phishing y la ingeniería social se vuelven más avanzados, las juntas pueden necesitar abordar problemas más amplios de riesgo cibernético, incluida la cultura de riesgo y el apetito de riesgo.

El imperativo de liderazgo: del departamento del no al habilitador

Para los directores de seguridad de la información, encontrar ese equilibrio entre seguridad y velocidad es crítico en la era de IA. Esta tecnología representa simultáneamente la mayor oportunidad y el mayor riesgo que las empresas han enfrentado desde los albores de internet.

Los directores de seguridad de la información no pueden liderar un departamento del no donde las iniciativas de adopción de IA se ven obstaculizadas por la función de seguridad de la organización. Es crucial en cambio encontrar un camino hacia el sí, mapeando la gobernanza a la tolerancia al riesgo organizacional y las prioridades comerciales para que la función de seguridad sirva como un verdadero habilitador de ingresos.

Cuando ChatGPT llegó por primera vez en noviembre de 2022, la mayoría de los directores de seguridad de la información que conozco se apresuraron a publicar políticas estrictas que les decían a los empleados qué no hacer. Vino de un lugar de intención positiva considerando que la fuga de datos sensibles era una preocupación legítima. Sin embargo, aunque las políticas escritas desde ese enfoque de documento hacia atrás son geniales en teoría, rara vez funcionan en la práctica.

El enfoque de tres pilares: privacidad, ciberseguridad y legal

Las organizaciones que integran experiencia en privacidad, ciberseguridad y legal en su estrategia de IA obtienen un enfoque holístico para la gestión de riesgos y el desarrollo ético de IA. Están estratégicamente posicionadas para anticipar regulaciones emergentes de IA y marcos de gobernanza, incorporar principios de seguridad por diseño y privacidad por diseño en el desarrollo de IA, y mitigar riesgos de responsabilidad a través de políticas robustas, contratos y diligencia debida en modelos de IA e integraciones de terceros.

Cuando estas disciplinas colaboran, crean una cultura consciente del riesgo que ayuda a las organizaciones a mantenerse por delante de las amenazas mientras mantienen el cumplimiento regulatorio. La gobernanza de IA ya no se trata solo de proteger datos, se trata de crear un marco que impulse la innovación responsable mientras salvaguarda el futuro.

La ciberseguridad ha sido durante mucho tiempo la piedra angular de la protección de datos, proporcionando los controles de seguridad técnicos y organizacionales que respaldan las salvaguardas técnicas mencionadas en el RGPD. Cuando la privacidad y la ciberseguridad trabajan juntas, forman la primera línea de defensa contra los riesgos relacionados con la IA al garantizar que los sistemas de IA manejen datos personales de manera segura, detectar accesos no autorizados o modificaciones a modelos de IA, y proteger contra ataques adversariales que explotan vulnerabilidades de algoritmos.

Construyendo gobernanza de IA por diseño

Es importante facilitar la observabilidad de un sistema de IA habilitando los registros apropiados en cada capa. El sistema de IA debe ser monitoreado continuamente para varios parámetros relacionados con el funcionamiento del algoritmo para poder identificar y detectar cualquier error, seguridad o problemas del sistema. Métricas clave como precisión, exactitud, robustez y deriva del modelo deben rastrearse y los resultados se usan para ajustar y corregir los modelos.

Este monitoreo constante es crucial para identificar cómo se comporta el modelo para varias entradas, derivas de rendimiento del modelo, equidad continua del modelo o cualquier problema subyacente de ciberseguridad. La pieza más importante es integrar estas actividades de gobernanza con los procesos rutinarios de una organización y enfocarse en evaluación periódica de riesgos e implementación de controles clave que aborden los riesgos únicos de la IA.

Es crítico crear una cultura de gobernanza que equilibre la seguridad de IA y la innovación. Una cultura de gobernanza de inteligencia artificial que equilibra seguridad e innovación es importante para tratar efectivamente con los riesgos de IA y mejorar la confiabilidad de los sistemas de IA.

Mirando hacia adelante: claridad como fundamento

A medida que la IA se convierte en parte de la toma de decisiones cotidiana, el enfoque del liderazgo debe cambiar del rendimiento individual del modelo al entorno más amplio en el que operan esos sistemas. Eso significa ir más allá de las correcciones a nivel de proyecto e invertir en el tejido conectivo entre equipos, las rutinas, foros y hábitos que dan al desarrollo de IA la estructura para escalar de manera segura.

Construir esa madurez lleva tiempo, pero comienza con claridad. Claridad de propiedad, de cambio y de contexto. Las organizaciones que progresen serán aquellas que traten la cultura no como una habilidad blanda, sino como un activo de trabajo, algo para ser revisado, dotado de recursos y mejorado continuamente.

Esta estructura cultural es lo que en última instancia dará forma a la seguridad. A través de hábitos integrados que hacen que el riesgo sea más fácil de ver, sacar a la superficie y actuar a medida que la IA se vuelve más fundamental para cómo operan las empresas hoy.

El futuro de la IA en el trabajo no es solo más rápido o más inteligente. Es más autónomo. Los agentes iniciarán cada vez más acciones, colaborarán entre silos y tomarán decisiones que afectan los resultados comerciales. Para que esto funcione de manera segura, las organizaciones necesitan más que controles técnicos robustos. Necesitan culturas organizacionales que conviertan la gobernanza en un reflejo, no en una restricción.

Las auditorías de IA no se tratan de sofocar la innovación sino de garantizar que la innovación sea sostenible, ética y segura. Las organizaciones pueden construir confianza y resiliencia identificando proactivamente riesgos, fortaleciendo la gobernanza e integrando la seguridad en los sistemas de IA. La seguridad no es un ejercicio único sino una batalla continua contra amenazas en evolución. Las organizaciones deben integrar la resiliencia en sus sistemas de IA, asegurando que puedan resistir y recuperarse de ataques.

Las decisiones impulsadas por IA tienen consecuencias de largo alcance, desde determinar solvencia crediticia hasta diagnosticar condiciones médicas. Estas decisiones deben ser explicables para que las partes interesadas comprendan cómo y por qué se toman las decisiones, éticas para que la IA se alinee con valores sociales y estándares legales, y supervisadas porque la supervisión humana es crítica para detectar errores y sesgos.

La transparencia es la moneda de confianza en la era de IA. El panorama regulatorio para la IA está evolucionando rápidamente. Marcos como la Ley de IA de la UE y el RGPD exigen transparencia, responsabilidad y equidad. A medida que la IA se vuelve más integrada en las operaciones comerciales, la pregunta ya no es si implementar gobernanza de IA, sino cuán bien esa gobernanza refleja los valores, hábitos y estructuras de coordinación de la organización que la despliega.