Incidentes invisibles: sesgos en la inteligencia artificial que nadie quiere ver
Durante años, el optimismo tecnológico supo disfrazar de neutralidad lo que no era más que una peligrosa ingenuidad. Se decía que los algoritmos tomarían decisiones con justicia, sin prejuicios, sin emociones, sin historia. Se celebraba que la inteligencia artificial, por estar basada en datos, sería un reflejo objetivo del mundo. Nadie parecía detenerse a preguntar de qué mundo hablábamos. Ni quién lo había contado. Ni quién había quedado fuera del relato.
Hoy, esa promesa de imparcialidad ya no se sostiene. Los modelos de IA, desde los más simples hasta los más complejos, reproducen e incluso amplifican los mismos sesgos estructurales que atraviesan nuestras sociedades. No se trata solo de errores técnicos, sino de patrones profundamente enraizados: clasificaciones racistas, diagnósticos médicos sesgados, sistemas de vigilancia que criminalizan a ciertas poblaciones, herramientas de contratación que excluyen silenciosamente a mujeres o personas trans. El mito de la IA “pura” ha caído. Pero el problema está lejos de resolverse.
En ese contexto se inscribe el trabajo de Rifat Ara Shams, Didar Zowghi y Muneera Bano, quienes desde el seno de CSIRO’s Data61 –una de las instituciones científicas más relevantes de Australia– decidieron enfrentar el tema con una mirada distinta: sistemática, rigurosa, incómoda. Su investigación, titulada AI for All: Identifying AI Incidents Related to Diversity and Inclusion, parte de una premisa simple pero devastadora: no sabemos con claridad cuántos de los incidentes relacionados con IA tienen implicancias directas en términos de diversidad e inclusión porque ni siquiera contamos con una forma estandarizada de reconocerlos. No existe un marco compartido que nos diga cuándo un error algorítmico deja de ser un fallo técnico para convertirse en una forma de discriminación.
Lo que hicieron, entonces, fue construir ese marco. A través de un árbol de decisiones cuidadosamente diseñado y validado, analizaron más de 860 incidentes de IA documentados en dos grandes repositorios públicos (AIID y AIAAIC) para determinar cuántos podían ser considerados, en rigor, como problemas de diversidad e inclusión. La cifra que arrojaron es elocuente: entre un tercio y la mitad de los casos tienen un vínculo claro con alguna forma de sesgo estructural. Y eso, apenas mirando la superficie.
Pero más allá del número, lo que importa es el método. Porque esta investigación no solo clasifica incidentes: los desenmascara. Pone en evidencia los mecanismos invisibles por los cuales la IA –lejos de ser neutral– reproduce los prejuicios de las sociedades que la entrenan, las industrias que la financian y las instituciones que la implementan. La pregunta ya no es si la IA puede ser discriminatoria. La pregunta es cuánto tiempo más vamos a seguir tratándola como si no lo fuera.
Lo que el algoritmo no dice pero sí hace
Uno de los aportes más significativos del estudio es el desarrollo del árbol de decisiones que permite determinar si un incidente relacionado con IA debe considerarse o no un problema de diversidad e inclusión. Aunque parezca una herramienta técnica, lo que propone es, en el fondo, una forma de alfabetización ética. No alcanza con registrar que una IA falló: hay que entender a quién perjudicó, por qué lo hizo y qué factores sociales están implicados en ese daño.
El árbol parte de una pregunta clave: ¿el incidente tuvo impacto sobre seres humanos? Si la respuesta es no, se descarta su vínculo con D&I. Pero si la respuesta es afirmativa, el análisis se despliega en tres niveles más: primero se indaga si se identificaron atributos explícitos de diversidad (raza, género, discapacidad, edad, clase social, etc.); luego, si se puede inferir la afectación de esos atributos a partir de elementos implícitos (como nombres, contextos, imágenes); y por último, si se evidenció una forma de exclusión, sesgo o daño diferenciado.
Este procedimiento se aplicó a más de 850 casos recogidos en las bases AIID y AIAAIC. En AIID, de los 551 incidentes evaluados, 189 (34,3 %) fueron clasificados como relacionados con D&I. En AIAAIC, de 310 incidentes, 144 (46,5 %) también lo fueron. Es decir, casi la mitad de los casos estudiados presentaban algún tipo de impacto en términos de diversidad. A esto se suman decenas de episodios marcados como “requieren más información”, lo que sugiere que los números reales podrían ser incluso mayores.
La investigación no se detiene ahí. Cada incidente etiquetado como D&I fue codificado en función de los atributos de diversidad afectados. En AIID, por ejemplo, 78 incidentes estaban relacionados con la raza, 60 con el género, 24 con la edad y 23 con condiciones socioeconómicas. En AIAAIC, el patrón se repite: 62 por raza, 42 por género, 40 por edad. Lo que aparece es un mapa de vulnerabilidad algorítmica que reproduce, con fidelidad inquietante, las desigualdades del mundo no digital. Lejos de corregirlas, la IA las automatiza.
Resulta particularmente revelador observar cómo ciertos grupos se ven sistemáticamente expuestos a daños por parte de sistemas automatizados sin que haya, muchas veces, responsables visibles. En varios incidentes, las consecuencias recaen sobre personas racializadas o comunidades indígenas cuyas imágenes fueron mal clasificadas en sistemas de reconocimiento facial; en otros, mujeres fueron excluidas de procesos de selección laboral por sesgos entrenados a partir de datos históricos dominados por hombres; en otros, personas mayores recibieron ofertas injustas o diagnósticos incorrectos por no haber sido contempladas adecuadamente en los datasets médicos.
No se trata de hechos aislados. Son patrones que se repiten. Y el hecho de que se repitan es, precisamente, lo que hace que no puedan ser considerados simplemente “errores”. Cuando un sistema falla sistemáticamente contra los mismos grupos, no estamos ante un accidente: estamos ante un síntoma.
Una caja negra para la justicia algorítmica
Uno de los elementos más sugerentes de la investigación es su propuesta de tomar como inspiración los mecanismos de auditoría del mundo aeronáutico. Así como los accidentes aéreos se investigan meticulosamente a través de cajas negras que registran cada variable del vuelo, cada decisión, cada falla, los autores proponen construir una especie de “caja negra algorítmica” para los incidentes de IA. No basta con registrar que algo salió mal: hay que entender cómo, cuándo, por qué, y qué condiciones sociales permitieron que ocurriera.
Para eso desarrollaron también un repositorio público con los incidentes clasificados como D&I, detallando título, descripción, fecha, entidad implementadora, grupo afectado, atributo de diversidad implicado y justificación de la clasificación. Es una herramienta valiosa no solo para investigadores, sino también para desarrolladores, auditores, docentes, legisladores y periodistas. Permite mirar de frente lo que muchas veces se presenta como anecdótico o accidental.
Este enfoque tiene implicancias profundas. Por un lado, democratiza el acceso al conocimiento sobre fallos algorítmicos. Por otro, sienta las bases para una conversación más honesta y más informada sobre los límites reales de la IA. Y por último, señala con claridad que la inclusión no es una opción decorativa, sino un componente esencial de cualquier sistema automatizado que pretenda operar en contextos sociales complejos.
Lo que se sugiere, en última instancia, es una redefinición de lo que entendemos por responsabilidad en el desarrollo de inteligencia artificial. No se trata solo de corregir el código, sino de mirar los efectos sociales de lo que ese código produce. Y, sobre todo, de dejar de ver los incidentes como anomalías. Porque lo que esta investigación muestra, con pruebas y estructura, es que muchos de esos fallos no son desviaciones del sistema. Son el sistema.
Cuando la exclusión es automática, la reparación no puede ser opcional
Una de las mayores fortalezas del estudio no reside únicamente en su clasificación, sino en el modo en que articula la dimensión técnica con la política. No hay en sus páginas una celebración tecnológica, ni un tono catastrofista. Lo que hay es un diagnóstico estructurado, elaborado con precisión científica, que incomoda porque no permite escapar hacia los lugares comunes. La diversidad no aparece como una lista de identidades que deben incluirse por corrección política, sino como un conjunto de dimensiones estructurales —raza, género, edad, clase, capacidad— que determinan quién accede a los beneficios de la IA y quién carga con sus errores.
Este enfoque plantea preguntas urgentes. ¿Qué significa construir IA para todos si seguimos entrenándola con los datos de unos pocos? ¿Cómo puede hablarse de “algoritmos responsables” si no se incorpora, desde el diseño, una conciencia activa sobre los grupos históricamente vulnerados? ¿Y qué implica reparar un daño algorítmico cuando el daño no se registra, o peor aún, se normaliza bajo la categoría de “inexactitud técnica”?
La idea de justicia algorítmica, tantas veces evocada en discursos institucionales, solo cobra sentido cuando se la ancla en el reconocimiento de estas asimetrías. La reparación exige más que ajustes técnicos: requiere revisar supuestos, reformular procesos, ampliar los marcos de validación, incluir otras voces en las mesas de decisión. Requiere aceptar que un sistema entrenado con datos sesgados no se vuelve justo por buenas intenciones, sino por decisiones concretas sobre qué datos se recogen, cómo se interpretan y para qué se utilizan.
En ese sentido, el trabajo de Shams, Zowghi y Bano ofrece algo que escasea en los debates contemporáneos sobre IA: una metodología replicable, validada y abierta que permite no solo identificar problemas sino también iniciar conversaciones fundadas sobre su resolución. Al construir un árbol de decisiones, no están proponiendo una fórmula definitiva, sino un lenguaje común para poder nombrar —con criterios compartidos— aquello que hasta ahora se presentaba como informe anecdótico, queja aislada o noticia sensacionalista.
La apuesta es metodológica pero también epistemológica: se trata de dejar de mirar los incidentes de IA como fallos individuales y empezar a verlos como expresiones de sistemas que, por defecto, no han sido diseñados para incluir a todos. Esa mirada cambia todo. Porque obliga a dejar de pensar la inclusión como un agregado tardío y empezar a entenderla como una condición de posibilidad para cualquier sistema que aspire a ser justo.
A la luz de estos hallazgos, también cobra otra densidad la noción de “incidente”. En la tradición tecnológica, un incidente suele entenderse como una interrupción del servicio, una falla operativa o un evento excepcional que se sale de la norma. Pero cuando se observa que las mismas poblaciones sufren las mismas exclusiones de manera sistemática, lo que aparece ya no es una sucesión de accidentes. Es un patrón. Y los patrones no se solucionan con parches. Se revierten con rediseño.
En ese rediseño, el repositorio abierto de incidentes cumple una doble función: por un lado, es un recurso que permite visibilizar lo que muchas veces se oculta o se minimiza; por el otro, es una herramienta para quienes quieren tomar decisiones informadas, basadas en casos concretos y en análisis rigurosos. No hay aquí lugar para la especulación abstracta. Cada entrada del repositorio es una evidencia. Y cada evidencia, una oportunidad para hacer las cosas mejor.
Pero también es cierto que visibilizar no basta. Como ha señalado la filósofa Ruha Benjamin, mostrar el sesgo no es suficiente si no se transforma el sistema que lo genera. La visibilidad sin acción puede convertirse en otro modo de complacencia. Por eso es tan valioso que esta investigación no se limite a denunciar. Propone, construye, deja disponible el instrumento para quien quiera tomarlo y usarlo. Lo pone al alcance de académicos, desarrolladores, activistas, instituciones públicas, periodistas. Y en ese gesto está quizás la forma más concreta de inclusión: la apertura.
Frente a un ecosistema tecnológico dominado por intereses corporativos que suelen ocultar errores para no perder reputación o capital, el planteo de un repositorio público de incidentes con sesgos de D&I resulta casi contracultural. Porque implica asumir que el error existe, que es sistémico, que puede y debe ser examinado, y que solo al hacerlo podemos construir mejores tecnologías. Es un recordatorio, también, de que la ética algorítmica no puede ser delegada a departamentos jurídicos ni convertida en un checklist para cumplir con auditorías externas. La ética, si es real, empieza en el diseño y se valida en las consecuencias.
Podría decirse que el gran valor de esta investigación es que no habla solo de IA. Habla de poder. De quién lo tiene. De cómo se distribuye. De cómo se disfraza de técnica lo que es, en el fondo, una estructura política. Y en ese gesto hay algo profundamente liberador. Porque nos devuelve la posibilidad de elegir. De decidir, como sociedad, qué tipo de inteligencia artificial queremos. Y para quién.
Este tipo de trabajos incomoda porque exige abandonar la fantasía de la automatización perfecta. Pero al hacerlo, abre otra posibilidad: construir sistemas más justos no porque sean infalibles, sino porque son conscientes de sus límites. Más precisos, no porque acierten todo el tiempo, sino porque saben a quién escuchan y a quién históricamente han ignorado. Más humanos, no porque imiten la conciencia, sino porque se diseñan desde la responsabilidad.
Si hay un mensaje que atraviesa todo el artículo de Shams, Zowghi y Bano, no es que la IA debe ser inclusiva por razones morales abstractas, sino porque de lo contrario fracasa como herramienta pública. Una IA que discrimina no solo es injusta: es ineficaz. Toma peores decisiones, comete errores costosos, reproduce desigualdades que luego se transforman en conflictos, exclusiones, demandas legales. En ese sentido, la inclusión no es un costo. Es una inversión.
Hay algo revelador en que esta investigación haya nacido en el sur global, desde una institución que no suele protagonizar los titulares de Silicon Valley. Porque también eso es parte del gesto: descentralizar la mirada, multiplicar los puntos de observación, generar marcos desde otros lugares. No para competir, sino para enriquecer la discusión, para mostrar que hay inteligencia —y hay ética— más allá de las grandes tecnológicas.
Tal vez lo más urgente ahora no sea discutir si la inteligencia artificial puede ser justa, sino reconocer que su justicia no será una consecuencia espontánea de mejores algoritmos, sino el resultado de decisiones humanas, políticas, sociales. Y que esas decisiones requieren coraje. El coraje de mirar lo que la IA está haciendo mal. Y el coraje, aún mayor, de construir colectivamente aquello que podría hacer bien.