Sony AI lanza FHIBE: el primer dataset ético con 10,318 imágenes humanas consensuadas

Una base de datos de más de 10,000 imágenes humanas para evaluar los sesgos en los modelos de inteligencia artificial para la visión computacional centrada en el ser humano fue presentada en Nature esta semana. El Fair Human-Centric Image Benchmark (FHIBE), desarrollado por Sony AI, es un dataset de origen ético y basado en el consentimiento que puede usarse para evaluar las tareas de visión computacional centradas en el ser humano con el objetivo de identificar y corregir sesgos y estereotipos.

La visión computacional abarca una gama de aplicaciones, desde los vehículos autónomos hasta la tecnología de reconocimiento facial. Muchos modelos de IA usados en la visión computacional fueron desarrollados usando datasets defectuosos que pueden haber sido recopilados sin consentimiento, frecuentemente tomados de la extracción masiva de imágenes de la web. Los modelos de IA también han sido conocidos por reflejar sesgos que pueden perpetuar estereotipos sexistas, racistas o de otro tipo.

Alice Xiang y sus colegas presentan un dataset de imágenes que implementa las mejores prácticas para varios factores, incluyendo el consentimiento, la diversidad y la privacidad. FHIBE incluye 10,318 imágenes de 1,981 personas de 81 países o regiones distintas. La base de datos incluye anotaciones exhaustivas de atributos demográficos y físicos, incluyendo la edad, la categoría de pronombre, la ascendencia, y el color de cabello y piel.

Los participantes recibieron información detallada sobre el proyecto y los riesgos potenciales para ayudarles a proporcionar un consentimiento informado, lo que cumple con las leyes integrales de protección de datos. Estas características hacen que la base de datos sea un recurso confiable para evaluar el sesgo en la IA de manera responsable.

El problema de los datasets defectuosos

Durante años, la industria de la inteligencia artificial ha dependido de datasets masivos extraídos de internet sin el consentimiento de las personas cuyas imágenes fueron capturadas. Estos datasets, frecuentemente creados mediante la extracción automatizada de millones de imágenes de sitios web públicos, han alimentado el entrenamiento de modelos de reconocimiento facial, sistemas de moderación de contenido, herramientas de vigilancia y aplicaciones comerciales.

El problema con este enfoque es doble. Primero, plantea graves preocupaciones éticas sobre el consentimiento y la privacidad. Las personas cuyas fotos fueron extraídas de redes sociales, sitios de fotografía o páginas personales nunca autorizaron que sus imágenes fueran usadas para entrenar sistemas comerciales de IA. En muchos casos, ni siquiera son conscientes de que sus rostros están en estos datasets. Esta práctica viola principios básicos de autonomía y consentimiento informado que son fundamentales en la investigación con sujetos humanos.

Segundo, estos datasets reflejan los sesgos inherentes en los contenidos web. Internet no es una muestra representativa de la humanidad. Las imágenes extraídas sobrerrepresentan ciertos grupos demográficos, particularmente personas de países desarrollados, individuos jóvenes, y personas que participan activamente en las redes sociales. Simultáneamente, subrepresentan muchos grupos: personas mayores, individuos de países en desarrollo, personas con discapacidades, y comunidades marginadas que pueden tener menos presencia en línea por razones económicas o culturales.

Cuando los modelos de IA son entrenados en estos datasets sesgados, aprenden y amplifican esos sesgos. Un modelo entrenado principalmente en imágenes de personas caucásicas tendrá un rendimiento inferior al clasificar o reconocer rostros de otras etnias. Un dataset que sobrerrepresenta hombres en posiciones profesionales enseñará al modelo a asociar liderazgo con masculinidad. Un dataset que subrepresenta personas con discapacidades llevará a sistemas que fallan en reconocer sus necesidades o incluso su existencia.

Estas no son solo fallas técnicas abstractas. Tienen consecuencias reales y medibles. Los sistemas de reconocimiento facial sesgados han llevado a arrestos erróneos desproporcionadamente de personas negras. Los algoritmos de contratación sesgados por género han discriminado contra candidatas calificadas. Los sistemas de moderación de contenido sesgados han censurado injustamente a comunidades marginadas mientras permitían que contenido dañino dirigido a ellas prosperara.

La respuesta de Sony AI: FHIBE

Alice Xiang y sus colegas en Sony AI emprendieron el desafío de crear un dataset que abordara estas fallas fundamentales. El resultado es FHIBE, que incluye 10,318 imágenes de 1,981 personas de 81 países o regiones distintas. El dataset fue diseñado desde el principio con la ética como prioridad central, no como una consideración posterior.

El proceso comenzó con el consentimiento informado. A diferencia de los datasets extraídos donde las personas nunca consintieron a la recopilación de sus imágenes, cada participante en FHIBE proporcionó un consentimiento explícito después de recibir información detallada sobre el proyecto. Esta información incluía cómo se usarían sus imágenes, quién tendría acceso a ellas, qué riesgos potenciales de privacidad podrían existir, y cómo serían protegidos sus datos.

El nivel de detalle proporcionado a los participantes cumple con las leyes integrales de protección de datos, incluyendo el Reglamento General de Protección de Datos (GDPR) de la Unión Europea, que establece estándares estrictos para el consentimiento informado. Los participantes podían retirar su consentimiento en cualquier momento, y tenían control sobre qué atributos de sus imágenes serían anotados y compartidos.

El énfasis en las anotaciones autorreportadas es particularmente significativo. En muchos datasets existentes, los anotadores externos asignan categorías demográficas basándose en su percepción de la apariencia de una persona. Esto puede llevar a clasificaciones erróneas, especialmente para identidades que no son visiblemente obvias o para individuos que no se ajustan a categorías estereotipadas. Al permitir que los participantes autorreportaran sus identidades, FHIBE respeta la autonomía y produce anotaciones más precisas.

Comparación con datasets existentes

Los autores compararon FHIBE contra 27 datasets existentes usados en aplicaciones de visión computacional centradas en el ser humano y encontraron que FHIBE establece un estándar más alto para la diversidad y el consentimiento robusto para la evaluación de la IA. También tiene una mitigación efectiva del sesgo, conteniendo más anotaciones autorreportadas sobre los participantes que otros datasets, e incluye una proporción notable de individuos comúnmente subrepresentados.

La comparación revela brechas significativas en los datasets existentes. Muchos carecen completamente de documentación sobre el consentimiento, dejando poco claro si los participantes sabían que sus imágenes serían usadas para investigación de IA. Otros tienen diversidad demográfica limitada, focalizándose desproporcionadamente en grupos demográficos específicos. Pocos incluyen anotaciones exhaustivas de múltiples atributos, limitando su utilidad para evaluar sesgos interseccionales donde múltiples identidades interactúan para crear patrones únicos de discriminación.

Algunos datasets existentes tienen tamaños mucho más grandes que FHIBE, conteniendo cientos de miles o millones de imágenes. Pero el tamaño por sí solo no garantiza la calidad o la ética. Un dataset grande extraído sin consentimiento y con diversidad limitada puede amplificar sesgos a escala masiva. FHIBE prioriza la calidad sobre la cantidad, asegurando que cada imagen fue recopilada éticamente y contribuye a una evaluación robusta del sesgo.

Aplicaciones prácticas: descubriendo sesgos ocultos

El dataset puede usarse para evaluar modelos de IA existentes para tareas de visión computacional y puede descubrir una variedad más amplia de sesgos que antes era posible, señalan los autores. Las aplicaciones prácticas abarcan múltiples dominios de la visión computacional centrada en el ser humano.

Para el reconocimiento facial, FHIBE permite a los investigadores medir con precisión las tasas de error a través de diferentes grupos demográficos. Un modelo puede afirmar tener una precisión del 99%, pero si ese 1% de error está concentrado desproporcionadamente en ciertos grupos, el modelo es fundamentalmente injusto. FHIBE permite cuantificar estas disparidades con una granularidad que los datasets anteriores no podían lograr.

Para la clasificación de atributos, donde los modelos predicen características como la edad, el género o la emoción a partir de imágenes faciales, FHIBE permite evaluaciones matizadas de cómo el rendimiento varía a través de identidades. Un modelo de estimación de edad podría funcionar bien para personas caucásicas de mediana edad pero mal para niños asiáticos o adultos mayores africanos. FHIBE hace visibles estos patrones.

Para la detección y segmentación de personas, donde los modelos identifican y delinean figuras humanas en imágenes, FHIBE permite probar si los modelos fallan sistemáticamente en detectar ciertos tipos de cuerpos o personas en ciertas vestimentas. Un modelo de detección de peatones para vehículos autónomos que falla más frecuentemente en detectar personas con discapacidades usando dispositivos de movilidad crea un riesgo de seguridad inaceptable.

Los desafíos de la creación ética de datasets

Los autores reconocen que crear el dataset fue desafiante y costoso. Este reconocimiento es importante porque subraya por qué tantos datasets existentes toman atajos que comprometen la ética y la calidad. Extraer millones de imágenes de internet es barato y rápido. Reclutar participantes, obtener consentimiento informado, asegurar diversidad demográfica, recopilar múltiples imágenes por persona, y anotar exhaustivamente cada imagen es caro y lento.

Los desafíos comienzan con el reclutamiento. Alcanzar una muestra verdaderamente diversa que incluya 81 países o regiones requiere esfuerzos de reclutamiento en múltiples continentes, navegando diferentes idiomas, culturas y normas sobre privacidad y consentimiento. Algunos grupos son particularmente difíciles de reclutar porque tienen razones justificadas para desconfiar de cómo se usarán sus imágenes. Las comunidades que han experimentado discriminación histórica o vigilancia pueden ser comprensiblemente reacias a participar en proyectos de reconocimiento facial.

El proceso de consentimiento informado también es complejo. Explicar los riesgos técnicos de la participación en un proyecto de IA a personas sin formación técnica requiere materiales de consentimiento cuidadosamente diseñados que sean precisos pero accesibles. Los participantes necesitan entender conceptos como el entrenamiento de modelos, la evaluación de benchmarks, los riesgos de reidentificación y las limitaciones de las protecciones de privacidad. Proporcionar esta comprensión mientras se respetan las diferencias culturales e idiomáticas requiere recursos significativos.

La recopilación de imágenes debe hacerse bajo condiciones controladas para asegurar la calidad y consistencia, pero también con variación suficiente para permitir evaluaciones robustas. Esto significa capturar cada participante bajo múltiples condiciones de iluminación, con diferentes expresiones, en diferentes ángulos. La logística de coordinar estas sesiones fotográficas a través de 81 regiones es formidable.

La anotación exhaustiva de atributos requiere tiempo y expertise. Las anotaciones autorreportadas requieren que los participantes completen cuestionarios detallados sobre sus identidades y características físicas. Validar y estandarizar estas respuestas a través de diferentes idiomas y contextos culturales requiere trabajo cuidadoso. Algunas categorías, como la ascendencia, son complejas y contestadas, sin taxonomías universalmente aceptadas.

Las protecciones de privacidad añaden otra capa de complejidad. Aunque el consentimiento fue obtenido para el uso de las imágenes en investigación, los datos deben ser almacenados y compartidos de manera que minimice los riesgos de mal uso. Esto requiere infraestructura técnica para el almacenamiento seguro de datos, políticas sobre quién puede acceder al dataset y para qué propósitos, y mecanismos para hacer cumplir esas políticas.

El costo de hacer las cosas correctamente

Sony AI no ha revelado el costo preciso de crear FHIBE, pero la escala del esfuerzo sugiere una inversión significativa. Los esfuerzos de reclutamiento en 81 países, las sesiones fotográficas controladas para casi 2,000 participantes, los materiales de consentimiento detallados en múltiples idiomas, y las anotaciones exhaustivas de más de 10,000 imágenes requieren equipos sustanciales de investigadores, coordinadores de proyectos, fotógrafos, traductores y anotadores.

Esta inversión contrasta marcadamente con el enfoque de "extraer todo de internet" que ha dominado la creación de datasets de IA. Datasets como ImageNet, que contiene millones de imágenes, fueron creados a una fracción del costo mediante la extracción automatizada seguida de anotación crowdsourced. Pero este enfoque tiene costos ocultos: la perpetuación de sesgos, la violación de la privacidad, y la erosión de la confianza pública en la tecnología de IA.

La pregunta que enfrenta la industria de la IA es si la inversión adicional requerida para la creación ética de datasets vale la pena. Los autores de FHIBE argumentan que sí, concluyendo que el dataset puede representar un paso hacia una IA más confiable. La confiabilidad no es solo un objetivo altruista; es una necesidad práctica. Los sistemas de IA que son percibidos como sesgados o invasivos enfrentan reacciones regulatorias, boicots de consumidores y limitaciones legales sobre su despliegue.

Las limitaciones de FHIBE

A pesar de sus fortalezas, FHIBE tiene limitaciones que los autores reconocen. Con 10,318 imágenes de 1,981 personas, es mucho más pequeño que muchos datasets usados para entrenar modelos de visión computacional. Este tamaño limita su utilidad como dataset de entrenamiento, aunque ese no es su propósito principal. FHIBE está diseñado para la evaluación y el benchmarking, no para el entrenamiento de modelos desde cero.

El dataset también está limitado a imágenes fijas de rostros y cuerpos humanos en condiciones relativamente controladas. No incluye video, que introduce desafíos adicionales como el seguimiento de identidad a través del tiempo y el reconocimiento bajo movimiento. No incluye imágenes en situaciones extremas como multitudes densas, oclusión parcial, o condiciones de iluminación muy pobres donde los sesgos pueden ser aún más pronunciados.

La cobertura de 81 países o regiones es impresionante pero aún no representa todas las culturas y poblaciones humanas. Algunos grupos demográficos, particularmente de regiones menos conectadas digitalmente, pueden seguir subrepresentados. La ascendencia es una categoría compleja que no captura completamente la diversidad de la experiencia humana, y las categorías usadas en el dataset reflejan construcciones sociales específicas de identidad que pueden no ser universales.

Las anotaciones, aunque exhaustivas, no pueden capturar todos los atributos relevantes para la evaluación del sesgo. Las características como el nivel socioeconómico, la religión, la orientación sexual, el estado de salud y muchas otras dimensiones de la identidad humana no son visualmente obvias pero pueden afectar cómo los sistemas de IA tratan a las personas. FHIBE se enfoca necesariamente en atributos visibles o autorreportables, dejando otras dimensiones menos exploradas.

El debate más amplio sobre la visión computacional ética

FHIBE entra en un debate más amplio sobre el futuro de la visión computacional centrada en el ser humano. Algunos investigadores y activistas argumentan que ciertas aplicaciones, particularmente el reconocimiento facial para vigilancia o aplicación de la ley, son inherentemente problemáticas y no deberían desarrollarse independientemente de cuán éticos sean los datasets. Su preocupación es que incluso un sistema de reconocimiento facial sin sesgos demográficos sigue siendo una herramienta de vigilancia que erosiona la privacidad y puede ser usada para la opresión.

Otros argumentan que dado que la tecnología de visión computacional se está desplegando de todos modos, es imperativo tener datasets como FHIBE que permitan identificar y mitigar sesgos. Desde esta perspectiva, rechazar trabajar en la ética de estas tecnologías no previene su despliegue sino que asegura que serán desplegadas sin las salvaguardas apropiadas.

Hay también tensiones sobre quién debería controlar estos datasets. FHIBE es un proyecto corporativo de Sony AI, planteando preguntas sobre si los datasets éticos críticos deberían ser controlados por empresas privadas o por instituciones públicas. Los datasets corporativos pueden ser desarrollados con más recursos pero pueden estar sujetos a intereses comerciales que limitan el acceso o la transparencia.

El camino hacia adelante

Los autores concluyen que FHIBE puede representar un paso hacia una IA más confiable. La palabra "paso" es significativa. FHIBE no es una solución completa al problema de los sesgos de la IA, ni afirma serlo. Es una herramienta, un recurso que los investigadores y desarrolladores pueden usar para evaluar y mejorar sus sistemas. Su valor se realizará a través de su uso en la evaluación de modelos existentes y el desarrollo de mejores prácticas para la creación de futuros sistemas.

Para que FHIBE tenga su impacto máximo, debe ser adoptado ampliamente por la comunidad de investigación y la industria. Esto requiere que Sony AI haga que el dataset sea accesible, bien documentado y fácil de usar. También requiere que los investigadores incorporen las evaluaciones de FHIBE en sus flujos de trabajo, reportando métricas de equidad junto con métricas de precisión tradicionales.

La comunidad más amplia de IA debe también aprender de la metodología de FHIBE. Incluso si no todos los proyectos pueden replicar su escala y rigor, los principios de consentimiento informado, representación diversa y anotaciones exhaustivas pueden aplicarse más ampliamente. Los datasets futuros deberían estar diseñados desde el principio con la ética como prioridad central, no añadida como una consideración posterior.

También hay necesidad de datasets complementarios que aborden las limitaciones de FHIBE. Datasets enfocados en video, datasets que capturen situaciones más desafiantes del mundo real, datasets que incluyan anotaciones de dimensiones adicionales de identidad, todos estos contribuirían a una evaluación más completa de los sesgos de la IA. La creación de una infraestructura integral para la evaluación de la equidad de la IA requerirá múltiples datasets que colectivamente cubran el espacio de aplicaciones y poblaciones.

Acopio ético

FHIBE es notable no solo por lo que contiene sino por cómo fue creado. En una industria que ha normalizado la extracción masiva de datos sin consentimiento, representa un rechazo deliberado de ese enfoque. Al priorizar el consentimiento informado, la representación diversa y las anotaciones exhaustivas, establece un nuevo estándar para lo que significa la responsabilidad en la creación de datasets de IA.

La inversión requerida para crear FHIBE es sustancial, y ese costo ha sido una barrera para el desarrollo de datasets similares. Pero el reconocimiento creciente de los daños causados por los sistemas de IA sesgados está cambiando el cálculo. Las empresas están descubriendo que los costos de desplegar sistemas sesgados, en términos de litigios, regulación y reputación, pueden exceder con mucho el costo de hacer las cosas correctamente desde el principio.

Para los investigadores y desarrolladores que trabajan en visión computacional, FHIBE proporciona una herramienta práctica para identificar y abordar sesgos. Las evaluaciones con FHIBE pueden revelar patrones de rendimiento desigual que serían invisibles con datasets menos diversos. Esta visibilidad es el primer paso hacia la corrección. No se puede mitigar lo que no se puede medir.

Para los participantes que contribuyeron sus imágenes a FHIBE, su participación representa un acto de confianza. Confiaron en que Sony AI usaría sus imágenes responsablemente, protegería su privacidad, y contribuiría a hacer que la tecnología de IA sea más justa. Honrar esa confianza requiere no solo usar el dataset apropiadamente sino también demostrar su impacto: mostrar que las evaluaciones con FHIBE llevan a mejoras medibles en la equidad de los sistemas desplegados.

Para la sociedad más ampliamente, FHIBE plantea preguntas sobre qué tipo de futuro de IA queremos construir. ¿Queremos sistemas que funcionen brillantemente para algunos mientras fallan para otros? ¿O queremos sistemas diseñados desde el principio para servir a poblaciones diversas equitativamente? Las respuestas a estas preguntas determinarán si la IA amplifica o mitiga las desigualdades existentes.

El desafío es que crear datasets éticos como FHIBE es solo un componente de construir IA confiable. Los sesgos pueden entrar en los sistemas de IA en múltiples etapas: selección de datos de entrenamiento, elección de arquitectura del modelo, definición de objetivos de optimización, decisiones de despliegue y más. Ningún dataset, por ético que sea, puede resolver todos estos problemas por sí solo. Se necesita un enfoque holístico que considere la ética en cada etapa del pipeline de IA.

Sin embargo, FHIBE demuestra que es posible hacer las cosas mejor. En una industria que frecuentemente prioriza la velocidad y la escala sobre la responsabilidad, representa un modelo alternativo. No un modelo perfecto, los autores reconocen las limitaciones, pero uno que toma en serio las obligaciones éticas de trabajar con datos humanos. Conforme la regulación de la IA se endurece y la demanda pública de sistemas equitativos crece, este modelo se volverá no solo ético sino necesario.

El futuro de la visión computacional centrada en el ser humano dependerá de si la industria aprende las lecciones de FHIBE. Si este dataset lleva a una reflexión más amplia sobre las prácticas de datos y a una adopción más amplia de métodos éticos de recopilación, podría catalizar un cambio significativo. Si permanece como un esfuerzo aislado mientras la extracción masiva continúa sin control, será un punto brillante en una industria que de otro modo no aborda sus problemas sistémicos. El resultado aún está por determinarse, pero al menos ahora existe una demostración clara de que es posible un enfoque mejor.