Nuevos avances en la detección de sesgos en algoritmos de reconocimiento facial

El reconocimiento facial ha sido utilizado habitualmente por organizaciones privadas y gubernamentales de todo el mundo. El reconocimiento facial automático se puede utilizar con fines legítimos y beneficiosos (por ejemplo, mejorar la seguridad), pero, al mismo tiempo, su poder y ubicuidad aumentan el potencial efecto negativo que los métodos injustos pueden tener en la sociedad (por ejemplo, la discriminación de las minorías étnicas). Una condición necesaria, aunque no suficiente, para una implementación apropiada de los algoritmos de reconocimiento facial es que funcionen por igual para todos los grupos demográficos.

Con ese objetivo en mente, investigadores del Human Pose Recovery and Behavior Analysis Group del Centro de Visión por Computador (CVC) y la Universidad de Barcelona, liderados por el catedrático Sergio Escalera, organizaron un desafío dentro del Congreso Europeo de Visión por Computador 2020 (ECCV 2020). Los resultados, publicados recientemente en la revista Computer Vision - ECCV 2020 Workshops, evaluaron la precisión de los algoritmos presentados por los participantes en la tarea de verificación facial en presencia de otros atributos de confusión.

El desafío fue un éxito, ya que «atrajo a 151 participantes, quienes enviaron más de 1.800 posibles soluciones en total, cifra que superó nuestras expectativas en cuanto a número de participantes y envíos», explica Sergio Escalera, también miembro del Instituto de Matemática de la UB.

Los participantes utilizaron como conjunto de datos un banco de imágenes no equilibrado, que simulaban un escenario del mundo real donde los modelos, basados en inteligencia artificial, se entrenaban y evaluaban con datos desequilibrados (considerablemente más hombres blancos que mujeres de color). En total, trabajaron con 152.917 imágenes de 6.139 identidades.

Las imágenes fueron clasificadas en dos atributos protegidos: género y color de piel; y en cinco atributos legítimos: grupo de edad (0-34, 35-64, más de 65), posición de la cabeza (frontal, otra), fuente de la imagen (imagen fija, fotograma de vídeo), uso de gafas y tamaño del marco delimitador.

Los resultados obtenidos fueron muy prometedores. Las soluciones ganadoras superaron el 99,9 % de precisión y obtuvieron puntuaciones muy bajas en las métricas de sesgo propuestas, «lo que puede considerarse un paso hacia el desarrollo de métodos de reconocimiento facial más justos», destaca Julio C. S. Jacques Jr., investigador del CVC y de la Universidad Abierta de Cataluña.

El análisis de los diez mejores equipos mostró tasas más altas de falsos positivos para las mujeres con tono de piel oscuro y para las muestras en las que ambos individuos usaban gafas. Por otro lado, hubo tasas más altas de falsos negativos para los hombres con tono de piel claro y para las muestras de ambos géneros cuando eran menores de 35 años. Además, se encontró que, para todo el conjunto de datos, las personas menores de 35 años usan gafas con menos frecuencia que las personas mayores, lo que resulta en una combinación de efectos de dichos atributos. «Esto no fue una sorpresa, ya que el conjunto de datos utilizado no estaba equilibrado con respecto a los diferentes atributos demográficos. Sin embargo, muestra que la precisión general no es suficiente cuando el objetivo es construir métodos justos de reconocimiento facial, por lo que los trabajos futuros sobre este tema han de tener en cuenta la precisión y la mitigación de sesgos conjuntamente», concluye Julio C. S. Jacques Jr.

Artículo de referencia:

Sixta, T.; Jacques Junior, J. C. S.; Buch-Cardona, P.; Vazquez, E., y Escalera, S. (2020) «FairFace challenge at ECCV 2020: analyzing bias in face recognition». Computer Vision - ECCV 2020 Workshops. ECCV 2020. Lecture Notes in Computer Science, 2020, vol. 12540. Springer, Cham. Doi: 10.1007/978-3-030-65414-6_32