Twitter ha anunciado que investigará su algoritmo de previsualización de imágenes, después de que este domingo varios usuarios hayan denunciado un posible sesgo racista: según estas acusaciones, al recortar la imagen en la previsualización (si es demasiado grande para salir entera), Twitter tiende a preferir las caras blancas sobre las negras.
Por ejemplo, en este hilo del programador Tony Arcieri, el algoritmo selecciona siempre al senador Mitch McConnell antes que al expresidente Barack Obama. La foto completa es una tira alargada en la que cada uno de los políticos está en un extremo. Twitter no selecciona el centro de la imagen, ya que se mostraría un cuadrado blanco, sino que busca el área que le parezca más significativa. En estas pruebas, el algoritmo seleccionaba a McConnell, con independencia de quien estuviera arriba o abajo. Muchos usuarios probaron ayer con imágenes verticales y horizontales, y todo tipo de personajes. No siempre se ha identificado este sesgo.
Probando un experimento horrible... ¿A quién escogerá el algoritmo, a Mitch McConnell o a Barack Obama?
Me pregunto si Twitter también hace esto a personajes de ficción.
Interesante. Voy a intentar quitar el estetoscopio y añadir algo de contraste a la otra imagen, que es un poco sosa.
A pesar de que las pruebas de los usuarios no son concluyentes, Twitter explica a Verne en un comunicado que investigará lo ocurrido. La empresa explica que “probó el algoritmo antes de lanzarlo [en 2017] y no encontró pruebas de sesgo racial o de género. Sin embargo, queda claro por estos ejemplos que tenemos que hacer más análisis. Continuaremos compartiendo lo que aprendamos y las acciones que tomemos, y publicaremos nuestros análisis para que se puedan revisar y replicar”.
El director de diseño de Twitter, Dantley Davis, también dijo en la red social durante el domingo que “siguen investigando”, pero apuntó a ejemplos que señalaban que había otros factores en juego, como el contraste o incluso detalles como las manos y la ropa. Aun así, Davis asumió en otro tuit la responsabilidad de la empresa en la percepción de sesgos en la plataforma. Actualización: el 1 de octubre Twitter anunció que hará más pruebas para confirmar que no hay sesgo en su algoritmo y que está estudiando la forma de dar más control al usuario sobre qué parte de la foto se muestra en los tuits cuando esta no cabe entera.
Aquí hay otro ejemplo de las pruebas que he hecho. No es un experimento científico, ya que se trata de un ejemplo aislado, pero apunta a algunas variables que tenemos que investigar. Ambos hombres llevan ahora los mismos trajes y he cubierto sus manos. Aún estamos investigando la red neuronal.
El de Davis no era el único ejemplo que mostraba que había otros factores que determinaban cómo decide Twitter qué parte de la foto mostrar. El divulgador y youtuber Carlos Santana Vega llevó a cabo unas pequeñas pruebas en Twitter, cambiando y controlando algunos factores, sin encontrar pruebas claras de sesgo racista. En Verne también hemos hecho algunas pruebas sin encontrarlo.
¿Qué busca el algoritmo de Twitter?
Ariadna Font Llitjós, ingeniera de Twitter en Nueva York, explicaba también en la plataforma que el algoritmo no identifica caras, sino que busca las áreas más destacadas de la imagen, intentando predecir dónde vamos a mirar primero. “Esto también puede plantear asuntos éticos, y seguiremos atentos y mejorando a medida que nos encontremos con nuevos casos”, aseguraba. Font Llitjós enlazaba a un pequeño estudio de un investigador de la Universidad Carnegie Mellon que mostraba que el algoritmo daba preferencia a las caras negras sobre las blancas. Este trabajo se hizo el mismo domingo con 92 imágenes.
Zehan Wang, otro desarrollador de la empresa, añadía que el algoritmo sí detectaba caras hasta 2017, cuando lo sustituyeron por el actual. En ese momento, hicieron pruebas para detectar sesgo racial y no lo encontraron, tal y como apuntaba el comunicado de Twitter. Estas pruebas consistieron en publicar pares de imágenes en busca de resultados diferentes según estos factores.
Como explicaba Twitter en un texto publicado en su web en 2018, las áreas destacadas se identifican gracias a estudios en los que se registra dónde mira primero una persona. “En general, la gente tiende a prestar más atención a caras, texto y animales, pero también a otras áreas y objetos con mucho contraste. Estos datos se pueden usar para entrenar redes neuronales y otros algoritmos para predecir qué quiere mirar la gente”.
Los sesgos que pueden incluir los algoritmos
Los problemas y acusaciones de sesgos no son exclusivos de Twitter. De hecho, esta conversación se inició a partir de un tuit en el que se mostraba cómo Zoom cortaba la cabeza de una persona negra al incluir un fondo en la imagen. Lorena Fernández, directora de identidad digital en la Universidad de Deusto, recuerda los trabajos de Joy Buolamwini, investigadora del MIT, que hallaron sesgos en la tecnología de reconocimiento facial que perjudicaban especialmente a mujeres y a personas negras, que suelen estar infrarrepresentadas en las bases de datos, por lo que no se las identifica de forma correcta. De hecho, recientemente IBM ha anunciado que abandona su proyecto de reconocimiento facial y Amazon ha parado de momento el suyo, que además iba destinado a la policía.
Cualquier algoritmo puede presentar problemas de sesgos si, por ejemplo, la base de datos no es lo suficientemente completa. "Los algoritmos aprenden de los datos", explica Inés Huertas, especialista en big data y en machine learning. Pone el ejemplo de una webcam de HP, que estaba diseñada para seguir la cara durante una conversación, pero no identificaba correctamente los rostros negros. Como explica Huertas, no es que HP hiciera esto adrede, sino que la base de datos probablemente no era lo suficientemente amplia y el algoritmo no se había probado incluyendo todo tipo de caras bajo condiciones diferentes. Otras cámaras han presentado problemas similares, también con personas asiáticas.
Estos sesgos tampoco son exclusivos de las imágenes. Fernández recuerda el programa de análisis de textos de Google, que evaluaba el nivel de toxicidad de los textos. Este programa definía como negativas como frases como “soy gay” o “soy una mujer negra lesbiana”, e incluso “soy un judío”. Según Fernández, los algoritmos acaban aprendiendo “de la sociedad actual, que está cargada de prejuicios. No hay una manera real de solucionar esto sin arreglar primero nuestra cultura y sociedad, por lo que debemos compensarlo cuando diseñamos nuestros sistemas”.
Para Fernández, el principal problema es el de la transparencia, inexistente en estos algoritmos. Las empresas no suelen hacer públicos los criterios y métodos que han usado a la hora de desarrollar estos algoritmos, por lo que, como en el caso de Twitter y su programa de recorte de imágenes, resulta imposible saber si hay un problema de base de datos, si hay errores en los criterios para determinar si un área es importante, o si en realidad todo ha sido casualidad y el algoritmo no presenta ningún sesgo, como defienden los desarrolladores de la compañía.