Sesgos de género en los Algoritmos AI
Vivimos rodeados de algoritmos que toman decisiones por nosotros o que nos clasifican. Lo que empezó como una mejora en la automatización de procesos, búsquedas o contenido, tiene una cara “no tan bonita” que puede discriminar por sexo, religión, raza o ubicación.
No es el día de analizarlos todos, sino de mostraros un ejemplo muy concreto que he encontrado para que le demos una vuelta cada uno.
CASO PRÁCTICO
En esta vorágine de pandemia me he quedado en el paro y quiero buscar trabajo. LinkedIn me ha ayudado a buscar mis ultimos 4 o 5 trabajos por tanto es la plataforma elegida para crear mi propuesta (perfil), para buscar y para que me encuentren.
Además de todos los campos básico sobre tu perfil, llega el momento de cumplimentar tu “titular”
En función de tus funciones y tu género posiblemente pueda poner cosas como :
Directora de Marketing o Director de Mktg
Directora Digital o Director Digital
Gestor de Proyectos o Gestora de proyectos
Solo cambiamos el género de la palabra, pero cómo afecta esto para que nuestro perfil aparezca en los resultados de búsqueda de un HEAD HUNTER o EMPRESA que busca candidatos?
Aquí es donde entran los algoritmos de IA, que analizan los perfiles, identifican las keywords, y muestran los mejores resultados para cada búsqueda. La IA debería ser lo suficientemente I (Inteligente) para no caer en ningún tipo de sesgo.
Veamos los resultados.
Usando la herramienta de SALES NAVIGATOR para buscar empresas o clientes vamos a realizar distintas “cadenas de búsqueda”, todas ellas con un filtro de geoposición, en esta caso “Barcelona”.
Buscamos “Director DIGITAL”.
De los 25 primeros resultados que nos muestra:
Paridad de género: 12 chicas & 13 chicos
Mujeres que tenga el puesto escrito en femenino: “Directora”: 2
Mujeres que tienen el título en inglés y coincide con la búsqueda: “Digital Director”: 10
Buscamos “Directora DIGITAL”.
De los 25 primeros resultados que nos muestra:
Paridad de género: 25 chicas & 0 chicos
Mujeres que tenga el puesto escrito en femenino: “Directora”: 25
Buscamos “Dirección DIGITAL”.
De los 25 primeros resultados que nos muestra:
Paridad de género: 11 chicas & 14 chicos
Mujeres que tenga su título escrito en femenino: 3
Palabra que posiciona DIGITAL, el concepto DIRECCIÓN no aparece
Buscamos “Director Financiero”.
De los 25 primeros resultados que nos muestra:
Paridad de género: 0 chicas & 25 chicos
Buscamos “Directora Financiera”.
De los 25 primeros resultados que nos muestra:
Paridad de género: 25 chicas & 0 chicos
Buscamos “Financial officer”.
De los 25 primeros resultados que nos muestra:
Paridad de género: 4 chicas & 21 chicos
Todos posicionan y se presentan con el título en inglés.
RESUMIENDO
No se trata de demonizar a LinkedIn porque ni es el único, ni esto es un test exhaustivo sobre el algoritmo. Se trata de una prueba rápida y curiosa de los resultados que los reclutadores ven cuando utilizan la herramienta y de cómo la elección de nuestras palabras pueden condicionar estas búsquedas.
Actualmente no estoy metido en el mundo de la Selección, aunque he tenido la suerte de poder ejercerlo durante muchos años y conocer a fantásticos profesionales que su CV no reflejaba para nada sus cualidades o sus capacidades, en cualquier caso si estás buscando trabajo y visto lo visto, aquí van 3 consejos básicos para este mundo de algoritmos que vivimos:
Si puedes utiliza términos en inglés para definir tus roles o titular
No reniegues de tu genero, pero busca la mejor forma de incluir ambas terminaciones en tu descripción o titular
Pide a un “conocido” que no te tenga en su red de contactos que busque por “tus palabras clave” a ver si apareces en los resultados y te ayude a validar si las keywords que utilizas las tienes bien ubicadas.
Haz este mismo ejercicio en LinkedIn para ver que palabras se usan en perfiles similares y aprende de los demás.
OTROS EJEMPLOS
Para quien quiera indagar sobre el tema en el libro “Armas de destrucción matemática. Cómo el big data aumenta la desigualdad y amenaza la democracia”, de O’Neil hay multitud de ejemplos documentados.
Os enumero algunos casos para que os sea más sencillo buscar sobre el tema:
COMPAS, una herramienta de análisis de riesgo delictivo basada en IA que aprende de todas las sentencias dictadas anteriormente. A los acusados negros se les asignaba un mayor riesgo de incidencia.
Buscador e viajes ORBITZ, mostraba precios más altos si accedías desde un MAC
MAterial de oficina STAPLES, ofrecía productos y precios distintos en función de tu código postal.
FAcebook. 2016. Discriminación en anuncios de empleo que eliminaban a las mujeres y a personas de cierta edad.
2016, Arkansas, un algoritmo decidida las ayudas para un programa de salud estatal de discapacidad.
En UK, tras invertir más de 11Mill en un programa policial para predecir delitos se percataron que era racista.
y en 2020, en UK usaron un algoritmo como sustituto de los exámenes de acceso a la universidad ante la situación de pandemia. El algoritmo redujo las calificaciones del 40% de estudiantes y trunco el acceso a miles de estudiantes que venían con una nota de corte adecuada.
En España VERIPOL es un algoritmo para detectar denuncias falsas y no se libra de acusaciones al respecto.
Caso de google de identificación de personas que confundia un colaborador con un chimpancé
Y otro de los más llamativos fue TAY, un bot de AI que Microsoft creó para la plataforma twitter el 23 de marzo d 2016. 16h después se había convertido en un racista y xenófobo y tuvo que ser “desactivado”.