- Siete acciones que los líderes del cambio social y los desarrolladores de aprendizaje automático pueden tomar para construir inteligencia artificial inteligente en género para un mundo más justo.
- Análisis sobre el tema central para celebrar el 8 de Marzo, propuesto por la ONU
Traducción Ganett Góngora*
Documento difundido por ONU mujeres en el mundo
En 2019, Genevieve (coautora de este artículo) y su esposo solicitaron la misma tarjeta de crédito. A pesar de tener un puntaje crediticio ligeramente mejor y los mismos ingresos, gastos y deudas que su esposo, la compañía de tarjetas de crédito fijó su límite de crédito en casi la mitad del monto.
Esta experiencia se hace eco de una que apareció en los titulares más tarde ese año: un esposo y una esposa compararon los límites de gasto de su Apple Card y descubrieron que la línea de crédito del esposo era 20 veces mayor. Los empleados de servicio al cliente no pudieron explicar por qué el algoritmo consideró a la esposa significativamente menos solvente.
Muchas instituciones toman decisiones basadas en sistemas de inteligencia artificial (IA) que utilizan aprendizaje automático (ML), mediante el cual una serie de algoritmos toma y aprende de cantidades masivas de datos para encontrar patrones y hacer predicciones. Estos sistemas informan cuánto crédito ofrecen las instituciones financieras a los diferentes clientes, a quién prioriza el sistema de salud para las vacunas contra el COVID-19 y qué candidatos llaman las empresas para entrevistas de trabajo. Sin embargo, el sesgo de género en estos sistemas es generalizado y tiene un impacto profundo en la seguridad psicológica, económica y de salud de las mujeres a corto y largo plazo. También puede reforzar y amplificar los estereotipos y prejuicios de género dañinos existentes.
Al concluir el Mes de la Historia de la Mujer, los líderes del cambio social, incluidos investigadores y profesionales con experiencia en género, y los desarrolladores de sistemas de ML deben preguntarse: ¿Cómo podemos construir una IA inteligente en cuanto al género para promover la equidad de género, en lugar de incorporar y escalar el sesgo de género?
Los sistemas de IA están sesgados porque son creaciones humanas. Quién toma las decisiones informando a los sistemas de IA y quién está en el equipo que desarrolla los sistemas de IA da forma a su desarrollo. Y, como era de esperar, existe una gran brecha de género: solo el 22 % de los profesionales en los campos de la IA y la ciencia de datos son mujeres, y es más probable que ocupen trabajos asociados con un estatus inferior.
En un nivel más granular, los humanos generan, recopilan y etiquetan los datos que se incluyen en los conjuntos de datos. Los humanos determinan de qué conjuntos de datos, variables y reglas aprenden los algoritmos para hacer predicciones. Ambas etapas pueden introducir sesgos que se incrustan en los sistemas de IA.
En términos de sesgo de género de los datos, los puntos de datos son instantáneas del mundo en el que vivimos, y las grandes brechas de datos de género que vemos se deben en parte a la brecha digital de género. Por ejemplo, unos 300 millones menos de mujeres que de hombres acceden a Internet a través de un teléfono móvil, y las mujeres de los países de ingresos bajos y medianos tienen un 20 % menos de probabilidades que los hombres de poseer un teléfono inteligente.
Estas tecnologías generan datos sobre sus usuarios, por lo que el hecho de que las mujeres tengan menos acceso a ellos sesga inherentemente los conjuntos de datos. Incluso cuando se generan datos, los humanos que recopilan datos deciden qué recopilar y cómo. Ninguna industria ilustra mejor esto que la atención médica (otra industria con desequilibrio de género entre los líderes.
Los hombres y los cuerpos masculinos han sido durante mucho tiempo el estándar para las pruebas médicas. Las mujeres son desaparecidas de los ensayos médicos, con cuerpos femeninos considerados demasiado complejos y variables. Las hembras ni siquiera están incluidas en los estudios con animales sobre enfermedades predominantes en las hembras. Esta brecha se refleja en los datos médicos.
Los datos que no están desagregados por sexo y género (así como otras identidades) presentan otro problema. Pinta una imagen inexacta, ocultando diferencias importantes entre personas de diferentes identidades de género, y oculta una representación excesiva o insuficiente potencial. Por ejemplo, pocos conjuntos de datos urbanos rastrean y analizan datos sobre género, por lo que los programas de infraestructura no suelen tener en cuenta las necesidades de las mujeres.
Incluso cuando existen puntos de datos representativos, pueden tener prejuicios incorporados y reflejar desigualdades en la sociedad. Volviendo a la industria del crédito al consumo, los primeros procesos usaban el estado civil y el género para determinar la solvencia. Eventualmente, estas prácticas discriminatorias fueron reemplazadas por otras consideradas más neutrales. Pero para entonces, las mujeres tenían un historial financiero menos formal y sufrían discriminación, lo que afectaba su capacidad para obtener crédito. Los puntos de datos que rastrean los límites de crédito de las personas capturan estas tendencias discriminatorias.
El etiquetado de datos puede ser subjetivo e incorporar sesgos y perspectivas perjudiciales también. Por ejemplo, la mayoría de los datos demográficos terminan etiquetados sobre la base de categorías simplistas binarias de mujeres y hombres. Cuando la clasificación de género colapsa el género de esta manera, reduce el potencial de la IA para reflejar la fluidez de género y la identidad de género autosuficiente.
En términos de sesgo de género de los algoritmos, uno de los primeros pasos en el desarrollo de un algoritmo es la selección de conjuntos de datos de entrenamiento. Una vez más, volviendo a la industria del crédito al consumo, cuando los sistemas de inteligencia artificial que determinan la solvencia aprenden de los datos históricos, detectan los patrones de las mujeres que reciben límites de crédito más bajos que los hombres. Reproducen el mismo acceso desigual al crédito según el género (y la raza), como se ve en el caso de Genevieve y la historia de Apple Card.
De manera relacionada, los tonos de género
El proyecto de investigación descubrió que los sistemas comerciales de reconocimiento facial utilizaban conjuntos de datos de imágenes que carecían de muestras diversas y representativas. Estos sistemas clasificaron erróneamente a las mujeres con mucha más frecuencia que a los hombres. En particular, las mujeres de piel más oscura se clasificaron erróneamente con una tasa de error del 35 por ciento, en comparación con una tasa de error del 0,8 por ciento para los hombres de piel más clara.
Los desarrolladores les dicen a los algoritmos qué variables considerar al tomar decisiones, pero esas variables y proxies pueden penalizar ciertas identidades o comunidades. Por ejemplo, una plataforma de contratación de tecnología en línea, Gild (adquirida desde entonces por Citadel), desarrolló un sistema de inteligencia artificial para ayudar a los empleadores a clasificar a los candidatos para trabajos de programación.
Gild no solo evaluó la información obtenida de fuentes tradicionales como los currículos, sino que también utilizó un proxy llamado «datos sociales» (datos generados por acciones en el ámbito digital) para medir qué tan integral era el candidato para la comunidad digital.
En este caso, los datos sociales se extrajeron del tiempo dedicado a compartir y desarrollar código en plataformas como GitHub. Pero factores como las expectativas sociales en torno al cuidado no remunerado, que las mujeres tienden a soportar, se traducen en que las mujeres tienen menos tiempo para chatear en línea.
Por lo tanto, las mujeres producen menos de estos datos sociales las mujeres pueden asumir identidades masculinas en plataformas como GitHub para eludir preocupaciones de seguridad sexistas y específicas de género (como el acoso dirigido y el troleo) y otras formas de sesgo. En lugar de eliminar los prejuicios humanos, Gild creó un algoritmo predispuesto a penalizar a las mujeres y clasificar sistemáticamente a las candidatas por debajo de sus homólogos masculinos.
Impactos de la IA con sesgo de género
La IA con sesgo de género no solo tiene un impacto inmenso en las personas, sino que también puede contribuir a los retrocesos en la igualdad de género y el empoderamiento de las mujeres. Como parte de nuestro trabajo en el Centro Berkeley Haas para la Equidad, el Género y el Liderazgo sobre la mitigación del sesgo en la inteligencia artificial, hacemos un seguimiento de los casos de sesgo disponibles públicamente en los sistemas de IA que usan ML. En nuestro análisis de alrededor de 133 sistemas sesgados en todas las industrias desde 1988 hasta la actualidad, encontramos que el 44,2 % (59 sistemas) demuestra sesgo de género, y el 25,7 % (34 sistemas) muestra sesgo tanto de género como racial.
Los sistemas de inteligencia artificial con sesgo de género tienen seis impactos principales: de los 59 sistemas que muestran sesgo de género, el 70 % resultó en una calidad de servicio más baja para las mujeres y las personas no binarias. Los sistemas de reconocimiento de voz, cada vez más utilizados en las industrias automotriz y de atención médica, por ejemplo, a menudo funcionan peor para las mujeres. En segundo lugar, la asignación injusta de recursos, información y oportunidades para las mujeres se manifestó en el 61,5 % de los sistemas que identificamos como sesgados por el género, incluida la contratación de software y sistemas publicitarios que restaban prioridad a las solicitudes de las mujeres.
El refuerzo de los estereotipos y prejuicios perjudiciales existentes (en el 28,2 % de los sistemas con sesgo de género) se ve exacerbado por los bucles de retroalimentación entre las entradas y salidas de datos. Por ejemplo, el software de traducción, que aprende de una gran cantidad de texto en línea, históricamente ha tomado términos neutros en cuanto al género (como «el doctor» o «la enfermera» en inglés) y devuelto traducciones de género (como «el doctor» y » la enfermera”, respectivamente), reforzando los estereotipos de médicos y enfermeras. De manera relacionada, encontramos que los sistemas de IA, más comúnmente en servicios relacionados con Internet, dan como resultado un tratamiento despectivo y ofensivo o la eliminación de identidades de género ya marginadas. (6,84 por ciento). Por ejemplo, el uso del género binario en la clasificación de género genera una visión inexacta y simplista del género en herramientas como los sistemas de análisis facial.
Además, ciertos sistemas afectan el bienestar físico y mental de las mujeres y las personas no binarias. Los sistemas con sesgo de género utilizados en la atención de la salud, el bienestar y la industria automotriz, en particular, presentan perjuicios para la seguridad física (18,8 por ciento de los sistemas con sesgo de género) y riesgos para la salud (3,42 por ciento). Los sistemas de inteligencia artificial que respaldan la detección del cáncer de piel, por ejemplo, tienen dificultades para detectar el melanoma en las personas negras, lo que pone en riesgo a las mujeres negras que ya están desatendidas por la industria del cuidado de la salud.
Profesora investigadora de la UAM, colaboradora esporádica en SemMéxico
