Informe preliminar con perspectiva interseccional sobre sesgos de género en la Inteligencia Artificial

Preliminary report with intersectional perspective on gender bias in Artificial Intelligence

Instituto de las Mujeres

El presente apartado constituye un elaborado resumen sistemático de algunos de los principales puntos contenido en el Informe preliminar con perspectiva interseccional sobre sesgos de género en la inteligencia artificial, Instituto de las Mujeres, 2023, disponible en: https://www.inmujeres.gob.es/areasTematicas/SocInfo/Estudios/docs/Informe_Sesgos_Genero_IA.pdf

1. LA INTELIGENCIA ARTIFICIAL COMO PROYECCIÓN CULTURAL

La Inteligencia Artificial (IA) es un término que abarca un conjunto de tecnologías y campos de investigación con el objetivo de crear máquinas capaces de imitar la forma con la que las personas a) piensan, b) observan/perciben y c) reaccionan. La semántica antropomorfizante usada en este campo “aprendizaje”, “visión artificial”, “inteligencia”, etcétera, difiere del proceso matemático, estadístico y técnico en sí. Su uso es más bien resultado de la cooptación de vocabulario de las humanidades y las ciencias sociales. Dentro de esas disciplinas técnicas, conceptos que requieren intencionalidad, una teoría de la mente, etc. -como el término “aprendizaje”- son redefinidos en base a la “sensación” o “impresión” que dichas tecnologías evocan en el observador, aunque no sea un proceso de aprendizaje en sí.

Con ello, la IA como término abarca más bien una proyección de objetivos y expectativas antropomorfizantes. Un intento de delegar racionalidad a objetos o crear máquinas con cualidades o habilidades humanas: aprender, reaccionar, actuar. La terminología usada no es expresión de inteligencia, entendimiento o aprendizaje equiparables a los procesos de pensamiento o aprendizajes humanos. Por ese motivo el presente informe hará uso de expresiones como “sistemas de automatización o sistemas algorítmicos” en vez de IA y referenciará tecnologías concretas; si bien estas mismas también usan nombres antropomorfizantes: visión artificial, aprendizaje de máquinas, procesamiento de lenguajes naturales, sistemas expertos, etc.

Algunas de las sub-áreas de la IA, en especial el aprendizaje de máquinas, el procesamiento de lenguajes naturales y la “visión” artificial, están viviendo un auge en el mercado de la mano de grandes compañías como Amazon, Alphabet (Google), Meta (Facebook), Microsoft, SAP, Disney, Spotify, Tesla, American Express, Pfizer o Thales.

Dependiendo de la tecnología usada (visión artificial, aprendizaje de máquinas, etc.) el proceso de diseño, creación e implementación de un sistema de automatización difiere.

En el aprendizaje de máquinas, una de las tecnologías “IA” más populares en el mercado, los programas de software son creados automáticamente con datos y algoritmos. Es decir, la ingeniería y ciencia de datos dejan de programar software directamente y pasan a desarrollar un proceso en el que determinados algoritmos generan automáticamente un modelo en base a un conjunto de datos definidos. Ese modelo es el programa de software.

Modelo = Datos + algoritmo

Este tipo de automatización con sistemas algorítmicos complejos está desplegándose en todos los sectores de nuestra sociedad. Los códigos éticos, estándares, leyes y proyectos de ley entorno a la evaluación y regulación de dichos sistemas se enfocan primordialmente en la evaluación de los algoritmos y de los datos.

No obstante, como toda tecnología, el aprendizaje de máquinas hace referencia a un “conjunto de herramientas, máquinas, sistemas y procesos utilizados en las artes prácticas y la ingeniería1”, así como a “modos de operar, conjuntos de prácticas y habilidades, y formas de pensar vinculadas a esas herramientas, dispositivos y máquinas y conformadas por ellas2”.

La tecnología de aprendizaje de máquinas es más que una simple aplicación en un teléfono móvil o laptop, que un mero conjunto de datos y algoritmos. Esa aplicación de software consta de una dimensión material, social y de pensamiento (epistémica).

1. Material

Los programas de software generados con aprendizaje de máquinas dependen del hardware que a su vez depende y es construido con materias primas raras, escasas y en muchos casos no reciclables, extraídas de regiones remotas con áreas naturales protegidas como la selva del Amazonas3, Chile o Congo DR, así como no tan remotas dentro de la geografía española como las minas de cobre en Huelva. Los sistemas algorítmicos dependen asimismo del acceso y suministro continuo de cantidades ingentes de energía y agua4 (por ejemplo, para trabajar materias primas, o para enfriar los servidores de los bancos de datos).

1. Social

El software precisa de un banco de datos en evolución y crecimiento constantes. La interacción con usuarios y los datos que éstos generan influyen también en el sistema de forma continuada. Por ello se precisa a su vez de una monitorización y evaluación (humana o automatizada) también constantes puesto que su entrenamiento no acaba cuando se implementa el sistema, sino que es parte íntegra del mismo. Con ello, tanto el servicio de software como sus problemas evolucionan con el paso del tiempo debido al carácter social de los mismos.

Asimismo, los sistemas no suelen implementarse en un vacío tecnológico, sino que son integrados en una compleja red de sistemas computacionales y éstos se hallan a su vez integrados en un ecosistema social.

1. Pensamiento

Gran parte de los problemas generados en sistemas de automatización yacen en la interacción entre sistemas (debido, por ejemplo, a la colisión entre lógicas incompatibles de los sistemas) o en la interacción con personas que son expuestas al sistema o/y que interpretan y calibran el uso de las tecnologías dentro de la lógica más general del contexto de uso (laboral, comercial, pedagógico). La lógica del contexto de uso difiere frecuentemente del concepto de uso que el equipo de ingeniería asume al diseñarlo.

El diseño de sistemas algorítmicos se halla a su vez restringido por normativas legales y estándares industriales que cocrean la arquitectura de los sistemas, de sus bancos de datos, y de la gobernanza y procesamiento de sus datos.

1. La discriminación de género interseccional en el contexto algorítmico

La discriminación interseccional de género es expresión de una mirada patriarcal que intersecciona con otros tipos de discriminaciones como el racismo e “ismos” colindantes como la islamofobia, el capacitismo, la transfobia, la gordofobia o el edadismo. Esa mirada patriarcal no sólo concierne a la idea de la binaridad de género, y con ello de lo que se entiende como masculino y femenino -y lo que ello implica para la idea del cuerpo, la raza y la salud-.

Esa mirada patriarcal crea una idea del género como una categoría racial propia de la raza blanca, que va erosionándose cuanto más negro sea el color de piel de una persona. Lo femenino va negándose gradualmente más allá de los parámetros definidos como blancos. Esa mirada patriarcal propone una jerarquía de los cuerpos humanos, que considera inferior no sólo a lo que se declara femenino. Dicha binaridad de género se convierte junto con la idea biologista de la raza en el punto de partida con el que jerarquizar y deshumanizar personas discapacitadas, negras, trans, fuera del ciclo de vida considerado como productivo (infancia, senectud) o del ideal de cuerpo asociado a una idea estética de la salud y a un capital social y económico5. La discriminación de género se halla qua natura intrínsecamente asociada a otras formas de discriminación.

El carácter categorizante y encasillante de la discriminación convierten los sistemas algorítmicos en una tecnología con alto riesgo discriminatorio por naturaleza. Por ello no extraña que gran parte de los fundamentos de las técnicas estadísticas que hoy en día son utilizadas en el campo de la visión artificial y otras subdisciplinas de la IA hayan sido inventados por eugenicistas como Francis Galton6.

El aprendizaje de máquinas -o cualquier otro sistema creado por una de las tecnologías clasificadas como “IA”- no es un producto. Es una infraestructura material e inmaterial. Por ello es necesario considerar todos los aspectos arriba descritos a la hora de evaluar el impacto de dichos sistemas y derivar recomendaciones o medidas con las que regular riesgos y conflictos potenciales.

1. SECTORES DE APLICACIÓN
   1. Discriminación interseccional de género en sistemas algorítmicos

Las tecnologías de aprendizaje de máquinas, visión artificial y procesamiento de lenguaje natural están siendo integradas en prácticamente todos los sectores de nuestra sociedad.

Como toda tecnología que organiza y sistematiza una sociedad, éstas muestran un alto grado de escalabilidad en su impacto.

Con ellas, procesos e interacciones humanas que en su día fueron codificados con la ambivalencia inherente a las prácticas sociales en una sociedad pierden esa ambivalencia y pasan a ser matematizados, automatizados y despojados, con ello, de su complejidad. Esa matematización es a su vez una abstracción y oscurecimiento de las reglas. Con la automatización, las reglas se reducen a un repertorio de opciones estándar a seguir: claras y delimitadas, sin opciones “entre medio”.

1. Personalización

Los sistemas algorítmicos centrados en perfiles humanos crean estándares. En este contexto, un perfil humano es ya en sí una distorsión del individuo. El perfil humano es la suma de atributos promedios que tienen en común personas consideradas “similares”. El proceso de “personalización” que se ejerce en el contexto de automatización, no es un proceso que centra las particularidades individuales de las personas involucradas o interaccionando con el sistema de automatización. Es un proceso que no entiende al individuo y que lo destripa de sus particularidades. Es un individuo “genérico”.

Todas las personas que no corresponden a los perfiles o encasillamiento que el sistema algorítmico especifica pasan a ser consideradas una “desviación”, una irregularidad que, dependiendo de la programación, se marcará como inexistente o sospechosa.

1. ¿Dónde se genera la discriminación? ¿En los datos? ¿Con los algoritmos? ¿En los equipos de programación?

El impacto discriminatorio de género en sistemas algorítmicos yace en todas y cada una de las dimensiones esbozadas:

• Dentro del sistema mismo: en sistemas de automatización esencialistas que intentan “optimizar”, identificar o evaluar al individuo mediante la creación de una tipología que capte la “esencia” del ser humano. Esas tipologías postulan encasillar “objetivamente” al ser humano, centrando como estándar al cuerpo capacitado, blanco y masculino. El resto se convierte en desviación estadística dentro del sistema. Esas desviaciones producen un impacto discriminatorio de género, especialmente en intersección con categorizaciones raciales, de edad, capacitistas, etc.
• Ello implica a nivel técnico problemas como:
  • Las asimetrías de ratificación. Por ejemplo, con la sobrerrepresentación de las mujeres romaníes en la estadística criminal, y su infrarrepresentación en estadísticas de la salud.
  • El uso de datos históricos como punto de partida normativo. Por ejemplo, usar bases de datos que documentan la existencia de pocas madres en cargos de alta posición, para crear un sistema que correlaciona categorías como a) el género, b) la maternidad y c) la capacidad desempeñar un alto cargo que es asumido y toma dicha correlación como punto de partida normativo para la evaluación de candidatos en el terreno laboral.
  • El uso de hardware diseñado y/o calibrado para personas blancas y capacitadas.

Este tipo de aproximación esencialista y de dataficación discriminatoria tiene diferentes orígenes y abarca tanto la actitud o mirada patriarcal por parte de la compañía que desarrolla el sistema, pasando por las teorías psicológicas/sociales/cognitivas en las que se basan tales sistemas, como las prescripciones legales o estándares técnicos que codiseñan esos sistemas de automatización.

• Fuera del sistema: otra dimensión se halla en la integración de sistemas de automatización compleja en contextos con discriminación de género interseccional preexistentes, fruto de un sistema laboral, político y económico primordialmente patriarcal. Los sistemas de automatización abstraen y oscurecen contextos de asimetrías de poder con una capa de ingeniería difícil de descifrar por las personas y comunidades afectadas, pero no los crean. Se convierten más bien en tecnologías de encubrimiento, usadas con la arbitrariedad del prejuicio con el que los operadores del sistema interpretan e integran los resultados. Ello explica casos de discriminación de mujeres negras en sectores en los que se hayan tanto estadísticamente sobrerrepresentadas, como, por ejemplo, el sector policial7 como en sectores en los que se poseen pocos datos de las mismas, como ha sido demostrado en la investigación científica internacional en torno al cáncer de mama8.

La mirada evaluativa presente deja esta dimensión fuera de la evaluación del sistema. Como si se pudiera aislar al sistema tecnológico del uso y contexto en que se despliega. Como si el uso y el contexto no influyeran en el diseño y despliegue de estos sistemas tecnológicos9.

No obstante, un sistema a primera vista bien calibrado puede ser altamente discriminatorio y servir como mecanismo para mantener asimetrías de poder.

1. Salud

La integración de sistemas algorítmicos en contextos discriminatorios es un modo de usar tecnologías para afianzar un estatus quo institucional y estructural como punto de partida normativo. Por ejemplo, con la denegación hasta hace poco de pruebas genéticas para las mujeres negras con cáncer de mama bajo la suposición de que dichas pruebas sólo eran necesarias para las mujeres blancas de diferentes ascendencias. Esta denegación es a su vez una denegación de dataficación que, asimismo, influye en los programas computacionales de cálculo de riesgo10. Casos como éste ejemplifican vívidamente como prejuicios y creencias fuera del sistema de automatización deciden qué personas son visibilizadas en el sistema. Pero este ejemplo va más allá. El ejemplo documenta una ceguera conceptual. Documenta cómo el enfoque en la raza para definir a quién se datafica crea una dependencia en el proceso, distrayendo de las preguntas que deberían haber hecho (sobre aspectos genéticos). Fue la paulatina presencia de personal médico negro que demandó y luchó con éxito por el uso de exámenes genéticos con personas negras el factor que acabó demostrando el impacto de determinadas variaciones genéticas tanto en personas negras como blancas.

1. Empleo

Cammio xpress analytics es un sistema usado en el campo del reclutamiento laboral. Cammio posee como clientes a entidades como la Oficina Europea de la Selección de Personal (EPSO), empresas internacionales como Deloitte o compañías comerciales como ESPRIT11. Ese sistema se basa en la teoría psicológica conocida como el “modelo de los cinco grandes” (el modelo OCEAN: Openness, Conscientiousness, Extraversion, Agreableness, Neuroticism).

El modelo OCEAN se desarrolló para efectuar evaluaciones generalizadas sobre el comportamiento emocional en un grupo. Se trata de observaciones sobre la media. Estas afirmaciones resultan de la combinación de todos los datos de todos los individuos del grupo. Una modificación en la agrupación conduce a resultados diferentes. Con este método se puede llegar a hacer afirmaciones sobre el comportamiento en colectivos, pero pierde precisión estadística cuando se utiliza para evaluar a los candidatos de forma personalizada. Esto se debe a que lo importante no es el individuo, sino su posición relativa en el grupo. Esto a su vez significa que el grupo se convierte en el factor decisivo para determinar la posición del candidato. Con ello, se puede decir mucho más sobre la base de datos del grupo que sobre los propios candidatos.

En selección de personal, el objetivo de estas pruebas es evaluar las características no profesionales de la persona candidata. Las pruebas tienen la función de identificar 1) qué individuos tienen potencial de liderazgo y quiénes están más orientados al trabajo en equipo, 2) qué candidatos sentirán que pertenecen a la empresa y 3) negociar las condiciones de trabajo del candidato.

El modelo OCEAN se basa principalmente en la autoevaluación (y alternativamente en la evaluación externa). Es un modelo que plantea una pregunta comparativa implícita: “¿Te ves a ti mismo como una persona servicial?”. En este contexto, Leon Festinger señaló en los años 5012 que las personas tienden a evaluar su propio rendimiento en comparación con otros que consideran comparables. Biernat y Fuegen, por su parte, demostraron que los estereotipos de género condicionan la forma en que las personas se evalúan entre sí13. Si las mujeres se comparan para su autoevaluación con otras personas que consideran comparables (por ejemplo, otras mujeres), su autoevaluación será diferente si se comparan con personas de su entorno general o con personas de la empresa (cuando se trata de contratación interna).

La pretensión de la metodología y las métricas es principalmente hacer afirmaciones generalmente válidas sobre las personas a través de las autoevaluaciones. Pero un autoinforme no puede equipararse a un comportamiento real: sentir ansiedad no es lo mismo que comportarse con ansiedad.

Los informes sobre uno mismo reflejan más bien narrativas de posiciones sociales en una sociedad. No sólo muestran una autopercepción, sino que también contienen una percepción social implícita. Esta percepción no es en absoluto descriptiva, es también normativa y comunica una expectativa.

Las distintas dimensiones de la personalidad se correlacionan con el género en muchos estudios para psicologizar las diferencias salariales o en el mundo laboral entre hombres y mujeres. Por ejemplo, las mujeres presentan niveles más altos de Agreeableness (aversión al conflicto) y Neuroticism (dudas sobre sí mismas), rasgos que representan una mayor capacidad para el trabajo en equipo o un interés por el trabajo asistencial. Los hombres, por su parte, se correlacionan con niveles más altos de narcisismo y niveles más bajos de neuroticismo y agradabilidad. Esta constelación de características en el ámbito laboral se interpreta como una menor capacidad de trabajo en equipo y una mayor capacidad de liderazgo14.

Sin embargo, esto se hace sobre la base de una metodología que psicologiza la discriminación estructural y la toma no sólo como un punto de partida descriptivo sino normativo para justificar una decisión laboral. De este modo, la discriminación no sólo se acepta, sino que se justifica, se externaliza y se oculta bajo métricas algorítmicas digitales. Como precisan Appadurai y Kift15.

“Las métricas no son sólo números. Las métricas son los números que importan. Los números son empíricos, las métricas son normativas. Son la magia que convierte los números en significados. Pero para que la magia de las métricas funcione tenemos que creer en ellas”.

1. Movilidad

Algunos sistemas a primera vista neutrales, como los programas de control y coordinación de la red de semáforos, pueden comportar un impacto discriminatorio de género, edadista y capacitista.

Según el informe de la Dirección General de Tráfico sobre las principales cifras de la siniestralidad de los peatones en España en el 2018:

“Pese a que en términos absolutos fallecen más hombres como peatones que mujeres, en el ámbito urbano, en términos relativos, los hombres fallecen principalmente utilizando otros medios de transporte (63% de los hombres fallecidos), mientras que las mujeres fallecen principalmente desplazándose a pie (77%)16”.

En el 2020, “el 80% de las mujeres que perdieron la vida en un siniestro vial en ciudad, iban a pie17. Es decir, los criterios con los que se diseña la red de medidas de regulación de la movilidad peatonal (cruces, semáforos, pasos cebra, señales de límite de velocidad etc.) tienen un impacto desproporcional en la movilidad e integridad física de la mujer como peatón.

Los sistemas de control y coordinación de semáforos determinan por ejemplo el tiempo del que disponen los peatones para un cruce o calle. ¿Con la velocidad promedio de qué perfil se automatizan las fases verdes para peatones? ¿El perfil de una persona adulta de 30 a 50 años? ¿O el de una persona ciega y anciana o de una persona en silla de ruedas? ¿Asume el cálculo del sistema que todos los peatones cruzan a una velocidad uniforme, lo que no es el caso en horas punta para personas discapacitadas o peatones acompañados de infantes? ¿Cuánto tiempo de espera se permite cuando el semáforo se pone en rojo para los peatones y en verde para los vehículos y en base a qué presuposiciones se determina ese tiempo?

Los sistemas actuales están regulados por sistemas algorítmicos menos complejos, el uso de semáforos “inteligentes” está siendo pilotado en diferentes ciudades españolas (Castellón, Málaga)18. Cabe recordar que los sistemas algorítmicos más complejos únicamente pueden optimizar un determinado aspecto u objetivo. Con ello el resto de las metas deben ser compensadas u optimizadas mediante el uso de otros mecanismos (manuales o tecnológicos).

Los semáforos “inteligentes” en Málaga han sido implementados para ser conectados a corto plazo (2025) a una plataforma 5G, Plataforma Vehículo Conectado 3.0, a la que también se conectarán vehículos. En el proyecto de Málaga, la información SpaT (Fase y sincronización de las señales) se concentra en optimizar la velocidad de los automóviles, informando del estado actual del semáforo y del tiempo restante hasta el próximo cambio de semáforo.

“Esto permitirá a los autobuses y otros vehículos equipados con la tecnología conocer de antemano la hora exacta de los cambios de semáforo en rojo, verde o amarillo para ajustar su velocidad en consecuencia y controlar su conducción autónoma19.” Es decir, el objeto a optimizar no es la expresa pacificación del tráfico o la seguridad del peatón, sino que se asume que la optimización de la velocidad de los automóviles (autónomos) no sólo reducirán las congestiones y el número de emisiones de carbono, sino el comportamiento de frenado y contribuirá a “pacificar” el tráfico. Pero optimizar la velocidad del automóvil en zonas urbanas no incentiva necesariamente mantener una velocidad baja o un estilo de conducción menos agresivo. Con ello, la optimización de la seguridad del peatón es un objetivo secundario que cae fuera del cálculo de optimización, sino que se asume como consecuencia.

En ese contexto, el uso de sensores para captar el número de peatones y la velocidad de éstos, queda reducido a un mero cálculo estadístico de velocidades medias a las que se reacciona con un abanico de opciones estándar dependientes de la función de optimización arriba descrita: ¿En hora punta, qué velocidad media determina la fase verde peatonal? ¿La velocidad uniforme de una persona discapacitada en silla de ruedas o la velocidad discontinuada de una madre llevando a su infante a la guardería o de una persona invidente desorientada ante el tumulto? ¿Y quién corrige y entrena continuamente estos sistemas? ¿Gig workers en países remotos que viven una situación de tráfico con expectativas y costumbres de movilidad diferentes?20

Ningún sistema tecnológico tiene un impacto “neutral” de género. Los semáforos inteligentes no procesan en sus sistemas una diferenciación de género (y tampoco la necesitan). El tejido social, histórico y económico de una ciudad, de un país, en el que se integra dicho sistema es el contexto que hace de esas tecnologías no sólo una mera cuestión de movilidad, sino también de justicia de género.

1. Arquitectura

Los termostatos “inteligentes” en oficinas se convirtieron en el 2015 en el centro de atención científica de las revistas académicas más prestigiosas: un estudio científico en la revista Nature climate change21 demostraba que la configuración del termostato de las oficinas se basa en una fórmula desarrollada en los años 60, en la era de las oficinas dominadas por los hombres. Dicha fórmula no había sido revisada desde entonces y hace que las mujeres pasen frío en su entorno de trabajo, lo cual afecta a su confort y rendimiento laboral, como reveló el estudio presentado en Scientific reports en el 2021, informando también del poco avance en la programación de dichos termostatos, que aún siguen usando esa configuración estándar22.

1. Trabajo policial

VeriPol es un sistema para la detección automática de denuncias falsas de robos con violencia, desarrollado por la Policía Nacional española y que está desplegado en todas las comisarías españolas desde el 201823.

VeriPol usa el procesamiento de lenguaje natural para analizar el resumen que hace el policía de la denuncia de robo. En base al texto redactado por el policía, el sistema analiza expresiones y palabras clave y calcula probabilísticamente la “veracidad” del texto24. Es decir, el sistema es una forma de polígrafo que no evalúa a la persona denunciante, sino al resumen que hace el policía de la declaración de esa persona.

El sistema fue entrenado únicamente con 1.122 denuncias de varias comisarías de España, lo cual no es suficiente para entrenar una tecnología de la IA que se caracteriza por precisar de grandes cantidades de datos. Los datos iniciales son parte del fundamento con el que los algoritmos aplicados programaron automáticamente el modelo a usar. Con una base de datos tan pequeña, es funcionalmente imposible entrenar al sistema con los diferentes dialectos existentes en España.

La lista de sistemas de automatización compleja es tan extensa como heterogénea. Valgan los ejemplos arriba expuestos como pequeño muestrario no sólo de la heterogeneidad de uso y de contexto, sino también de la polifonía de causas que generan discriminación en la aplicación de dichos sistemas.

1. BREVIARIO DEL PANORAMA NORMATIVO

Los sistemas presentados en el apartado anterior se hallan parcialmente en un vacío legal y no disfrutan del seguimiento y evaluación necesarias. Sistemas esencialistas, es decir, sistemas que a nivel conceptual se basan en el encasillamiento y estereotipación del ser humano, generan discriminación independientemente de la base de datos o de las fórmulas algorítmicas usadas. La situación legal actual permite el uso de dichos sistemas en contextos de gran vulnerabilidad -como en contextos laborales o policiales-. El enfoque tecno-céntrico de los criterios evaluativos en actuales códigos éticos, estándares y leyes naturaliza de antemano sistemas que deberían cuestionarse fundamentalmente.

La parte material y energética de los sistemas algorítmicos y sus infraestructuras es evaluada por separado y con ello aislada del contexto social y medioambiental con el que evaluar su pertinencia y sopesar las medidas estipuladas considerando las necesidades sociales y medioambientales con las que compite.

El presente bloque del informe ofrece:

• Un listado sumario de leyes de la UE que han sido aprobadas recientemente y se hallan en vías de adaptación al régimen legal nacional de los Estados miembros o en proceso de desarrollo y despliegue técnico.
• Los proyectos de ley actuales de la UE.

Ambos espacios legales son una oportunidad para entablar un diálogo normativo y negociar medidas constructivas.

1. Leyes con un enfoque material y energético
   1. Critical Raw Materials Act. Proyecto de ley con el foco principal en asegurar el abastecimiento de materias primas raras necesarias en el campo de la digitalización, defensa y producción de las infraestructuras necesarias para procesar energías alternativas.
   2. Directiva (UE) 2018/2001 del Parlamento Europeo y del Consejo de 11 de diciembre de 2018 relativa al fomento del uso de energía procedente de fuentes renovables. Ley en vigor, en vías de reforma. “La Directiva vigente establece el objetivo global europeo en materia de energías renovables e incluye normas para garantizar la adopción de energías renovables en el sector del transporte y en la calefacción y refrigeración, así como principios y normas comunes para los sistemas de apoyo a las energías renovables. (..) La directiva también establece normas para eliminar barreras, estimular las inversiones y reducir los costes de las tecnologías de energías renovables25. Dicha regulación establecerá criterios que afectarán las técnicas de refrigeración de centros de datos, así como el acceso y apoyo financiero de nuevas tecnologías con sistemas algorítmicos como los vehículos autónomos, productoras de baterías necesarias para nuevas tecnologías (laptops, móviles, drones, robótica industrial, etc).
2. Infraestructuras digitales
   1. Directiva (UE) 2015/2366 del Parlamento Europeo y del Consejo de 25 de noviembre de 2015 sobre servicios de pago en el mercado interior y por la que se modifican las Directivas 2002/65/CE, 2009/110/CE y 2013/36/UE y el Reglamento (UE) no 1093/2010 y se deroga la Directiva 2007/64/CE DSA. Directiva en vigor y en proceso de adaptación al régimen legal nacional de los Estados miembros y de evaluación. Directiva que regula los servicios de pago y los proveedores de servicios de pago, incluyendo nuevos servicios y plataformas digitales (como medios sociales que ofrecen dichos servicios como p. ej. Facebook).
   2. Reglamento (UE) 2022/1925 del Parlamento Europeo y del Consejo de 14 de septiembre de 2022 sobre mercados disputables y equitativos en el sector digital y por el que se modifican las Directivas (UE) 2019/1937 y (UE) 2020/1828 (Reglamento de Mercados Digitales). En vigor, en vías de adaptación al régimen legal nacional de los Estados miembros.
   3. Reglamento (UE) 2022/2065 del Parlamento Europeo y del Consejo de 19 de octubre de 2022 relativo a un mercado único de servicios digitales y por el que se modifica la Directiva 2000/31/CE (Reglamento de Servicios Digitales). En vías de adaptación al régimen legal nacional de los Estados miembros. Regulación de plataformas digitales.
   4. EU Cloud Rulebook. En proceso de redacción. “Para servicios en la nube, que proporcionará un marco único europeo de normas, transparencia sobre su cumplimiento y mejores prácticas para el uso de la nube en Europa26.”
3. Regulación sobre sistemas algorítmicos y datos
   1. Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (ley de inteligencia artificial) y se modifican determinados actos legislativos de la unión. En proceso de negociación (triálogo). Regulación general de sistemas algorítmicos considerados como “Inteligencia Artificial”.
   2. Propuesta de Directiva sobre la responsabilidad en la inteligencia artificial. En proceso de redacción. “El objetivo de la propuesta de Directiva sobre responsabilidad civil por daños causados por actividades ilícitas es mejorar el funcionamiento del mercado interior estableciendo normas uniformes para determinados aspectos de la responsabilidad civil extracontractual por daños causados con la participación de sistemas de IA27.
   3. Revisión de la Directiva 85/374/CEE del Consejo, de 25 de julio de 1985, relativa a la aproximación de las disposiciones legales, reglamentarias y administrativas de los Estados miembros en materia de responsabilidad por los daños causados por productos defectuosos. Nueva Propuesta de Directiva del Parlamento Europeo y del Consejo relativa a la responsabilidad por los daños causados por productos defectuosos. En proceso de redacción.
   4. Propuesta de Directiva sobre la adaptación de las normas de responsabilidad civil no contractual a la inteligencia artificial. En proceso de redacción.
   5. Ley de Datos. En triálogo. “Aclara quién puede crear valor a partir de los datos y bajo qué condiciones28.”
   6. Propuesta de REGLAMENTO DEL PARLAMENTO EUROPEO Y DEL CONSEJO relativo a la gobernanza europea de datos (Ley de Gobernanza de Datos). Propuesta de reglamento para “crea(r) los procesos y estructuras para facilitar los datos29.”
   7. Reglamento (UE) 2018/1807 del Parlamento Europeo y del Consejo de 14 de noviembre de 2018 relativo a un marco para la libre circulación de datos no personales en la Unión Europea. Ley en vigor, en proceso de adaptación al régimen legal nacional de los Estados miembros. La ley “tiene por objeto eliminar los obstáculos a la libre circulación de datos no personales entre los diferentes países de la UE y los sistemas informáticos en Europa30.”
   8. Reglamento (UE) 2019/2144 del Parlamento Europeo y del Consejo de 27 de noviembre de 2019 relativo a los requisitos de homologación de tipo de los vehículos de motor y de sus remolques, así como de los sistemas, componentes y unidades técnicas independientes destinados a esos vehículos, en lo que respecta a su seguridad general y a la protección de los ocupantes de los vehículos y de los usuarios vulnerables de la vía pública, por el que se modifica el Reglamento (UE) 2018/858 del Parlamento Europeo y del Consejo y se derogan los Reglamentos (CE) n.o 78/2009, (CE) n.o 79/2009 y (CE) n.o 661/2009 del Parlamento Europeo y del Consejo y los Reglamentos (CE) n.o 631/2009, (UE) n.o 406/2010, (UE) n.o 672/2010, (UE) n.o 1003/2010, (UE) n.o 1005/2010, (UE) n.o 1008/2010, (UE) n.o 1009/2010, (UE) n.o 19/2011, (UE) n.o 109/2011, (UE) n.o 458/2011, (UE) n.o 65/2012, (UE) n.o 130/2012, (UE) n.o 347/2012, (UE) n.o 351/2012, (UE) n.o 1230/2012 y (UE) 2015/166 de la Comisión. Reglamento sobre la seguridad general de los vehículos. Regulación en vigor, en proceso de adaptación al régimen legal nacional de los Estados miembros. La regulación añade nuevas medidas de asistencia y monitoreo fomentando el uso de tecnologías algorítmicas de automatización compleja (métricas fisiológicas).
   9. Reglamentos de interoperabilidad entre los sistemas de información de la UE en los ámbitos de libertad, seguridad y justicia. Reglamento (UE) 2019/817 del Parlamento Europeo y del Consejo, de 20 de mayo de 2019, relativo al establecimiento de un marco para la interoperabilidad de los sistemas de información de la UE en el ámbito de las fronteras y los visados y por el que se modifican los Reglamentos (CE) No. 767/2008, (UE) 2016/399, (UE) 2017/2226, (UE) 2018/1240, (UE) 2018/1726 y (UE) 2018/1861 del Parlamento Europeo y del Consejo, y las Decisiones 2004/512/CE y 2008/633/JAI del Consejo, así como el Reglamento (UE) 2019/818 del Parlamento Europeo y del Consejo, de 20 de mayo de 2019, relativo al establecimiento de un marco para la interoperabilidad entre los sistemas de información de la UE en el ámbito de la cooperación policial y judicial, el asilo y la migración y por el que se modifican los Reglamentos (UE) 2018/1726, (UE) 2018/1862 y (UE) 2019/816.

“Estos reglamentos pretenden mejorar los controles en las fronteras exteriores de la UE, permitir una mejor detección de los riesgos para la seguridad y el fraude de identidad, y ayudar a prevenir y combatir la inmigración ilegal31”. Leyes en vigor. Los sistemas construidos por explícito mandato de estas regulaciones (como el Common Identity Repository, uno de los bancos de datos biométricos más grandes dentro de la UE) aún están en vías de desarrollo y por desplegar.

1. RECOMENDACIONES
   1. Statu quo

Las recomendaciones actuales en torno a la prevención de discriminación interseccional de género en el uso de sistemas algorítmicos son reactivas. Las propuestas para promocionar una mayor inclusión en el contexto tecnológico no cuestionan ni la lógica ni las “reglas de juego” de unos procesos de automatización que se caracterizan por oscurecer dinámicas discriminatorias mediante el uso de un lenguaje matemático.

Una agenda con una visión de justicia de género interseccional debe ir más allá de la mirada y ofrecer una visión social que centre intereses e ideas feministas interseccionales.

Si bien ya se dispone de regulación al respecto, dichas medidas resultan parcialmente cosméticas o quedan reducidas a meras recomendaciones y autoevaluaciones en manos de las mismas compañías que desarrollan sistemas algorítmicos. En la última década se ha producido un giro regulatorio: hasta aquel entonces se legislaba de manera sectorial (pensiones, sector bancario, energía, transporte) y ahora se persigue una regulación más transversal (horizontal), como es el caso del Reglamento General de Protección de Datos, la Ley de Servicios Digitales y la Ley de Mercados Digitales -o el proyecto de ley Artificial Intelligence Act-. Con ello desaparece el contexto, y es el contexto el que ayuda a desarrollar principios éticos, métodos de evaluación y medidas concretas.

1. Evaluación

Los códigos éticos, estándares y leyes existentes proponen medidas de evaluación con un foco tecno-céntrico, aislando y evaluando la arquitectura de datos o las fórmulas algorítmicas. Ello presupone tratar problemas tan complejos como la discriminación interseccional de género como una mera cuestión de estadística que puede ser solucionada cambiando la fórmula matemática de los algoritmos usados o haciendo adaptaciones a la estadística y datos con las que se operativizan dichos algoritmos.

La mayoría de dichas tecnologías no se integra en un vacío. Sistemas con diferentes lógicas interaccionan los unos con los otros y con ello surgen colisiones que conllevan efectos discriminatorios de género (por ejemplo, un sistema que usa un lenguaje de género neutral interaccionando con un sistema que usa un lenguaje con sensibilidad de género) u ocurren en la interacción entre sistemas y personas. Los estudios más recientes demuestran por ejemplo que la interpretación (humana) de los datos es más o menos favorable dependiendo del color y género de la persona evaluada32.

Esa separación artificial de la tecnología de su contexto social no solo reduce la complejidad de las dinámicas discriminatorias, sino que distorsiona con ello la mirada evaluativa. Evaluar es un proceso de contextualización. Dicha contextualización requiere ampliar los criterios de evaluación:

1. Los sistemas de automatización compleja y su impacto deben ser evaluados dentro de su contexto de uso.
2. Los sistemas de automatización compleja no son un producto, sino una tecnología. Una tecnología que evoluciona al interactuar con seres humanos.
3. Su impacto no se puede evaluar exclusivamente de antemano, sino que requiere monitorización y seguimiento constantes enfocado en sus efectos y en un análisis dentro del contexto de uso.
4. Una evaluación del impacto de género precisará:
   • De la experiencia y conocimientos prácticos de las organizaciones, colectivos y comunidades afectadas,
   • De un análisis de las asimetrías de poder y discriminación interseccional de género preexistentes en el contexto en el que se integren dichas tecnologías.
5. Los sistemas algorítmicos esencialistas son, en su naturaleza, fundamentalmente discriminatorios y con ello ilegítimos. Se recomienda la prohibición de su uso.

El foco tecno-céntrico actual, identifica los sistemas como productos que se pueden evaluar de antemano mediante transparencia o auditorías. Las auditorías corren el peligro de naturalizar sistemas de automatización altamente discriminatorios ya que no cuestionan la base teórica del sistema de automatización (las reglas del juego), sino que se centran en el despliegue de dichos sistemas en base a principios generales sobre procesamiento de datos.

En la actualidad, un número relevante de sistemas de automatización hacen uso de teorías obsoletas y esencialistas, causando con ello discriminación de género independientemente del procesamiento de datos y la gobernanza del sistema. Un sistema que se basa en ideas racistas y patriarcales, como el querer calcular el grado de agresividad de una persona en base a su fisionomía, no necesita una auditoría enfocada en un determinado procesamiento de datos o gobernanza algorítmica. Este tipo de sistemas ya es conceptualmente ilegítimo y siempre discriminará.

1. Las auditorías únicamente pueden considerarse como una medida complementaria que precisa de una evaluación previa sobre la legitimidad del concepto bajo el que se crea el modelo de automatización y del contexto en el que se integra.

Asimismo, la transparencia, si bien necesaria, es usada como instrumento transaccional de responsabilidad en muchos de los contextos regulativos más recientes. La transparencia en situaciones de poder asimétricas se convierte en un instrumento de disuasión. La transparencia no es equiparable con la rendición de cuentas en situaciones de poder asimétricas.

1. La transparencia debe contemplarse como una medida suplemento para mecanismos de rendición de cuentas. No debe ser usada como alternativa a mecanismos de supervisión, control y rendición de cuentas.

Dichos sistemas constan de una dimensión material cuyas necesidades compiten con necesidades humanas y sociales fundamentales (acceso a agua potable, agricultura) así como medioambientales (objetivo de desarrollo sostenible 13). El impacto medioambiental y la carencia de agua afecta de forma desproporcional e interseccional a mujeres tanto a nivel local, nacional y global33.

El aumento de la demanda de agua y electricidad para el uso de sistemas algorítmicos (pero también de la extracción de cobre, litio y estroncio) en España afectarán directamente a zonas rurales en las que se extraigan materias primas o se instauren centros de datos e indirectamente a zonas urbanas colindantes. Las zonas rurales en España se han masculinizado34 (véase el reporte de la cruz roja sobre la España despoblada del 2021) y no ofrecen suficientes cuidados para las mujeres en esos entornos. La falta de agua y acceso a electricidad en la que se basan muchas de las necesidades y cuidados para las mujeres agrandará tal disparidad.

Esta tecnología:

1. Requiere un gran número de materias primas, muchas de las cuales se hallan en áreas naturales protegidas. Un número relevante de dichas materias posee reservas limitadas y no son reciclables.
2. Requiere altos y constantes suministros de electricidad y agua. De hecho, un par de días de entrenamiento de modelos de aprendizaje de máquinas puede precisar de tanta energía como la que necesitan cinco coches desde su producción hasta su retirada35.

1. El impacto medioambiental debe formar parte de los criterios de evaluación del impacto de discriminación interseccional de género en sistemas algorítmicos.
2. El impacto medioambiental y la estimación de los costes medioambientales y energéticos debe ser calculado en relación con otras necesidades fundamentales dentro de una sociedad.

Asimismo, el continente europeo depende del importe de materias primas críticas, ubicadas en su mayoría en otros continentes, para la manufacturación de estas tecnologías. Son un vivo ejemplo de tecnologías que trascienden fronteras. Por ello:

1. Los reglamentos nacionales e internacionales entorno al importe de materias primas para la elaboración de estas tecnologías deberán desarrollar mecanismos que protejan del impacto discriminatorio de género producido por consecuencias medioambientales de la IA.

El despliegue de tecnologías de automatización compleja no es inminente debido a la exigente y costosa infraestructura requerida y, en muchos casos, la infraestructura material que precisa no es sostenible a largo plazo.

1. Debe priorizarse el uso alternativo de tecnologías menos complejas
2. Debe priorizarse el uso alternativo de tecnologías con enfoques más locales.

La naturaleza extractiva de los sistemas algorítmicos también se extiende a la explotación de mano de obra (gig workers) dedicada a trabajar de forma monótona -y en ocasiones traumatizante- limpiando, corrigiendo y entrenando sistemas algorítmicos. Los perfiles de los trabajadores provienen de comunidades marginalizadas, así como de mujeres pluriempleadas y desempeñan su trabajo no sólo bajo condiciones extremadamente precarias, sino también bajo condiciones discriminatorias de género (interseccional).

1. El trabajo en la economía bajo demanda (gig economy) requiere no sólo de una reforma de las leyes laborales que proteja a los trabajadores de la explotación, sino también de una revisión de las previsiones y mecanismos de protección antidiscriminatoria de género dentro de este contexto laboral.

1. Visión

Toda creación de infraestructuras para sistemas de automatización complejas es a su vez la creación de una dependencia a plazo medio y largo. Una visión de justicia de género interseccional centra principios como:

• La reparabilidad,
• La resiliencia y
• La vulnerabilidad

Como punto de partida en la concepción de infraestructuras tecnológicas.

---