Datos, algoritmos e inteligencia artificial (IA) son temas con presencia constante en muchas regiones del mundo en debates que van desde tecnologías futuristas como los vehículos autónomos, hasta aplicaciones cotidianas que afectan negativamente a nuestras comunidades. Como activistas feministas, anticapitalistas y antirracistas, debemos comprender las implicaciones y las políticas de estas tecnologías, ya que en muchos casos ellas acentúan las desigualdades relacionadas con la riqueza y el poder y reproducen la discriminación racial y de género.
Los datos, los algoritmos y la inteligencia artificial ocupan cada vez más espacio en nuestras vidas, aunque, en general, apenas somos conscientes de su existencia. Sus impactos, a veces, pueden ser igualmente invisibles, pero están relacionados con todas nuestras luchas por un mundo más justo. El acceso a estas tecnologías es desigual y la balanza inclina cada vez más hacia instituciones poderosas como las Fuerzas Armadas, la policía y las empresas. Solo unos pocos agentes privados tienen la capacidad computacional para ejecutar los modelos de IA más robustos, por lo que incluso las universidades dependen de ellos para realizar sus investigaciones. En cuanto a los datos, los producimos todos los días, a veces de forma consciente, a veces simplemente manteniendo nuestros smartphones con uno mismo todo el tiempo sin siquiera usarlos.
¿Cómo estos datos son utilizados de maneras perjudiciales para nosotras y nuestras comunidades? ¿Cómo ellos intensifican los sistemas de opresión?
El lugar donde vivo (Isla Tortuga, Canadá, Quebec) influyó en mi investigación sobre este tema. Desde ahí, busco contribuir a nuestro desafío colectivo de compartir y aprender a partir de nuestras experiencias y análisis en diferentes partes del mundo.
Hace algunos años, llegó a los titulares el escándalo Facebook-Cambridge Analytica, en lo que se utilizaron los datos para influir en los votos y las elecciones en el Reino Unido y los EE. UU. En general, solo supimos esto gracias a los whistleblowers [1], ya que existe una falta total de transparencia en torno a los algoritmos y los datos insertados en ellos, lo que dificulta la comprensión de su impacto. Algunos ejemplos nos ayudan a comprender cómo estas tecnologías y la manera como son implantadas cambian los métodos de toma de decisiones, empeoran las condiciones de trabajo, intensifican la desigualdad y la opresión e incluso dañan el medio ambiente.
Los sistemas de toma de decisiones automatizada (automated decision making – ADM) utilizan datos y algoritmos para tomar decisiones en nombre de los seres humanos. Están cambiando no solo cómo se toman las decisiones, sino también dónde y por quién. En algunos casos, desplazan la toma de decisiones del espacio público a los espacios privados, o efectivamente ponen el control sobre el espacio público en manos de empresas privadas.
Algunas aseguradoras han implementado tecnologías ADM e IA para determinar la legitimidad de los avisos de siniestro. Según ellas, esta es una forma más eficiente y rentable de tomar estas decisiones. Pero, a menudo, informaciones sobre qué datos se utilizan y qué criterios se aplican a estas determinaciones no se ponen a disposición del público porque se considera secreto comercial de una empresa.
En algunos casos, las aseguradoras incluso usan datos para prever riesgos y calcular tasas basadas en comportamientos esperados, que es solo una nueva forma de afectar el principio de solidaridad, que es la base del seguro colectivo, y acentuar los principios neoliberales e individualistas. Además, estos modelos utilizan datos del pasado para prever resultados futuros, lo que los hace inherentemente conservadores y predispuestos a reproducir o incluso intensificar formas de discriminación sufridas en el pasado. Si bien no utilizan la raza directamente como un dato identificable, los indicadores como los códigos postales generalmente sirven al mismo propósito, y estos modelos de IA tienden a discriminar a las comunidades racializadas [2].
No solo las empresas privadas, pero también los gobiernos disponen de sistemas de IA para brindar servicios de manera más eficiente y detectar fraudes – lo que normalmente es sinónimo de reducción de costos. Chile está entre los países que han iniciado un programa para utilizar la IA para gestionar la atención médica, reducir los tiempos de espera y tomar decisiones sobre tratamientos. Los críticos del programa temen que el sistema cause daños al perpetuar los prejuicios basados en la raza, etnia o país de origen y género.
Argentina desarrolló un modelo en colaboración con Microsoft para prevenir la deserción escolar y el embarazo precoz. Con base en información como el barrio, la etnia, el país de origen o el suministro de agua caliente, un algoritmo predice qué niñas tienen más probabilidades de quedar embarazadas y, en base a eso, el gobierno dirige los servicios. Pero, de hecho, el gobierno está utilizando esta tecnología para evitar tener que implementar una educación sexual amplia, que, por cierto, no entra en los cálculos del modelo para prever el embarazo adolescente.
Con el rótulo de “Ciudades Inteligentes” (Smart Cities), los gobiernos de las ciudades están entregando barrios enteros a empresas privadas para para experimentos con tecnologías. Sidewalk Labs, una subsidiaria de Alphabet (la compañía propietaria de Google), quería desarrollar un vecindario en Toronto, Canadá, y recopilar cantidades masivas de datos sobre los residentes para, entre otras cosas, prever sus movimientos con el fin de regular el tráfico. La empresa incluso tenía planes de aplicar sus propios impuestos y controlar algunos servicios públicos. Si no fuera por las personas activistas que se movilizaron en contra este proyecto, el gobierno simplemente habría entregado el espacio público a una de las empresas privadas más grandes y poderosas del mundo.
Poner el poder de decisión sobre el espacio público en manos de empresas privadas no es el único problema de iniciativas como las “Ciudades Inteligentes”. Un ejemplo de la India muestra que ellas también tienden a crear mecanismos de vigilancia a gran escala. La policía de la ciudad de Lucknow anunció recientemente un plan para usar cámaras y tecnología de reconocimiento facial (FRT) para identificar expresiones de sufrimiento en los rostros de las mujeres. Con el pretexto de combatir la violencia contra las mujeres, varias ciudades de India han gastado cantidades exorbitantes de dinero para implementar sistemas de vigilancia, dinero que podría haberse invertido en proyectos para combatir la violencia de género liderados por las comunidades.
En lugar de abordar la raíz del problema, el gobierno perpetúa las normas patriarcales al crear regímenes de vigilancia. Además, se ha demostrado que la tecnología de reconocimiento facial es significativamente menos precisa para quienes no pertenecen al grupo de los hombres cis blancos, y la tecnología de detección de emociones es considerada muy defectuosa.
La IA está provocando una mayor vigilancia en muchas áreas de la vida en muchos países, pero especialmente en las democracias liberales: desde el software de monitoreo que supervisa a estudiantes durante los exámenes online hasta lo que se conoce como «vigilancia inteligente», que tiende a intensificar la vigilancia de las comunidades ya marginadas. Un buen ejemplo de ello son las cámaras corporales, que han sido anunciadas como soluciones para combatir la brutalidad policial y sirven como argumento contra las reivindicaciones de recorte presupuestario o incluso la abolición de la policía.
Desde una perspectiva feminista, cabe señalar que las tecnologías de vigilancia no solo existen en el espacio público, sino que también juegan un papel cada vez más importante en la violencia doméstica.
Las autoridades policiales también crean “bases de datos de pandillas” que generan más discriminación en las comunidades racializadas. Es bien sabido que empresas privadas dedicadas a la minería de datos como Palantir o Amazon apoyan a las agencias de inmigración en la deportación de inmigrantes indocumentados. La IA es utilizada para prever delitos que ocurrirán y quién los cometerá. Como estos modelos se basan en datos de delitos pasados y antecedentes criminales, están muy sesgados hacia las comunidades racializadas. Además, de hecho, pueden contribuir a la delincuencia en lugar de prevenirla.
Otro ejemplo de cómo estos sistemas de vigilancia de IA apoyan la supremacía blanca y el patriarcado heterosexual son los sistemas de seguridad de los aeropuertos. Las mujeres negras, los hombres sijes [3] y las mujeres musulmanas son objeto de averiguaciones invasivas con más frecuencia. Y como estos modelos y tecnologías imponen la cisnormatividad, las personas trans y no binarias se identifican como divergentes y son inspeccionadas.
Las tecnologías de vigilancia no solo las utilizan la policía, las agencias de inmigración y militares. Es cada vez más común que las empresas monitoreen a sus empleados por medio de la IA. Como en cualquier otro contexto, las tecnologías de vigilancia en el lugar de trabajo refuerzan la discriminación y las disparidades de poder ya existentes.
Este desarrollo puede haber comenzado dentro de las grandes empresas de plataforma y big data [4], pero el sector de más rápido crecimiento, el capitalismo de datos impone nuevas condiciones de trabajo no solo a los trabajadores y a las trabajadoras del sector – su alcance es aún mayor. Probablemente el ejemplo más conocido de este tipo de vigilancia sea Amazon, donde las personas empleadas son monitoreadas constantemente y si sus índices de productividad caen continuamente por debajo de las expectativas, son despedidas automáticamente.
Otros ejemplos incluyen el sector minorista de ropa, donde tareas como organizar la mercancía para la demostración ahora se deciden mediante algoritmos, lo que priva a las personas trabajadoras de su autonomía. Las personas negras y otras personas racializadas, especialmente las mujeres, tienen más probabilidad de ocupar puestos de trabajo sin estabilidad y mal remunerados y, por lo tanto, suelen ser las personas más afectadas por esta deshumanización del trabajo. Empresas de plataforma como Amazon o Uber, con el apoyo de enormes cantidades de capital aplicado, no solo cambian sus industrias, sino que logran imponer cambios en la legislación que debilitan la protección de trabajadores y trabajadoras y afectan economías enteras. Eso es lo que hicieron en California, alegando que el cambio crearía mejores oportunidades para las trabajadoras racializadas. Sin embargo, un estudio reciente concluyó que este cambio en realidad «legalizó la subordinación racial«.
Hasta ahora hemos visto que la IA y los algoritmos contribuyen a las disparidades de poder, desplazan los sitios de toma de decisiones del espacio público a empresas privadas sin transparencia e intensifican los daños inherentes a los sistemas racistas, capitalistas, heteropatriarcales y cisnormativos. Además, estas tecnologías frecuentemente intentan dar la impresión de que están completamente automatizadas, cuando en realidad dependen de una gran cantidad de mano de obra barata. Y, cuando están completamente automatizadas, son capaces de consumir cantidades absurdas de energía, como se demuestra en el caso de algunos modelos de procesamiento del lenguaje. Sacar a la luz estos hechos costó el empleo de destacados investigadores.
Las estrategias de las personas activistas para resistir a estas tecnologías y/o dar visibilidad a los daños causados por ellas
En general, el primer paso en estas estrategias es comprender los daños que pueden resultar y documentar dónde se están aplicando las tecnologías. El proyecto Nuestros Cuerpos de Datos [Our Data Bodies] produjo el Manual estratégico para la defensa digital [Digital Defense Playbook], un material destinado a la concienciación popular sobre cómo las comunidades se ven afectadas por las tecnologías basadas en datos.
La plataforma No la Mía IA [Not My AI], por ejemplo, ha estado mapeando proyectos tendenciosos y perjudiciales en América Latina. El grupo Alerta de la Militancia – Notificación e Información para Inquilinos [Organizers Warning Notification and Information for Tenants – OWN-IT!] construyó un banco de datos en Los Ángeles para ayudar a las personas inquilinas contra los aumentos de alquiler. En respuesta a la tecnología policial predictiva, activistas crearon el Mapa de zonas de riesgo de delitos de cuello blanco para anticipar dónde, en EE.UU., es más probable que ocurran los delitos financieros.
Algunas personas han decidido dejar de utilizar determinadas herramientas, como el buscador de Google o Facebook, negándose así a facilitar aún más datos a estas empresas. Ellas argumentan que el problema no son los datos individuales, sino el conjunto de datos utilizado para reestructurar entornos que extraen más de nosotres en forma de datos y mano de obra, y que se están volviendo cada vez menos transparentes.
Otra estrategia es la ofuscación o el enmascaramiento de datos: activistas crearon plug-ins que hacen clic al azar en los anuncios de Google o dan “me gusta” de manera aleatoria en las páginas de Facebook para engañar a los algoritmos. También hay formas de impedir que la IA reconozca rostros en fotografías y las use para entrenar algoritmos.
El Oráculo de las Tecnologías Transfeministas (The Oracle for Transfeminist Technologies) presenta un enfoque totalmente diferente, una baraja que invita al ejercicio de imaginación colectiva para una tecnología diferente.
Personas indígenas que viven en Turtle Island (EE. UU. y Canadá) ya están muy familiarizadas con la vigilancia y con la recopilación de grandes volúmenes de datos sobre ellas que son utilizados en contra ellas. A partir de esta experiencia, crearon enfoques para la soberanía de los datos de los pueblos originarios: principios relacionados con la recopilación, el acceso y la propiedad de los datos para prevenir daños mayores y permitir que las naciones originarias, los métis y los inuit [5] se beneficien de sus propios datos.
La IA, los algoritmos y las tecnologías basadas en datos no son solo cuestiones problemáticas con respecto a la privacidad. Hay mucho más en juego. A medida que organizamos nuestras luchas, muy probablemente utilizamos tecnologías que producen datos para empresas que se benefician del capitalismo de datos. Necesitamos ser conscientes de las implicaciones de esto, los daños que causan estas tecnologías y cómo resistir a ellas para que nuestras movilizaciones tengan éxito.
Mich/Michèle Spieler vive en Montréal/Tiohtià: ke/Mooniyaang y hace mucho tiempo se dedica a responder la pregunta de cómo la tecnología ayuda a fortalecer o eliminar la opresión. Trabaja en la coordinación de Tecnología Comunitaria en el Centro de Organizaciones Comunitarias (Centre for Community Organizations – COCo) y ha estado involucrade en varios proyectos de medios de comunicación feminista. Ha sido parte de la Marcha Mundial de las Mujeres por muchos años.
[1] Whistleblowers, o denunciantes, son personas que deciden dar a conocer irregularidades o delitos cometidos por organizaciones y empresas, con gran cantidad de pruebas materiales, en general adquiridas mientras laboran en las propias instituciones. En el caso del escándalo de la fuga de millones de datos de usuarios de Facebook, la primera denuncia la hizo Christopher Wylie, ex empleado de Cambridge Analytica. A menudo, whistleblowers sufren persecución por las denuncias que hacen públicas.
[2] En el texto original, communities of color. Se refiere a comunidades que han sido sometidas a procesos históricos de racismo y exclusión, incluyendo poblaciones indígenas, negras, latinoamericanas y asiáticas. En este texto, el término «personas racializadas» también se adoptará como una traducción de people of color.
[3] Practicantes del sijismo, una religión que surgió en el siglo XV en Punjab, a menudo retratada como resultado del sincretismo entre elementos del hinduismo, del islam y del sufismo.
[4] «Big data» es como son conocidas las tecnologías desarrolladas para administrar volúmenes de datos que son demasiado grandes para ser procesados por los sistemas tradicionales.
[5] Las naciones originarias (también llamadas First Nations, o Primeras Naciones), los métis y los inuites (también llamados Inuit) son los tres pueblos originarios reconocidos por la Constitución canadiense. En el pasado se les llamaba “indios”, “esquimales” y “aborígenes”, términos que ahora quedaron en desuso y son considerados peyorativos.
