Les données, les algorithmes et l’intelligence artificielle (IA) sont des sujets constamment présents dans de nombreuses régions du monde dans des discussions allant des technologies futuristes telles que les voitures autonomes, aux applications quotidiennes qui affectent nos communautés de manière négative. En tant que militantes féministes, anticapitalistes et antiracistes, nous devons comprendre les implications et les politiques de ces technologies, car dans de nombreux cas, elles accentuent les inégalités liées à la richesse et au pouvoir et reproduisent la discrimination raciale et de genre.
Les données, les algorithmes et l’intelligence artificielle prennent de plus en plus de place dans nos vies, même si, pour la plupart, nous ne nous rendons presque pas compte de leur existence. Leurs impacts peuvent parfois être tout aussi invisibles, mais ils sont en lien avec toutes nos luttes pour un monde plus juste. L’accès à ces technologies est inégal et la balance penche de plus en plus en faveur de puissantes institutions, telles que les Forces armées, la police et les entreprises. Seuls quelques agents privés ont la capacité informatique suffisante pour exécuter les modèles d’IA les plus robustes, c’est pourquoi même les universités comptent sur eux pour mener leurs recherches. Quant aux données, nous les produisons tous les jours, parfois consciemment, parfois simplement en gardant nos smartphones avec nous, tout le temps, sans même les utiliser.
Comment ces données sont-elles utilisées de manière pernicieuse pour nous et nos communautés ? Comment intensifient-elles les systèmes d’oppression ?
Ce qui a grandement influencé mes recherches sur cette question, c’est l’endroit où je vis (Île de la Tortue, Canada, Québec). Avec cela, je cherche à contribuer à notre défi collectif de partager et d’apprendre de nos expériences et de nos analyses dans différentes parties du monde.
Il y a quelques années, les journaux mettaient à la une le scandale Facebook-Cambridge Analytica, qui faisait état de l’utilisation des données pour influencer les votes et les élections au Royaume-Uni et aux États-Unis. En général, nous ne prenons connaissance de ce genre de faits que grâce aux whistleblowers [1], parce qu’il y a un manque total de transparence autour des algorithmes et des données qui y sont insérées, ce qui rend difficile la compréhension de leur impact. Quelques exemples nous aident à comprendre comment ces technologies et la façon dont elles sont déployées modifient les méthodes de prise de décision, aggravent les conditions de travail, intensifient les inégalités et l’oppression et comment elles nuisent à l’environnement.
Les systèmes de prise de décision automatisée [automated decision making – ADM] utilisent des données et des algorithmes pour prendre des décisions en lieu et place des humains. Ils changent non seulement la façon dont les décisions sont prises, mais aussi où et par qui. Dans certains cas, ils déplacent le processus de prise de décision de l’espace public vers des espaces privés, ou encore ils mettent effectivement le contrôle de l’espace public entre les mains d’entreprises privées.
Certaines assurances ont mis en œuvre des technologies d’ADM et d’IA pour déterminer la légitimité des avis de sinistre. Selon elles, c’est un moyen plus efficace et économique de prendre ces décisions. Mais bien souvent, les informations sur les données utilisées et sur les critères appliqués à ces déterminations ne sont pas mises à la disposition du public parce qu’elles sont considérées comme des secrets commerciaux de l’entreprise.
Dans certains cas, les assurances utilisent même des données pour prédire les risques et calculer les tarifs en fonction des comportements attendus, ce qui n’est qu’une nouvelle façon d’ébranler le principe de solidarité, qui constitue la base de l’assurance collective, et d’accentuer les principes néolibéraux et individualistes. En outre, ces modèles utilisent des données du passé pour prédire les résultats futurs, ce qui les rend intrinsèquement conservateurs et prédisposés à reproduire ou même à intensifier les formes de discrimination subies dans le passé. Bien qu’ils n’utilisent pas directement la race comme donnée identifiable, l’utilisation d’indicateurs tels que les codes postaux a souvent le même but, et ces modèles d’IA ont tendance à discriminer les communautés racisées [2].
Non seulement les entreprises privées, mais aussi les gouvernements comptent sur les systèmes d’IA pour fournir des services plus efficaces et détecter la fraude, ce qui est généralement synonyme de réduction des dépenses. Le Chili fait partie des pays qui ont lancé un programme d’utilisation de l’IA pour gérer les soins de santé, réduire les temps d’attente et prendre des décisions concernant les traitements. Les détracteurs du programme craignent que le système ne cause des préjudices en perpétuant des préjugés fondés sur la race, l’origine ethnique ou le pays d’origine et le genre.
L’Argentine a développé un modèle en collaboration avec Microsoft pour prévenir le décrochage scolaire et la grossesse chez les adolescentes. Sur la base d’informations telles que le quartier, l’origine ethnique, le pays d’origine ou l’approvisionnement en eau chauffée, un algorithme prédit quelles filles sont les plus susceptibles de tomber enceintes, et à partir de cela, le gouvernement dirige les services. Mais en fait, le gouvernement utilise cette technologie afin de ne pas avoir à mettre en œuvre une éducation sexuelle complète, qui, soit dit en passant, n’entre pas dans les calculs du modèle de prédiction de la grossesse à l’adolescence.
Avec le label « Villes intelligentes » [Smart Cities], les gouvernements municipaux remettent des quartiers entiers à des entreprises privées pour des expériences autour des technologies. Sidewalk Labs, une filiale d’Alphabet (la société propriétaire de Google), souhaitait développer un quartier à Toronto, au Canada, et collecter de grandes quantités de données sur les résident·e·s pour, entre autres, prédire leurs déplacements afin de réguler le trafic. La société avait même l’intention de percevoir ses propres impôts et de contrôler certains services publics. Sans les militant·e·s qui se sont mobilisé·e·s contre ce projet, le gouvernement aurait tout simplement cédé l’espace public à l’une des plus grandes et des plus puissantes entreprises privées du monde.
Mettre le pouvoir de décision sur l’espace public entre les mains d’entreprises privées n’est pas le seul problème des initiatives telles que les « Villes intelligentes ». Un exemple venant de l’Inde montre que ces entreprises privées ont également tendance à créer des mécanismes de surveillance à grande échelle. La police de la ville de Lucknow a récemment annoncé un plan visant à utiliser des caméras et une technologie de reconnaissance faciale (FRT) pour identifier les expressions de souffrance sur le visage des femmes. Sous prétexte de lutter contre la violence à l’égard des femmes, plusieurs villes indiennes ont dépensé des sommes exorbitantes pour mettre en place des systèmes de surveillance, argent qui aurait pu être investi dans des projets communautaires de lutte contre la violence de genre.
Plutôt que de s’attaquer à la racine du problème, le gouvernement perpétue les normes patriarcales en créant des régimes de surveillance. En outre, la technologie de reconnaissance faciale a déjà montré avoir beaucoup moins de précision pour ceux qui n’appartiennent pas au groupe des hommes blancs cis, et la technologie de détection des émotions est considéré comme très défaillante.
L’IA entraîne une surveillance accrue dans de nombreux domaines de la vie dans de nombreux pays mais surtout dans les démocraties libérales : du logiciel de suivi qui surveille les étudiant·e·s lors d’examens en ligne à ce que l’on appelle la « police prédictive », qui tend à renforcer la présence policière au sein des communautés déjà marginalisées. Les caméras corporelles en sont un bon exemple : elles ont été annoncées comme solution contre la brutalité policière et servent d’argument contre les allégations de réduction d’argent ou même d’abolition de la police.
D’un point de vue féministe, il convient de prêter attention au fait que les technologies de surveillance n’existent pas seulement dans l’espace public, mais jouent également un rôle croissant dans la violence domestique.
Les autorités chargées de l’application de la loi créent également des « bases de données sur les gangs » qui génèrent davantage de discrimination envers les communautés racisées [3]. Il est de notoriété publique que des entreprises privées dédiées à l’exploration de données telles que Palantir ou Amazon soutiennent les agences d’immigration dans l’expulsion des immigrant·e·s sans papiers. L’IA est utilisée pour prédire les crimes qui se produiront et qui les commettra. Parce que ces modèles sont basés sur des données de crimes passés et d’antécédents criminels, ils sont extrêmement tendancieux envers les communautés racisées. En outre, ils peuvent en effet contribuer au crime plutôt que de l’empêcher.
Les systèmes de sécurité aéroportuaires sont un autre exemple de la façon dont ces systèmes de surveillance avec IA soutiennent la suprématie blanche et le patriarcat hétéronormatif. Les femmes noires, les hommes sikhs [4] et les femmes musulmanes sont plus souvent soumis à des investigations invasives. Et comme ces modèles et ces technologies imposent la cisnormativité, les personnes trans et non binaires sont identifiées comme divergentes et sont fouillées.
Les technologies de surveillance ne sont pas seulement utilisées par la police, les agences d’immigration et l’armée. Il est de plus en plus courant que les entreprises surveillent leurs employé·e·s grâce à l’IA. Comme dans tout autre contexte, les technologies de surveillance sur le lieu de travail renforcent la discrimination et les disparités de pouvoir existantes.
Ce dédoublement peut avoir commencé au sein de grandes entreprises de plateforme et de big data [5], mais comme il s’agit du secteur qui a la plus grande expansion, le capitalisme de données n’impose pas de nouvelles conditions de travail uniquement aux travailleuses et travailleurs du secteur : sa portée est encore plus grande. L’exemple le plus connu de ce type de surveillance est probablement Amazon, où les employé·e·s sont constamment surveillé·e·s et si leurs taux de productivité restent continuellement en dessous des attentes, ils sont automatiquement renvoyé·e·s.
D’autres exemples incluent le secteur du commerce de détail d’habillement, où des tâches telles que l’organisation de la marchandise dans les vitrines sont aujourd’hui décidées par des algorithmes, privant les employé·e·s de leur autonomie. Les personnes Noires et racisées, en particulier les femmes, sont plus susceptibles d’occuper des emplois précaires ou à faible rémunération, et sont donc généralement les personnes les plus touchées par cette déshumanisation du travail. Les entreprises plateformes comme Amazon ou Uber, avec le soutien d’énormes quantités de capital appliqué, non seulement changent ses secteurs, mais parviennent à imposer des modifications dans la législation qui affaiblissent la protection des travailleurs et travailleuses et affectent des économies entières. C’est ce qu’ils ont fait en Californie, affirmant que le changement créerait de meilleures opportunités pour les travailleuses et les travailleurs racisé·e·s. Cependant, une étude récente a conclu que, en fait, ce changement « a légalisé la subordination raciale ».
Nous avons vu jusqu’à présent que l’IA et les algorithmes contribuent aux disparités de pouvoir, déplacent les lieux de prise de décision de l’espace public vers des entreprises privées sans transparence et intensifient les dommages inhérents aux systèmes racistes, capitalistes, hétéropatriarcaux et cisnormatifs. De plus, ces technologies essaient souvent de transmettre l’idée qu’elles sont entièrement automatisées, alors qu’en fait elles s’appuient sur de grandes quantités de main-d’œuvre bon marché. Et lorsqu’elles sont entièrement automatisées, elles sont capables de consommer des quantités absurdes d’énergie, comme le montre le cas de certains modèles de traitement des langues. Mettre ces faits en lumière a coûté l’emploi d’éminents chercheures.
Des stratégies militantes pour résister à ces technologies et/ou donner de la visibilité aux maux qu’elles provoquent
En général, la première étape de ces stratégies consiste à comprendre les dommages qui peuvent en résulter et à documenter où les technologies sont appliquées. Le projet Nos corps de données [Our Data Bodies] a produit le Manuel stratégique pour la défense numérique [Digital Defense Playbook], matériel visant à sensibiliser la population à la façon dont les communautés sont affectées par les technologies axées sur les données.
La plateforme Pas mon IA [Not My AI], par exemple, cartographie des projets tendancieux et nuisibles en Amérique latine. Le groupe Alerte de Militance – notification et information pour les locataires [Organizers Warning Notification and Information for Tenants – OWN-IT!!] construit une base de données à Los Angeles pour soutenir les locataires contre les augmentations de loyer. En réponse à la technologie de police prédictive, les activistes ont créé la Carte de zones à risque de criminalité en col blanc pour prévoir où, aux États-Unis, les crimes financiers sont les plus susceptibles de se produire.
Certaines personnes ont décidé de cesser d’utiliser certains outils, tels que Google Search ou Facebook, refusant ainsi de fournir à ces entreprises encore plus de données. Elles soutiennent que le problème ne vient pas des données individuelles, mais de l’ensemble des données utilisé pour restructurer les environnements qui extraient le plus de nous-mêmes sous forme de données et de main-d’œuvre, et qui deviennent de moins en moins transparents.
Une autre stratégie est la dissimulation ou le masquage des données : les activistes ont créé des plugins qui cliquent au hasard sur les annonces Google ou aiment au hasard les pages Facebook pour tromper les algorithmes. Il existe également des moyens d’empêcher l’IA de reconnaissance faciale sur des photographies et de les utiliser pour entraîner des algorithmes.
Une approche complètement différente est présentée par l’Oracle des technologies transféministes [The Oracle for Transfeminist Technologies], un jeu de cartes qui invite à exercer l’imaginaire collectif pour une technologie différente.
Les peuples autochtones vivant sur l’île de la Tortue (États-Unis et Canada) ont été confronté à la surveillance et la collecte de grandes quantités de données à leur sujet et qui sont utilisées contre eux. À partir de cette expérience, ils ont créé des principes pour la souveraineté des peuples autochtones : principes liés à la propriété, à la collecte, à l’accès et à la possession de données afin d’éviter d’autres dommages et permettre aux Premières Nations, aux Métis et aux Inuits [6] de profiter de leurs propres données.
L’IA, les algorithmes et les technologies basées sur les données ne sont pas des questions qui posent problème uniquement pour la vie privée. Cela va bien au-delà. Dans l’organisation de nos luttes, nous utilisons probablement des technologies qui produisent des données pour les entreprises au bénéfice du capitalisme de surveillance. Nous devons prendre conscience des implications, des dommages que ces technologies causent et comment y résister pour que nos mobilisations soient couronnées de succès.
Mich/Michèle Spieler vit à Montréal / Tiohtià:ke / Mooniyaang et se consacre depuis longtemps à répondre à la question de savoir comment la technologie contribue au renforcement ou à l’élimination de l’oppression. Ael travaille dans la coordination des technologies communautaires au Centre des organismes communautaires [Centre for Community Organizations – COCo] et a participé à plusieurs projets de médias féministes. Ael a milité pendent de nombreuses années au sein de la Marche mondiale des femmes.
[1] Whistleblowers : personnes qui dénoncent des irrégularités ou des crimes commis par des organisations et des entreprises, avec une grande quantité de preuves matérielles, généralement acquises dans l’exercice du travail dans les institutions elles-mêmes. Dans le cas du scandale de la fuite de millions de données d’utilisateurs de Facebook, la première plainte a été déposée par Christopher Wylie, un ancien employé de Cambridge Analytica. Les whistleblowers sont souvent victimes de persécution pour les accusations qu’ils rendent publiques.
[2] Dans le texte original, « communities of color ». Ce terme fait référence aux communautés qui ont été soumises à des processus historiques de racisme et d’exclusion, y compris les populations autochtones, noires, latino-américaines et asiatiques. Dans ce texte, le terme « personnes racisées » sera également adopté comme traduction de « people of color ».
[3] Dans le texte original, « racialized communities ». Le terme désigne les communautés qui résistent à la violence, à l’exploitation et à la discrimination fondée sur la race, telles que les communautés noires, autochtones, latinos, asiatiques, des régions telles que le Maghreb et le Moyen-Orient, entre autres.
[4] Disciples du Sikhisme, religion qui a émergé au 15ème siècle au Pendjab en Inde, souvent dépeinte comme le résultat du syncrétisme entre les éléments de l’hindouisme, de l’islamisme et du soufisme.
[5] « Big data » : ce terme désigne les technologies développées pour gérer des volumes de données trop importants pour être traités par des systèmes traditionnels.
[6] Les Premières Nations (aussi appelées First Nations), les Métis et les Inuits sont les trois peuples autochtones reconnus par la Constitution canadienne. Dans le passé, ils étaient appelés “Indiens”, “Esquimaux” et « Aborigènes », termes qui sont aujourd’hui tombés en désuétude et sont considérés comme péjoratifs.
