Dados, algoritmos e inteligência artificial (IA) são assuntos com presença constante em muitas regiões do mundo em discussões que vão desde tecnologias futuristas, como carros autônomos, a aplicativos do dia a dia que afetam nossas comunidades de forma negativa. Como ativistas feministas, anticapitalistas e antirracistas, precisamos entender as implicações e as políticas dessas tecnologias, pois em muitos casos elas acentuam as desigualdades relativas a riqueza e poder e replicam a discriminação racial e de gênero.
Os dados, os algoritmos e a inteligência artificial ocupam cada vez mais espaço em nossas vidas, ainda que, na maior parte das vezes, quase não nos damos conta de sua existência. Seus impactos, às vezes, podem ser igualmente invisíveis, mas se relacionam a todas as nossas lutas por um mundo mais justo. O acesso a essas tecnologias é desigual e a balança pende cada vez mais para instituições poderosas, como as Forças Armadas, a polícia e empresas. Apenas poucos agentes privados têm capacidade computacional para rodar os modelos de IA mais robustos, e é por isso que até mesmo universidades dependem deles para conduzir suas pesquisas. Quanto aos dados, nós os produzimos todos os dias, algumas vezes de forma consciente, outras, simplesmente ao mantermos nossos smartphones conosco o tempo todo sem nem mesmo usá-los.
Como esses dados estão sendo usados de formas prejudiciais a nós e a nossas comunidades? De que forma eles intensificam os sistemas de opressão?
O lugar onde moro (Turtle Island, Canadá, Quebec) influencia muito minhas reflexões sobre essa questão. Desse lugar, busco contribuir para nosso desafio coletivo de compartilhar e aprender a partir das nossas experiências e análises em diferentes partes do mundo.
Há alguns anos, o escândalo Facebook-Cambridge Analytica tomou conta das manchetes. Dados foram utilizados para influenciar votos e as eleições no Reino Unido e nos Estados Unidos (EUA). Em geral, só ficamos sabendo dessas coisas graças a whistleblowers [1], pois existe uma total falta de transparência em torno dos algoritmos e dos dados inseridos neles, o que dificulta o entendimento do seu impacto. Alguns exemplos nos ajudam a entender como essas tecnologias e a forma como são implantadas mudam métodos de tomada de decisões, pioram as condições de trabalho, intensificam a desigualdade e a opressão e ainda prejudicam o meio ambiente.
Sistemas de tomada de decisão automatizada (automated decision making – ADM) usam dados e algoritmos para tomar decisões no lugar de seres humanos. Eles estão mudando não só a forma como as decisões são tomadas, mas também onde e por quem. Em alguns casos, eles deslocam o processo de tomada de decisão do ambiente público para espaços privados, ou efetivamente colocam o controle sobre o espaço público nas mãos de empresas privadas.
Algumas seguradoras implementaram tecnologias de ADM e IA para determinar a legitimidade dos avisos de sinistro. Segundo elas, trata-se de uma forma mais eficiente e econômica de tomar essas decisões. Mas, com frequência, informações sobre quais dados são utilizados e quais critérios estão sendo aplicados a essas determinações não são disponibilizadas ao público por serem consideradas segredos comerciais da empresa.
Em alguns casos, as seguradoras chegam a usar dados para prever riscos e calcular taxas com base em comportamentos esperados, o que é só uma nova forma de abalar o princípio da solidariedade, que constitui a base do seguro coletivo, e acentuar os princípios neoliberais e individualistas. Além disso, esses modelos usam dados do passado para prever resultados futuros, o que os torna intrinsecamente conservadores e predispostos a reproduzir ou mesmo intensificar formas de discriminação sofridas no passado. Embora não utilizem a raça diretamente como um dado identificável, indicadores como códigos postais geralmente servem ao mesmo fim, e esses modelos de IA tendem a discriminar comunidades não brancas [2].
Não somente empresas privadas, mas também governos contam com sistemas de IA para prestar serviços de forma mais eficiente e detectar fraudes — o que normalmente é sinônimo de corte de gastos. O Chile está entre os países que iniciaram um programa de uso de IA para gerenciar a assistência médica, reduzir tempos de espera e tomar decisões sobre tratamentos. Críticos desse programa temem que o sistema cause danos por perpetuar preconceitos com base em raça, etnia ou país de origem e gênero.
A Argentina desenvolveu um modelo em colaboração com a Microsoft para evitar o abandono escolar e a gravidez na adolescência. Baseando-se em informações como bairro, etnia, país de origem ou abastecimento de água aquecida, um algoritmo prediz quais meninas têm mais probabilidade de engravidar e, a partir disso, o governo direciona os serviços. Mas, na verdade, o governo está usando essa tecnologia para não ter que implementar uma educação sexual abrangente, o que, a propósito, não entra nos cálculos do modelo para prever a gravidez em adolescentes.
Com o rótulo de “Cidades Inteligentes” (Smart Cities), governos municipais estão entregando bairros inteiros a empresas privadas para experimentos com tecnologias. A Sidewalk Labs, uma subsidiária da Alphabet (a empresa proprietária do Google), queria desenvolver um bairro em Toronto, Canadá, e coletar grandes quantidades de dados sobre os moradores para, entre outras coisas, prever seus deslocamentos a fim de regular o tráfego. A empresa tinha planos de cobrar até mesmo seus próprios impostos e controlar alguns serviços públicos. Se não fosse por ativistas que se mobilizaram contra esse projeto, o governo teria simplesmente entregado o espaço público a uma das maiores e mais poderosas empresas privadas do mundo.
Colocar o poder de tomada de decisão sobre o espaço público nas mãos de empresas privadas não é o único problema de iniciativas como as “Cidades Inteligentes”. Um exemplo da Índia mostra que elas também têm a tendência de criar mecanismos de vigilância em grande escala. A polícia da cidade de Lucknow anunciou recentemente um plano para usar câmeras e tecnologia de reconhecimento facial (FRT) para identificar expressões de sofrimento no rosto de mulheres. Sob o pretexto de combater a violência contra mulheres, várias cidades indianas despenderam quantias exorbitantes para implementar sistemas de vigilância, dinheiro que poderia ter sido investido em projetos de combate à violência de gênero liderados por comunidades.
Ao invés de abordar a raiz do problema, o governo perpetua normas patriarcais ao criar regimes de vigilância. Além disso, a tecnologia de reconhecimento facial já mostrou ter significativamente menos precisão para quem não pertence ao grupo de homens cis brancos, e a tecnologia de detecção de emoções é considerada altamente falha.
A IA está provocando um aumento da vigilância em diversas áreas da vida em muitos países, mas principalmente em democracias liberais: de software de monitoramento que supervisionam estudantes durante provas online até o que é conhecido como “policiamento inteligente”, que tende a intensificar o policiamento de comunidades já marginalizadas. Um bom exemplo disso são as câmeras corporais, que vêm sendo anunciadas como soluções contra a brutalidade da polícia e servem como argumento contra as reivindicações de corte de verbas ou mesmo de extinção da polícia.
De uma perspectiva feminista, deve-se atentar ao fato de que as tecnologias de vigilância não existem somente no espaço público, mas também desempenham um papel cada vez maior na violência doméstica.
Autoridades policiais também criam “bancos de dados de gangues” que geram mais discriminação de comunidades racializadas[3]. É de conhecimento geral que empresas privadas dedicadas à mineração de dados como a Palantir ou a Amazon apoiam agências de imigração na deportação de imigrantes sem documentos. A IA está sendo usada para prever crimes que vão ocorrer e quem vai cometê-los. Como esses modelos se baseiam em dados de crimes passados e antecedentes criminais, eles são altamente tendenciosos com relação às comunidades não brancas . Além disso, eles podem de fato contribuir para o crime ao invés de preveni-lo.
Outro exemplo de como esses sistemas de vigilância com IA sustentam a supremacia branca e o patriarcado heterossexual são os sistemas de segurança em aeroportos. Mulheres negras, homens siques[4] e mulheres muçulmanas são submetidos a averiguações invasivas com mais frequência. E como esses modelos e tecnologias impõem a cisnormatividade, pessoas trans e não binárias são identificadas como divergentes e são revistadas.
As tecnologias de vigilância não são usadas somente pela polícia, agências de imigração e militares. É cada vez mais comum empresas monitorarem seus funcionários por meio da IA. Como em qualquer outro contexto, as tecnologias de vigilância no local de trabalho reforçam a discriminação e as disparidades de poder já existentes.
Esse desdobramento pode ter começado dentro de grandes empresas de plataforma e big data[5], mas, sendo o setor em maior expansão, o capitalismo de dados impõe novas condições de trabalho não apenas sobre trabalhadores e trabalhadoras do setor — seu alcance é ainda maior. Provavelmente, o exemplo mais conhecido desse tipo de vigilância é a Amazon, onde os funcionários são constantemente monitorados e, se suas taxas de produtividade ficam continuamente abaixo do esperado, eles são automaticamente demitidos.
Outros exemplos incluem o setor varejista de vestuário, onde tarefas como a organização da mercadoria para demonstração são hoje decididas por algoritmos, privando os funcionários de sua autonomia. Pessoas negras e outras pessoas não brancas, principalmente mulheres, têm maior probabilidade de ocupar postos de trabalho sem estabilidade e mal pagos e, por isso, normalmente são as pessoas mais afetadas por essa desumanização do trabalho. Empresas de plataforma como a Amazon ou a Uber, com o suporte de quantias enormes de capital investido, não apenas mudam seus setores, mas conseguem impor mudanças de legislação que enfraquecem a proteção aos trabalhadores e afetam economias inteiras. Foi o que elas fizeram na Califórnia, alegando que a mudança criaria melhores oportunidades para trabalhadoras e trabalhadores não brancos. No entanto, um estudo recente concluiu que, na verdade, essa mudança “legalizou a subordinação racial”.
Vimos até agora que a IA e os algoritmos contribuem para as disparidades de poder, transfere os locais de tomada de decisão do espaço público para empresas privadas sem transparência e intensificam os danos inerentes aos sistemas racistas, capitalistas, heteropatriarcais e cisnormativos. Além disso, essas tecnologias frequentemente tentam passar a ideia de que são totalmente automatizadas, quando, na verdade, se apoiam sobre grandes quantidades de mão de obra barata. E, quando totalmente automatizadas, são capazes de consumir quantidades absurdas de energia, como demonstrado no caso de alguns modelos de processamento de linguagem. Trazer esses fatos à luz custou o emprego de pesquisadores proeminentes.
Estratégias de ativistas para resistir a essas tecnologias e/ou dar visibilidade aos males causados por elas
Em geral, o primeiro passo dessas estratégias é entender os danos que podem ser provocados e documentar onde as tecnologias estão sendo aplicadas. O projeto Nossos Corpos de Dados [Our Data Bodies] produziu o Manual estratégico para defesa digital [Digital Defense Playbook], um material voltado para a conscientização popular sobre como as comunidades são afetadas por tecnologias baseadas em dados.
A plataforma Não é Minha IA [Not My AI], por exemplo, vem mapeando projetos tendenciosos e prejudiciais na América Latina. O grupo Alerta da Militância – Notificação e Informação para Inquilinos [Organizers Warning Notification and Information for Tenants – OWN-IT!] construiu um banco de dados em Los Angeles para apoiar inquilinos contra aumentos de aluguel. Em resposta à tecnologia de policiamento preditivo, ativistas criaram o Mapa de zonas de risco de crimes de colarinho branco para antecipar onde nos EUA é mais provável ocorrerem crimes financeiros.
Algumas pessoas decidiram parar de usar certas ferramentas, como a busca do Google ou o Facebook, recusando-se, assim, a fornecer a essas empresas ainda mais dados. Elas argumentam que o problema não são os dados individuais, mas o conjunto de dados utilizado para reestruturar os ambientes que extraem mais de nós na forma de dados e mão de obra, e que estão se tornando cada vez menos transparentes.
Outra estratégia é a ofuscação ou mascaramento de dados: ativistas criaram plugins que clicam aleatoriamente em anúncios do Google ou curtem de forma aleatória páginas do Facebook para enganar os algoritmos. Também há formas de impedir que a IA reconheça rostos em fotografias e use-as para treinar algoritmos.
Uma abordagem totalmente diferente é apresentada pelo Oráculo das Tecnologias Transfeministas (The Oracle for Transfeminist Technologies), um baralho que convida ao exercício da imaginação coletiva para uma tecnologia diferente.
Pessoas indígenas que vivem na Turtle Island (EUA e Canadá) já estão bem familiarizadas com a vigilância e com a coleta de grandes volumes de dados sobre elas que são usados contra elas. A partir dessa experiência, elas criaram abordagens de soberania de dados dos povos indígenas: princípios relacionados à propriedade, coleta, acesso e posse de dados a fim de evitar mais danos e permitir que as nações originárias, os métis e os inuítes[6] se beneficiem de seus próprios dados.
A IA, os algoritmos e as tecnologias baseadas em dados não são questões problemáticas somente com relação à privacidade. Muito mais está em jogo. Ao organizarmos nossas lutas, muito provavelmente usamos tecnologias que produzem dados para empresas que se beneficiam do capitalismo de dados. Precisamos ter consciência das implicações disso, dos danos que essas tecnologias causam e saber como resistir a elas para que nossas mobilizações sejam bem-sucedidas.
Mich/Michèle Spieler vive em Montréal/Tiohtià:ke/Mooniyaang e, há muito tempo, dedica-se a responder à questão de como a tecnologia contribui para fortalecer ou se pode eliminar a opressão. Trabalha na coordenação de Tecnologia Comunitária no Centro de Organizações Comunitárias (Centre for Community Organizations – COCo) e tem se envolvido em diversos projetos de mídia feminista. Integra há muitos anos a Marcha Mundial das Mulheres.
[1] Whistleblowers: pessoas que denunciam irregularidades ou crimes cometidos por organizações e empresas, com grande quantidade de provas materiais, em geral adquiridas no exercício do trabalho nas próprias instituições. No caso do escândalo do vazamento de milhões de dados de usuários do Facebook, a primeira denúncia foi feita por Christopher Wylie, ex-funcionário da Cambridge Analytica. Muitas vezes whistleblowers sofrem perseguição pelas denúncias que levam a público.
[2] No original, communities of color. Refere-se a comunidades que foram submetidas a processos históricos de racismo e exclusão, incluindo populações indígenas, negras, latino-americanas e asiáticas. Neste texto, o termo “pessoas não brancas” será adotado também como tradução de people of color.
[3] No original, “racialized communities“. O termo se refere a comunidades que resistem à violência, exploração e discriminação por motivos raciais, como pessoas negras, indígenas, latinas, asiáticas, de comunidades originárias, de regiões como Magrebe, Oriente Médio, entre outras.
[4] Praticantes do siquismo, religião surgida no século 15 no Punjab, muitas vezes retratada como resultado do sincretismo entre elementos do hinduísmo, do islamismo e sufismo.
[5] “Big data” é como são conhecidas as tecnologias desenvolvidas para administrar volumes de dados grandes demais para serem processados pelos sistemas tradicionais.
[6] As nações originárias (também chamadas First Nations, ou Primeiras Nações), os métis e os inuites (também chamados de inuit) são os três povos indígenas reconhecidos pela Constituição canadense. No passado, eram chamados de “índios”, “esquimós” e “aborígenes”, termos que hoje caíram em desuso e são considerados pejorativos.
