Uma pessoa negra que é automaticamente reconhecida como gorila em uma plataforma digital para fotos. Em uma mídia social, o recorte automático de uma foto fora do padrão de visualização privilegia rostos de pessoas brancas. Em outra rede, uma mulher negra tem seu alcance de postagens aumentado em 6.000% ao publicar mulheres brancas.
Esses exemplos não são pontuais e vêm sendo alvo de críticas e reflexões de usuários da internet e pesquisadores. Como modelos matemáticos, os chamados algoritmos, poderiam ser racistas? O pesquisador Tarcizio Silva, doutorando em Ciências Humanas e Sociais na Universidade Federal do ABC (UFABC), explica que é necessário se perguntar como esses sistemas são usados de forma a permitir “a manutenção, intensificação e ocultação do racismo estrutural”. Silva desenvolveu uma linha do tempo que demonstra casos, dados e reações.
“A solução não está somente na transparência de códigos, mas sim na apropriação e crítica social da tecnologia”, diz. Como os sistemas são alimentados, quais dados são aceitos, quem cria as tecnologias e quem é incluído ou excluído na multiplicação de dispositivos automatizados são algumas das questões levantadas por Silva. “O racismo algorítmico é uma tecnologização e automatização do racismo estrutural”, avalia.
Idealizadores do blog Tecnocríticas, Renata Gusmão, Gabriela Guerra e Felipe Martins atuam na área de tecnologia da informação (TI) e usam a internet para discutir, entre outros temas, a ausência de neutralidade da tecnologia. “Quem pensa esses algoritmos são pessoas dentro de uma sociedade machista, racista, desigual. Logo a lógica por trás de uma solução carrega esses mesmos valores. Não estão considerando a diversidade dos usuários finais e acabam reforçando desigualdades e discriminações do mundo ‘real’”, apontam em entrevista por e-mail à
Agência Brasil.
#AlgoritmoRacista
Um dos casos de maior repercussão recentemente ocorreu no Twitter, com o recorte automático de fotos que privilegiavam rostos brancos. Milhares de usuários usaram a hashtag #AlgoritmoRacista, na própria rede, para questionar a automatização que expunha o racismo. Silva explica que essa descoberta mostrou o uso de algoritmos baseados em redes neurais, cuja técnica encontra regiões de interesse sobre a imagem a partir de dados levantados por rastreamento de olhar.
“Um acúmulo de dados e pesquisas enviesadas que privilegiavam a estética branca resultou no sistema que o Twitter usava e não conseguiu sequer explicar corretamente onde estava a origem da questão”, disse o pesquisador. Na época, a plataforma se comprometeu a revisar o mecanismo. “Devíamos ter feito um trabalho melhor ao prever essa possibilidade quando estávamos projetando e construindo este produto”.
“É assim que o racismo algorítmico funciona, através do acúmulo de uso de tecnologias pouco explicáveis e pouco ajustadas que a princípio otimizam algum aspecto técnico, mas na verdade mutilam a experiência dos usuários”, acrescenta o pesquisador.
Reconhecimento facial
Fora das redes sociais, os danos do racismo algorítmico podem ser ainda maiores. Dados levantados pela Rede de Observatórios de Segurança mostram que, de março a outubro de 2019, 151 pessoas foram presas a partir da tecnologia e reconhecimento facial em quatro estados (Bahia, Rio de Janeiro, Santa Catarina e Paraíba). Nos registros que havia informações sobre raça e cor, ou quando havia imagens das pessoas abordadas (42 casos), observou-se que 90,5% eram negras. “As principais motivações para as abordagens e prisões foram tráfico de drogas e roubo”, aponta o relatório.
Silva lembra que, em países da Europa e regiões dos Estados Unidos, essa tecnologia tem sido alvo de questionamentos ou banimento. “Os motivos são vários, de imprecisão, a baixo custo-benefício ou a promoção de vigilantismo e violência estatal”, explica. Ele aponta que o sistema é impreciso para identificar faces de minorias. “Mas não importa um futuro onde o reconhecimento facial seja mais preciso: é uma tecnologia necessariamente racista em países onde seletividade penal e encarceramento em massa são o modus operandi do Estado”.
Saídas
Para os integrantes do Tecnocríticas, combater essa expressão discriminatória dos algoritmos passa por garantir mais diversidade na área de TI. “Seja garantindo que times responsáveis por pensar essas soluções tenham diversidade racial e de gênero, por exemplo, seja treinando robôs com dados diversos. Uma outra questão, também muito importante, é que a indústria de tecnologia responde às dinâmicas econômicas, então nem sempre essas soluções são as que realmente resolvem os problemas das pessoas, mas sim, as que geram lucro”, avaliam.
Silva acredita que o primeiro passo para a proteção é a “superação de qualquer presunção de neutralidade das tecnologias”. Ele aponta que tecnologias digitais emergentes, como o reconhecimento facial para fins policiais ou criação de escore de risco para planos privados de saúde já “nascem como derrotas humanitárias”. “Se efetivamente nos comprometermos com princípios do valor da vida humana, chegaremos à conclusão de que algumas tecnologias algorítmicas não deveriam sequer existir.”
