Timnit Gebru nunca pensou que um artigo científico lhe causaria tantos problemas. Em 2020, como colíder da equipe de ética da IA do Google, Gebru se associou à Emily Bender, uma professora de linguística na Universidade de Washington, e as duas decidiram colaborar na investigação sobre a direção preocupante que a inteligência artificial estava tomando. Gebru queria identificar os riscos apresentados por grandes modelos de linguagem, uma das descobertas recentes mais impressionantes na pesquisa de IA. Os modelos são algoritmos treinados em quantidades surpreendentes de texto. Sob as condições certas, eles podem compor o que parecem passagens de prosa convincentes.
Por alguns anos, as empresas de tecnologia correram para construir versões maiores e integrá-las em produtos de consumo. O Google, que inventou a técnica, já estava usando uma para melhorar a relevância dos resultados de busca. A OpenAI anunciou o maior deles, chamado GPT-3, em junho de 2020 e o licenciou exclusivamente para a Microsoft alguns meses depois.
Gebru estava preocupada com a rapidez com que a tecnologia estava sendo implantada. No artigo que acabou escrevendo com Bender e cinco outras pessoas, ela detalhou os possíveis perigos. Os modelos eram extremamente caros de criar — tanto no âmbito ambiental (eles exigem grandes quantidades de poder computacional) quanto financeiramente; com frequência, eram treinados no dialeto tóxico e abusivo da Internet; e eles viriam a dominar a pesquisa em linguagem de IA substituindo outras alternativas promissoras.
Assim como outras técnicas de IA existentes, os modelos não entendem realmente a linguagem humana. Mas, como podem manipulá-las para recuperar informações baseadas em texto para os usuários ou gerar conversas naturais, eles podem ser incluídos em produtos e serviços que rendem muito dinheiro às empresas de tecnologia.
Em novembro daquele ano, Gebru submeteu o artigo a uma conferência. Logo depois, os executivos do Google pediram que ela se retratasse e, quando ela recusou, eles a demitiram. Dois meses depois, eles também demitiram sua co-autora Margaret Mitchell, a outra líder da equipe ética de IA.
O desmantelamento dessa equipe gerou uma das maiores controvérsias no mundo da IA na memória recente. Os defensores do Google argumentaram que a empresa tem o direito de supervisionar seus próprios pesquisadores. Mas para muitos outros, solidificou temores sobre o grau de controle que os gigantes da tecnologia agora têm sobre o campo. A Big Tech é agora o principal empregador e financiador de pesquisadores de IA incluindo, de forma um tanto irônica, muitos daqueles que avaliam seus impactos sociais.
Entre as empresas mais ricas e poderosas do mundo, Google, Facebook, Amazon, Microsoft e Apple tornaram a IA parte central de seus negócios. Avanços na última década, particularmente em uma técnica de IA chamada deep learning, permitiram que elas monitorassem o comportamento dos usuários; recomendassem notícias, informações e produtos para eles; e, acima de tudo, segmentasse-os com anúncios. No ano passado, o aparato de publicidade do Google gerou receita superior a US$ 140 bilhões. O Facebook gerou US$ 84 bilhões.
As empresas investiram pesadamente na tecnologia que lhes trouxe tanta riqueza. A empresa matriz do Google, a Alphabet, adquiriu o laboratório de inteligência artificial DeepMind, com sede em Londres, por US$ 600 milhões em 2014 e gasta centenas de milhões por ano para apoiar suas pesquisas. A Microsoft assinou um acordo de US$ 1 bilhão com a OpenAI em 2019 pelos direitos de comercialização de seus algoritmos.
Ao mesmo tempo, os gigantes da tecnologia tornaram-se grandes investidores em pesquisas de IA feitas em universidades, influenciando fortemente suas prioridades científicas. Com o passar dos anos, cada vez mais cientistas ambiciosos passaram a trabalhar para gigantes da tecnologia em tempo integral ou adotaram uma dupla afiliação. De 2018 a 2019, 58% dos artigos mais citados nas duas principais conferências de IA tiveram pelo menos um autor afiliado a um gigante da tecnologia, em comparação com apenas 11% uma década antes, de acordo com um estudo realizado por pesquisadores da Radical AI Network, um grupo que busca desafiar a dinâmica de poder em IA.
O problema é que a agenda corporativa para IA se concentrou em técnicas com potencial comercial, ignorando em grande parte as pesquisas que poderiam ajudar a enfrentar desafios como desigualdade econômica e mudanças climáticas. Na verdade, tornou esses desafios piores. O impulso para automatizar tarefas custou empregos e levou ao aumento de atividades entediantes, como limpeza de dados e moderação de conteúdo. O impulso para criar modelos cada vez maiores fez com que o consumo de energia da IA explodisse. A deep learning também criou uma cultura na qual nossos dados são constantemente copiados, muitas vezes sem consentimento, para treinar produtos como sistemas de reconhecimento facial. E os algoritmos de recomendação exacerbaram a polarização política, enquanto os grandes modelos de linguagem não conseguiram limpar a desinformação.
É essa situação que Gebru e um movimento crescente de acadêmicos com ideias semelhantes querem mudar. Nos últimos cinco anos, eles procuraram mudar as prioridades do campo de simplesmente enriquecer as empresas de tecnologia, expandindo quem pode participar do desenvolvimento da tecnologia. Seu objetivo não é apenas mitigar os danos causados pelos sistemas existentes, mas também criar uma IA nova, mais equitativa e democrática.
“Um olá da Timnit”
Em dezembro de 2015, Gebru sentou-se para redigir uma carta aberta. Na metade de seu doutorado em Stanford, ela compareceu à conferência Neural Information Processing Systems, o maior encontro anual de pesquisa em IA. Dos mais de 3.700 pesquisadores lá, Gebru contou apenas um punhado de negros.
Outrora uma pequena reunião sobre um assunto de nicho acadêmico, o NeurIPS (como é conhecido agora) estava rapidamente se tornando o maior sucesso anual de empregos em IA. As empresas mais ricas do mundo se reuniram para realizar demonstrações, dar festas extravagantes e preencher cheques gordos para as pessoas mais raras do Vale do Silício: pesquisadores de IA habilidosos.
Naquele ano, Elon Musk chegou para anunciar o empreendimento sem fins lucrativos, a OpenAI. Musk, o então presidente da Y Combinator, Sam Altman, e o cofundador do PayPal, Peter Thiel, investiram US$ 1 bilhão para resolver o que acreditavam ser um problema existencial: a perspectiva de que uma superinteligência pudesse um dia dominar o mundo. A solução deles: construir uma superinteligência ainda melhor. Dos 14 conselheiros ou membros da equipe técnica que ele formou, 11 eram homens brancos.
Enquanto Musk estava sendo celebrizado, Gebru estava lidando com humilhação e assédio. Em uma festa de conferência, um grupo de caras bêbados com camisetas de pesquisa do Google a cercou e a sujeitou a abraços indesejados, um beijo na bochecha e uma foto.
Gebru escreveu uma crítica contundente do que ela havia observado: o espetáculo, a adoração como um culto de celebridades da IA e, acima de tudo, a homogeneidade avassaladora. A cultura desse clube de homens, ela escreveu, já havia expulsado do campo as mulheres talentosas. Também estava levando toda a comunidade a uma concepção perigosamente estreita de inteligência artificial e seu impacto no mundo.
O Google já havia implantado um algoritmo de visão computacional que classificava os negros como gorilas, observou ela. E a sofisticação cada vez maior dos drones não tripulados estava colocando os militares dos EUA no caminho das armas autônomas letais. Mas não houve menção a essas questões no grande plano de Musk para impedir que a IA dominasse o mundo em algum cenário futuro teórico. “Não precisamos projetar o futuro para ver os potenciais efeitos adversos da IA”, escreveu Gebru. “Já está acontecendo”.
Gebru nunca publicou sua reflexão. Mas ela percebeu que algo precisava mudar. Em 28 de janeiro de 2016, ela enviou um e-mail com o assunto “Um olá da Timnit” para cinco outros pesquisadores negros de IA. “Sempre fiquei triste com a falta de pessoas de cor na IA”, escreveu ela. “Mas agora encontrei 5 de vocês :) e pensei que seria legal se começássemos um grupo de negros em IA ou pelo menos nos conhecêssemos”.
O e-mail gerou uma discussão. O fato de ser negra importava para sua pesquisa? Para Gebru, seu trabalho era muito mais um produto de sua identidade; para outros, não. Mas depois de se encontrarem, eles concordaram: se a IA ia desempenhar um papel maior na sociedade, eles precisavam de mais pesquisadores negros. Caso contrário, o campo produziria ciência mais fraca — e suas consequências adversas poderiam ficar muito piores.
Uma agenda voltada para o lucro
Enquanto o Black in AI estava apenas começando a se formar, a IA estava atingindo seu ritmo comercial. Naquele ano de 2016, os gigantes da tecnologia gastaram cerca de US$ 20 a US$ 30 bilhões no desenvolvimento da tecnologia, de acordo com o McKinsey Global Institute.
Aquecido pelo investimento corporativo, o campo se deformou. Outros milhares de pesquisadores começaram a estudar IA, mas a maioria deles queria trabalhar com algoritmos de deep learning, como os que estão por trás de grandes modelos de linguagem. “Como um jovem estudante de doutorado que deseja conseguir um emprego em uma empresa de tecnologia, você percebe que todas as empresas envolvem deep learning”, diz Suresh Venkatasubramanian, professor de ciência da computação que agora atua no Escritório de Política Científica e Tecnológica da Casa Branca. “Então você muda toda a sua pesquisa para a deep learning. E assim, o próximo aluno de doutorado que chega olha em volta e diz: ‘Todo mundo está fazendo um deep learning. Eu provavelmente deveria fazer isso também’”.
Mas a deep learning não é a única técnica na área. Antes de seu boom, havia uma abordagem diferente de IA conhecida como raciocínio simbólico. Enquanto o aprendizado profundo usa grandes quantidades de dados para ensinar algoritmos sobre relacionamentos significativos em informações, o raciocínio simbólico se concentra em codificar explicitamente o conhecimento e a lógica com base na experiência humana.
Alguns pesquisadores agora acreditam que essas técnicas devem ser combinadas. A abordagem híbrida tornaria a IA mais eficiente no uso de dados e energia, e daria a ela o conhecimento e a capacidade de raciocínio de um especialista, bem como a capacidade de se atualizar com novas informações. Mas as empresas têm pouco incentivo para explorar abordagens alternativas quando a maneira mais certa de maximizar seus lucros é construir modelos cada vez maiores.
Em seu artigo, Gebru e Bender aludiram a um custo básico dessa tendência de se ater à deep learning: os sistemas de IA mais avançados de que precisamos não estão sendo desenvolvidos e problemas semelhantes continuam se repetindo. O Facebook, por exemplo, depende muito de grandes modelos de linguagem para moderação automatizada de conteúdo. Mas, sem realmente entender o significado por trás do texto, esses modelos geralmente falham. Eles regularmente retiram postagens inócuas, ao mesmo tempo em que evitam o discurso de ódio e a desinformação.
Os sistemas de reconhecimento facial baseados em IA sofrem do mesmo problema. Eles são treinados em grandes quantidades de dados, mas veem apenas padrões de pixels — eles não têm uma compreensão de conceitos visuais como olhos, bocas e narizes. Isso pode desarmar esses sistemas quando eles são usados em indivíduos com um tom de pele diferente das pessoas cujas quais foram treinados para reconhecer. No entanto, a Amazon e outras empresas venderam esses sistemas para a aplicação da lei. Nos Estados Unidos, eles causaram três casos conhecidos de policiais prendendo a pessoa errada — todos homens negros — no ano passado.
Por anos, muitos na comunidade de IA concordaram amplamente com o papel das Big Techs em moldar o desenvolvimento e o impacto dessas tecnologias. Enquanto alguns expressaram desconforto com a aquisição corporativa, muitos outros acolheram com agrado a grande fonte de financiamento do setor.
Mas, à medida que as deficiências da IA de hoje se tornaram mais evidentes — tanto seu fracasso em resolver os problemas sociais quanto os exemplos crescentes de que ela pode agravá-los — a fé na Big Tech enfraqueceu. A expulsão de Gebru e Mitchell pelo Google estimulou ainda mais a discussão, revelando o quanto as empresas priorizarão o lucro em vez do autopoliciamento.
No rescaldo imediato, mais de 2.600 funcionários do Google e 4.300 outros assinaram uma petição denunciando a demissão de Gebru como “censura de pesquisa sem precedentes”. Meio ano depois, grupos de pesquisa ainda rejeitam o financiamento da empresa, pesquisadores se recusam a participar de suas oficinas de conferências e funcionários estão saindo em protesto.
Ao contrário de cinco anos atrás, quando Gebru começou a levantar essas questões, existe agora um movimento bem estabelecido questionando o que a IA deveria ser e a quem deveria servir. Isso não é uma coincidência. É muito mais um produto da própria iniciativa da Gebru, que começou com o simples ato de convidar mais pesquisadores negros para o campo.
É necessária uma conferência
Em dezembro de 2017, o novo grupo Black in AI sediou seu primeiro workshop no NeurIPS. Enquanto organizava o workshop, Gebru abordou Joy Buolamwini, uma pesquisadora do MIT Media Lab que estava estudando sistemas comerciais de reconhecimento facial para possíveis vieses. Buolamwini começou a testar esses sistemas depois que um deles falhou em detectar seu próprio rosto, a menos que ela colocasse uma máscara branca. Ela apresentou seus resultados preliminares no workshop.
Deborah Raji, então uma pesquisadora de graduação, foi outra participante inicial. Raji ficou chocada com a cultura que ela observara no NeurIPS. O workshop se tornou seu refúgio. “Passar de quatro ou cinco dias disso para um dia inteiro de pessoas que se parecem comigo falando sobre ter sucesso neste espaço — foi um incentivo muito importante para mim”, diz ela.
Buolamwini, Raji e Gebru trabalhariam juntas em dois estudos inovadores sobre sistemas discriminatórios de visão computacional. Buolamwini e Gebru foram coautoras de Gender Shades, que mostrou que os sistemas de reconhecimento facial vendidos pela Microsoft, IBM e a gigante chinesa da tecnologia Megvii tinham taxas de falha notavelmente altas em mulheres negras, apesar do desempenho quase perfeito em homens brancos. Raji e Buolamwini então colaboraram em um acompanhamento chamado Auditoria Actionable, que descobriu o mesmo para o Rekognition da Amazon. Em 2020, a Amazon concordaria com uma moratória de um ano nas vendas policiais de seu produto, em parte por causa desse trabalho.
No primeiro workshop de Black in AI, entretanto, esses sucessos eram possibilidades distantes. Não havia outra agenda a não ser construir uma comunidade e produzir pesquisas com base em suas perspectivas dolorosamente deficientes. Muitos espectadores não entendiam por que esse grupo precisava existir. Gebru se lembra de comentários desdenhosos de alguns membros da comunidade de IA. Mas para outros, Black in AI apontou um novo caminho a seguir.
Isso foi verdade para William Agnew e Raphael Gontijo Lopes, ambos homens queer conduzindo pesquisas em ciência da computação, que perceberam que poderiam formar um grupo queer em IA. (Outros grupos que tomaram forma incluem Latinx in AI, {Dis} Ability in AI e Muslim in ML.) Para Agnew, em particular, ter tal comunidade parecia uma necessidade urgente. “Era difícil até mesmo me imaginar tendo uma vida feliz”, diz ele, refletindo sobre a falta de modelos queer na área. “Tem o Turing, mas ele se suicidou. Então isso é deprimente. E a parte queer dele é simplesmente ignorada”.
Nem todos os membros do grupo de afinidade veem uma conexão entre sua identidade e sua pesquisa. Ainda assim, cada grupo estabeleceu conhecimentos específicos. Black in AI se tornou o centro intelectual para expor a discriminação algorítmica, criticar a vigilância e desenvolver técnicas de IA eficientes em dados. Queer in AI se tornou um centro para contestar as formas como os algoritmos violam a privacidade das pessoas e os classificam em categorias delimitadas por padrão.
Venkatasubramanian e Gebru também ajudaram a criar a conferência Equidade, Responsabilidade e Transparência (FAccT, em inglês) para criar um fórum de pesquisa sobre as implicações sociais e políticas da IA. Ideias e rascunhos de documentos discutidos em workshops de grupos de afinidade NeurIPS geralmente se tornam a base para artigos publicados na FAccT, que então mostra essa pesquisa para um público mais amplo.
Foi depois da apresentação de Buolamwini no primeiro workshop Black in AI, por exemplo, que a FAccT publicou Gender Shades. Junto com a Auditoria Actionable, ela alimentou várias campanhas importantes de educação e defesa para limitar o uso do reconhecimento facial pelo governo. Quando a Amazon tentou minar a legitimidade das pesquisas de Buolamwini e Raji, dezenas de pesquisadores de IA e organizações da sociedade civil se uniram para defendê-las, prenunciando o que mais tarde fariam pela Gebru. Esses esforços acabaram contribuindo para a moratória da Amazon, que em maio a empresa anunciou que se estenderia indefinidamente.
A pesquisa também desencadeou uma cascata de regulamentação. Mais de uma dúzia de cidades proibiram o uso de reconhecimento facial pela polícia, e Massachusetts agora exige que a polícia obtenha a permissão de um juiz para usá-lo. Tanto os EUA quanto a Comissão Europeia propuseram regulamentação adicional.
“Primeiro, tínhamos que apenas estar lá”, diz Gebru. “E em algum ponto, o que Black in AI diz começa a se tornar importante. E o que todos esses grupos juntos dizem torna-se importante. Você tem que nos ouvir agora”.
Siga o dinheiro
Após a demissão de Gebru e Mitchell, a área está lutando novamente com uma velha questão: É possível mudar o status quo trabalhando de dentro? Gebru ainda acredita que trabalhar com gigantes da tecnologia é a melhor maneira de identificar os problemas. Mas ela também acredita que os pesquisadores corporativos precisam de proteções legais mais fortes. Se notarem práticas de risco, devem ser capazes de compartilhar publicamente suas observações sem prejudicar suas carreiras.
Depois, há a questão do financiamento. Muitos pesquisadores querem mais investimentos do governo dos Estados Unidos para apoiar trabalhos que sejam críticos para o desenvolvimento de IA comercial e para o avanço do bem-estar público. No ano passado, destinaram-se míseros US$ 1 bilhão em pesquisas de IA não relacionadas à defesa. O governo Biden agora está pedindo ao Congresso que invista US$ 180 bilhões adicionais em tecnologias emergentes, com IA como prioridade.
Esse financiamento poderia ajudar pessoas como Rediet Abebe, professora assistente de ciência da computação na Universidade da Califórnia, Berkeley. Abebe, que também fundou o Black in AI, veio para a área de IA com a ideia de usá-la para promover a igualdade social. Mas, quando ela começou seu doutorado em Cornell, ninguém se dedicava a fazer essa pesquisa.
No outono de 2016, como estudante de doutorado em Cornell, ela começou um pequeno grupo de leitura com um colega estudante de pós-graduação para estudar tópicos como instabilidade habitacional, acesso a cuidados de saúde e desigualdade. Ela então embarcou em um novo projeto para ver se suas habilidades computacionais poderiam apoiar os esforços para aliviar a pobreza.
Eventualmente, ela encontrou o estudo Poverty Tracker, um conjunto de dados detalhados sobre os choques financeiros — despesas inesperadas como contas médicas ou multas de estacionamento — vividos por mais de 2.000 famílias de Nova York. Ao longo de muitas conversas com os autores do estudo, assistentes sociais e organizações sem fins lucrativos que atendem a comunidades marginalizadas, ela aprendeu sobre suas necessidades e disse-lhes como poderia ajudar. Abebe então desenvolveu um modelo que mostrava como a frequência e o tipo de choques afetavam a situação econômica de uma família.
Cinco anos depois, o projeto ainda está em andamento. Ela agora está colaborando com organizações sem fins lucrativos para melhorar seu modelo e trabalhando com legisladores por meio do California Policy Lab para usá-lo como uma ferramenta para prevenir a falta de moradia. Seu grupo de leitura também cresceu em uma comunidade de 2.000 pessoas e está realizando sua conferência inaugural ainda este ano.
Abebe vê isso como uma forma de incentivar mais pesquisadores a mudar as normas da IA. Enquanto as conferências tradicionais de ciência da computação enfatizam o avanço das técnicas computacionais com o simples objetivo de fazê-lo, a nova irá publicar um trabalho que primeiro busca compreender profundamente uma questão social. O trabalho não é menos técnico, mas constrói a base para o surgimento de IA socialmente mais significativa.
“Essas mudanças pelas quais estamos lutando — não são apenas para grupos marginalizados”, diz ela. “Na verdade, são para todos”.
MIT Technology Review
