Meredith Broussard tem uma posição privilegiada para analisar o alarde em torno da Inteligência Artificial (IA). Ela é cientista de dados e professora associada na Universidade de Nova York (EUA), e há anos tem sido uma das principais pesquisadoras no campo de viés algorítmico.
E embora ela tenha que resolver inúmeros problemas de matemática em seu trabalho, ela passou os últimos anos refletindo sobre questões que a matemática não consegue resolver. Suas reflexões viraram um novo livro sobre o futuro da IA. Em “More than a Glitch” (ainda sem tradução para o português), Broussard alega que estamos sempre muito dispostos a aplicar IA em problemas sociais de maneiras inadequadas e prejudiciais. Seu argumento principal é que o uso de ferramentas técnicas para lidar com esses obstáculos sem considerar etnia, gênero e capacidade pode causar danos imensos.
Recentemente, Broussard também se recuperou de um câncer de mama e, após ler as informações em letras miúdas de seus prontuários médicos eletrônicos, percebeu que uma IA havia desempenhado um papel em seu diagnóstico, algo cada vez mais comum nessa área. Esta descoberta a levou a realizar seu próprio experimento para aprender mais sobre o potencial de uma IA para diagnosticar câncer.
Sentamos para conversar sobre o que ela descobriu, assim como os problemas provenientes do uso dessa tecnologia pela polícia, os limites da “imparcialidade da IA” e as soluções que ela enxergar para alguns dos desafios que a IA está apresentando. A entrevista foi editada para maior clareza e coesão do texto.
Fiquei impressionada com uma história pessoal que você compartilha no livro, sobre como a IA participou de uma parte do seu diagnóstico de câncer. Você pode contar aos nossos leitores o que você fez e o que aprendeu com essa experiência?
No início da pandemia, fui diagnosticada com câncer de mama. Eu não estava apenas em isolamento social porque o mundo todo estava com tudo fechado, mas também porque passei por uma cirurgia complicada. Certo dia, enquanto eu analisava minha ficha médica, notei que um dos meus exames dizia: “esse exame foi analisado por uma IA”. Eu pensei: por que uma IA analisou minha mamografia? Ninguém tinha mencionado isso para mim. Essa informação constava somente em alguma parte obscura do meu prontuário médico digital. Fiquei muito curiosa sobre a tecnologia de ponta de detecção de câncer baseada em IA que havia sido utilizada, então criei um experimento para ver se poderia replicar meus resultados. Peguei as imagens das minhas mamografias e as inseri em uma IA de código aberto para ver se ela detectaria meu câncer. Com isso, me dei conta de que eu tinha muitas ideias equivocadas sobre como a IA funcionava no diagnóstico de câncer, um assunto que exploro no livro.
[Depois que Broussard fez o código funcionar, a IA por fim previu que a mamografia mostrava, de fato, um câncer. Seu cirurgião, no entanto, disse que o uso da tecnologia era totalmente desnecessário para o diagnóstico dela, uma vez que médicos humanos já tinham uma leitura clara e precisa de seus exames.]
Uma das coisas que percebi, como paciente com câncer, foi que os médicos, enfermeiras e profissionais de saúde que me deram apoio ao longo do meu diagnóstico e recuperação foram incríveis e cruciais para mim. Não gostaria de ver um futuro computacional estéril em que você vai fazer sua mamografia e então uma caixinha vermelha diz: “Você provavelmente tem câncer”. Na verdade, quando estamos falando de uma doença potencialmente fatal, esse é um futuro que ninguém deseja experienciar, mas não há muitos pesquisadores de IA por aí que tenham acesso a suas próprias mamografias.
Ouvimos com frequência que, assim que o viés da IA estiver devidamente “consertado”, esta tecnologia pode se tornar muito mais generalizada. Você escreve no seu livro que esse argumento é problemático. Por quê?
Um dos grandes problemas que tenho com esse argumento é a ideia de que, de alguma forma, a IA atingirá todo o seu potencial e esse é o objetivo pelo qual todos devem lutar. IA é somente matemática. Não acho que tudo no mundo deva ser governado pela matemática. Os computadores são excelentes em resolver problemas desse tipo. Mas eles não são muito bons em resolver problemas sociais, por exemplo, e, no entanto, estão sendo utilizados para solucionarem estas questões. Esse tipo de objetivo final imaginário de “Ah, vamos usar IA para tudo” não é um futuro com o qual eu concorde.
Você também escreveu sobre reconhecimento facial. Recentemente, ouvi um argumento de que o movimento para proibir o reconhecimento facial (especialmente no policiamento) desencoraja as tentativas da indústria de tornar essa tecnologia mais justa ou precisa. O que você acha disso?
Eu definitivamente faço parte do grupo de pessoas que não defendem o uso do reconhecimento facial no policiamento. Entendo que isso seja desencorajador para as pessoas que realmente querem usá-lo, mas uma das coisas que fiz enquanto pesquisava para o livro foi um estudo profundo sobre a história da tecnologia no policiamento, e o que descobri não foi muito animador.
Comecei a pesquisa com o excelente livro “Black Software”, do [professor de mídia, cultura e comunicação da Universidade de Nova York (EUA)] Charlton McIlwain, e ele escreve sobre a IBM querer vender muitos de seus novos computadores, concomitante ao momento em que tivemos a chamada Guerra à Pobreza, na década de 60 nos EUA. Havia pessoas que queriam muito vender máquinas e procuravam por problemas onde pudessem usá-las, mas não entendiam a questão social atrelada a isso. E hoje em dia ainda estamos lidando com as consequências desastrosas das decisões que foram tomadas naquela época.
A polícia não é melhor do que ninguém quanto ao uso da tecnologia. Se estivéssemos falando sobre uma situação em que todos nós fôssemos cientistas da computação de alto nível, treinados em todas as questões sociológicas interseccionais atuais, e tivéssemos comunidades com escolas totalmente financiadas, além de equidade social, aí seria uma história diferente. Mas vivemos em um mundo com muitos problemas, e alocar ainda mais recursos tecnológicos em bairros de populações majoritariamente negra, parda e pobre dos Estados Unidos, que já são policiados de forma excessiva, não vai ajudar.
Você aborda as limitações que a ciência de dados possui para lidar com questões sociais, mas você mesma é uma cientista de dados! Como você percebeu as limitações de sua própria profissão?
Eu tenho muitos amigos e colegas sociólogos. Sou casada com uma pessoa da área de sociologia. Algo muito importante na minha reflexão sobre a interação entre sociologia e tecnologia foi uma conversa que tive alguns anos atrás com Jeff Lane, que é sociólogo e etnógrafo [como professor associado da Rutgers School of Information (EUA)].
Começamos a conversar sobre bancos de dados que continham informações sobre gangues e ele me disse algo que eu não sabia, que as pessoas tendem a sair das gangues a partir de certa faixa etária. Você não entra em uma gangue e fica nela para o resto da vida. E pensei: “bom, aposto que mesmo as pessoas deixando as gangues, suas informações não estão sendo eliminadas dos bancos de dados da polícia”. Eu sei como as pessoas usam esses bancos de dados e sei como somos descuidados quando se trata de atualizá-los.
Então, fiz algumas investigações e, como havia previsto, descobri que não havia nenhum requisito que informasse que, uma vez que você não estivesse mais envolvido em uma gangue, suas informações seriam removidas do banco de dados regionais da polícia. Isso só me fez começar a pensar sobre a bagunça que são nossas vidas digitais e como isso pode se intersectar com a tecnologia policial de maneiras potencialmente perigosas.
A avaliação preditiva está sendo cada vez mais usada nas escolas. Isso deveria nos preocupar? Quando é apropriado aplicar algoritmos de previsão e quando não é?
Uma das consequências da pandemia é que todos nós tivemos a chance de ver de perto como o mundo se torna incrivelmente chato quando ele é totalmente mediado por algoritmos. Não há serendipidade. Não sei quanto a você, mas durante a pandemia eu esgotei o mecanismo de recomendação da Netflix e simplesmente não há mais nada lá pra mim. Eu me vi recorrendo a métodos com características humanas para inserir mais aleatoriedade à descoberta de novas ideias.
Para mim, essa é uma das melhores coisas da escola e do aprendizado: você está em uma sala de aula com todas essas outras pessoas com diferentes experiências de vida. Como professora, prever as notas dos alunos de antemão é o oposto do que desejo em minha sala de aula. Quero acreditar na possibilidade de mudança. Quero levar meus alunos adiante em sua jornada de aprendizado. No que me diz respeito, um algoritmo que diz “este aluno é esse tipo de aluno, então ele provavelmente vai ser assim” vai contra todo o objetivo da educação.
Às vezes nos apaixonamos pela ideia de estatísticas preverem o futuro, então entendo perfeitamente o desejo de fazer máquinas que tornem o futuro menos impreciso. Mas temos que conviver com o desconhecido e deixar espaço para mudarmos como seres humanos.
Você pode me falar sobre o papel que você acha que a auditoria algorítmica tem em um futuro mais seguro e igualitário?
A auditoria algorítmica é o processo de observar um algoritmo e examiná-lo em busca de parcialidades e possíveis tendenciosidades. É um campo muito, muito novo, então isso não é algo que as pessoas já sabiam fazer há 20 anos. Mas agora temos ferramentas fantásticas. Pessoas como Cathy O’Neil e Deborah Raji estão fazendo um ótimo trabalho no campo de auditoria de algoritmos. Temos todos esses métodos matemáticos para avaliar a imparcialidade que está sendo publicada pela comunidade da conferência FAccT [que se dedica a tentar tornar o campo da IA mais ético]. Então, estou muito otimista quanto ao papel da auditoria em nos ajudar a tornar os algoritmos mais justos e equitativos.
Em seu livro, você critica o termo “caixa preta” quando o assunto é machine learning, alegando que ele implica incorretamente que é impossível descrever o funcionamento por trás de um modelo. Como deveríamos falar sobre machine learning?
Essa é uma pergunta muito boa. Toda a minha discussão sobre auditoria meio que vai contra a nossa noção de “caixa preta” em machine learning. Quando comecei a explicar os sistemas computacionais, percebi que a “caixa preta” é uma abstração que usamos porque é conveniente e porque muitas vezes não queremos entrar em conversas extensas e complicadas sobre matemática. O que é algo justo! Eu vou a festas o suficiente para entender que você não quer ter uma longa conversa sobre matemática. Mas se vamos tomar decisões sociais usando algoritmos, precisamos parar de fingir que eles são inexplicáveis.
Algo que tento ter em mente é que existem coisas desconhecidas para o mundo e outras desconhecidas para mim. Quando escrevo sobre sistemas complexos, tento ser muito clara quanto a essa diferença.
Quando escrevemos sobre sistemas de machine learning, é tentador não ir fundo no assunto. Mas sabemos que esses sistemas estão sendo discriminatórios. O tempo em que os repórteres podiam simplesmente dizer “Ah, não sabemos quais são os possíveis problemas no sistema” já passou. Podemos supor quais são os problemas em potencial e fazer as perguntas mais difíceis. Este sistema foi analisado quanto a vieses de gênero, capacidade e etnia? Na maioria das vezes a resposta é “não”, e isso precisa mudar.
“More than a Glitch: Confronting Race, Gender, and Ability Bias in Tech” foi lançado em 14 de março de 2023.
MIT Technology Review
