Em 2019, a Technology Review americana fez uma série de reportagens documentando como a grande maioria das aplicações de IA hoje são baseadas em categoria de algoritmos conhecidos como deep learning, e como eles encontram padrões nos dados. Também foram realizadas matérias analisando como essas tecnologias afetam a vida das pessoas: como podem perpetuar a injustiça na contratação, no varejo e na segurança, e podem já estar fazendo isso no sistema jurídico criminal.
Mas não é suficiente apenas saber que esse enviesamento existe. Se queremos ser capazes de consertá-lo, precisamos primeiro entender a mecânica de como ele surge.
Como acontece o preconceito da IA
Frequentemente, simplificamos nossa explicação do preconceito da IA colocando a culpa nos dados de treinamento tendenciosos. A realidade é mais complexa: o preconceito pode surgir muito antes de os dados serem coletados, bem como em muitos outros estágios do processo de deep learning. Para os fins desta discussão, vamos nos concentrar em três fases principais.
Enquadrando o problema. A primeira coisa que os cientistas da computação fazem quando criam um modelo de deep learning é decidir o que realmente desejam que ele alcance. Uma empresa de cartão de crédito, por exemplo, pode querer prever a qualidade de crédito de um cliente, mas “solvabilidade” é um conceito bastante nebuloso. Para traduzi-lo em algo que possa ser computado, a empresa deve decidir se deseja, digamos, maximizar suas margens de lucro ou maximizar o número de empréstimos que serão pagos. Os algoritmos poderiam então definir a qualidade de crédito dentro do contexto dessa meta. O problema é que “essas decisões são tomadas por vários motivos comerciais, além de justiça ou discriminação”, explica Solon Barocas, professor assistente da Universidade Cornell, especializado em justiça em machine learning. Se o algoritmo descobrisse que conceder empréstimos subprime era uma maneira eficaz de maximizar o lucro, ele acabaria se envolvendo em um comportamento predatório, mesmo que essa não fosse a intenção da empresa.
Coletando os dados. Existem duas maneiras principais de o preconceito aparecer nos dados de treinamento: ou os dados que você coleta não representam a realidade ou refletem os preconceitos existentes. O primeiro caso pode ocorrer, por exemplo, se um algoritmo de deep learning receber mais fotos de rostos de pele clara do que de rostos de pele escura. O sistema de reconhecimento facial resultante seria inevitavelmente pior no reconhecimento de rostos de pele mais escura. O segundo caso é exatamente o que aconteceu quando a Amazon descobriu que sua ferramenta de recrutamento interno estava dispensando candidatas. Por ser treinada em decisões históricas de contratação, que favoreciam os homens em relação às mulheres, ela aprendeu a fazer o mesmo.
Preparando os dados. Por fim, é possível introduzir um certo tipo de inclinação durante a fase de preparação dos dados, que envolve selecionar quais atributos você deseja que o algoritmo considere. (Isso não deve ser confundido com o estágio de enquadramento do problema. Você pode usar os mesmos atributos para treinar um modelo para objetivos muito diferentes ou usar atributos muito diferentes para treinar um modelo para o mesmo objetivo). No caso de modelagem de solvabilidade, um “atributo” pode ser a idade, renda ou número de empréstimos quitados do cliente. No caso da ferramenta de recrutamento da Amazon, um “atributo” pode ser o sexo do candidato, nível de educação ou anos de experiência. Isso é o que as pessoas costumam chamar de “arte” do deep learning: escolher quais atributos considerar ou ignorar pode influenciar significativamente a precisão da previsão do seu modelo. Mas, embora seu impacto na precisão seja fácil de medir, seu impacto na propensão do modelo não é.
Por que o preconceito da IA é difícil de corrigir
Dado esse contexto, alguns dos desafios de atenuar o preconceito já podem ser aparentes para você. Aqui destacamos quatro principais.
Desconhecidos desconhecidos. A introdução de um certo tipo de inclinação nem sempre é óbvia durante a construção de um modelo, porque você pode não perceber os impactos posteriores de seus dados e escolhas até muito mais tarde. Depois de fazer isso, é difícil identificar retroativamente de onde veio esse viés e, em seguida, descobrir como se livrar dele. No caso da Amazon, quando os engenheiros descobriram inicialmente que sua ferramenta penalizava candidatas do sexo feminino, eles a reprogramaram para ignorar palavras explicitamente de gênero, como “mulheres”. Eles logo descobriram que o sistema revisado ainda estava selecionava palavras implicitamente relacionadas ao gênero – verbos que eram altamente correlacionados com homens em relação às mulheres, como “executado” e “capturado” – e usando isso para tomar suas decisões.
Processos imperfeitos. Primeiro, muitas das práticas padrão de deep learning não são projetadas com a detecção de preconceito em mente. Os modelos de deep learning são testados quanto ao desempenho antes de serem implantados, criando o que parece ser uma oportunidade perfeita para detectar uma propensão discriminatória. Mas, na prática, o teste geralmente se parece com isto: cientistas da computação dividem aleatoriamente seus dados antes do treinamento em um grupo que é realmente usado para treinamento e outro que é reservado para validação quando o treinamento é concluído. Isso significa que os dados que você usa para testar o desempenho do seu modelo têm as mesmas propensões que os dados que você usou para treiná-lo. Assim, ele falhará em sinalizar resultados distorcidos ou preconceituosos.
Falta de contexto social. Da mesma maneira, a forma como os cientistas de computação são ensinados a enquadrar problemas, muitas vezes não eles não são compatíveis com a melhor maneira de pensar sobre problemas sociais. Por exemplo, em um novo artigo, Andrew Selbst, um pós-doutorado no Data & Society Research Institute, identifica o que ele chama de “armadilha da portabilidade”. Dentro da ciência da computação, é considerada uma boa prática projetar um sistema que pode ser usado para diferentes tarefas em diferentes contextos. “Mas isso acaba ignorando muito do contexto social”, diz Selbst. “Você não pode ter um sistema projetado em Utah e então aplicá-lo em Kentucky diretamente porque diferentes comunidades têm diferentes versões do que é justiça. Ou você não pode ter um sistema voltado para resultados de justiça criminal “justos” e depois aplicado ao contexto de empregos. A forma como pensamos sobre justiça nesses contextos é totalmente diferente”.
As definições de justiça. Também não está claro como deve ser a ausência dessas inclinações. Isso não é verdade apenas na ciência da computação – esta questão tem uma longa história de debate em filosofia, ciências sociais e direito. O que é diferente na ciência da computação é que o conceito de justiça deve ser definido em termos matemáticos, como equilibrar as taxas de falso positivo e falso negativo de um sistema de previsão. Mas, como os pesquisadores descobriram, existem muitas definições matemáticas diferentes de justiça que também são mutuamente exclusivas. Justiça significa, por exemplo, que a mesma proporção de indivíduos negros e brancos deve obter pontuações de avaliação de alto risco? Ou que o mesmo nível de risco deve resultar na mesma pontuação independentemente da cor? É impossível cumprir ambas as definições ao mesmo tempo (aqui está uma análise mais aprofundada do porquê), então em algum ponto você terá que escolher uma. Mas enquanto em outros campos essa decisão é entendida como algo que pode mudar com o tempo, o campo da ciência da computação tem a noção de que isso deve ser corrigido. “Ao corrigir a resposta, você está resolvendo um problema que parece muito diferente de como a sociedade tende a pensar sobre essas questões”, diz Selbst.
Para onde vamos a partir daqui
Se você está se recuperando de nosso tour turbulento de todo o escopo do problema do enviesamento da IA, eu também. Mas, felizmente, um forte contingente de pesquisadores de IA está trabalhando duro para resolver o problema. Eles adotaram uma variedade de abordagens: algoritmos que ajudam a detectar e mitigar propensões ocultas nos dados de treinamento ou que atenuam aquelas aprendidos pelo modelo, independentemente da qualidade dos dados; processos que responsabilizam as empresas pelos resultados mais justos e discussões que apresentam as diferentes definições de justiça.
“‘Consertar’ a discriminação em sistemas algorítmicos não é algo que pode ser resolvido facilmente”, diz Selbst. “É um processo contínuo, assim como a discriminação em qualquer outro aspecto da sociedade”.
MIT Technology Review
