Oferecido por
Os sistemas de Inteligência Artificial (IA) são implementados o tempo todo, mas pode levar meses ou até mesmo anos até que fique claro se, e como, eles podem ser tendenciosos.
As apostas são muitas vezes altas: um sistema de IA injusto pode fazer com que pessoas inocentes sejam presas, e pode negar a elas o direito a moradia, trabalho e serviços básicos.
Recentemente, um grupo de especialistas em IA e machine learning lançou uma nova competição com recompensa em busca de vieses tendenciosos, a qual esperam que acelere o processo de descoberta deste tipo de preconceito implícito.
A competição, que se inspira nos programas de recompensas por bugs no setor de segurança cibernética, convida os participantes a criarem ferramentas para identificar e mitigar algoritmos tendenciosos em modelos de IA.
Ela está sendo organizada por um grupo de voluntários que trabalham em empresas como o Twitter, a empresa de software Splunk, e a startup de detecção de deepfake, a Reality Defender. Eles se apelidaram de “Bias Buccanners” (em tradução livre, Os Corsários dos Vieses).
A primeira edição da competição vai se concentrar na detecção de imagens tendenciosas. É um problema comum: no passado, por exemplo, sistemas falhos de detecção de imagem identificaram erroneamente pessoas negras como gorilas.
Os competidores serão desafiados a construir um modelo de machine learning capaz de rotular cada imagem com um tom de pele, gênero percebido, e faixa etária, o que tornará mais fácil dimensionar e detectar vieses em conjuntos de dados. Eles terão acesso a cerca de 15.000 imagens de rostos humanos gerados sinteticamente. Os participantes são classificados de acordo com a precisão com a qual seus modelos rotulam essas imagens e com quanto tempo o código leva para ser executado, entre outras métricas.
A Microsoft e a startup Robust Intelligence se comprometeram a distribuir prêmios em dinheiro de US$ 6.000 para o ganhador, US$ 4.000 para o segundo lugar e US$ 2.000 para o terceiro. A Amazon contribuiu com o valor de US$ 5.000 em poder computacional para o grupo dos primeiros colocados.
A competição é um exemplo prático de uma indústria que está emergindo na área de IA: a auditoria para discriminação algorítmica. O Twitter lançou a primeira caça à recompensa de preconceitos nas IAs no ano passado, e a Universidade de Stanford (EUA) acaba de concluir seu primeiro desafio de auditoria de IA. Enquanto isso, a organização sem fins lucrativos Mozilla está criando ferramentas voltadas para auditores de IA.
É provável que essas auditorias se tornem cada vez mais comuns. Elas foram elogiadas por reguladores e especialistas em Ética da IA como uma boa forma de responsabilizar os sistemas vigentes. Essas iniciativas se tornarão um requisito legal em certas jurisdições.
A nova lei de moderação de conteúdos da União Europeia, a Lei dos Serviços Digitais (em inglês, Digital Services Act) inclui requerimentos de uma auditoria anual para os dados e algoritmos usados pelas grandes plataformas tecnológicas, bem como a futura Lei da IA europeia poderia também permitir que as autoridades auditassem os sistemas de IA. O Instituto Nacional de Padrões e Tecnologia dos EUA, conhecido como NIST, também recomenda auditorias de IA como um padrão de excelência. A intenção é que essas auditorias funcionem como os tipos de inspeções que vemos em outros setores de alto risco como fábricas de produtos químicos, diz Alex Engler, que estuda governança de IA no think thank Brookings Institution.
O problema é que não há contratantes autônomos em número suficiente para atender à futura demanda por auditorias algorítmicas e as empresas estão relutantes em liberar o acesso aos seus sistemas, argumentam a pesquisadora Deborah Raji, especialista na área de responsabilidade de IA, e seus colegas, em um artigo publicado em junho.
É isso o que essas competições visam nutrir. A esperança na comunidade de IA é que ela leve mais engenheiros, pesquisadores e especialistas a desenvolverem suas habilidades e tragam a experiência necessária para realizar essas auditorias.
Muito da fiscalização limitada no mundo da IA até agora vem dos acadêmicos ou das próprias empresas de tecnologia. O objetivo das competições como esta é criar um novo setor de profissionais especializados em auditoria de IA.
“Estamos tentando criar um terceiro espaço para pessoas que são interessadas neste tipo de trabalho, que querem começar ou que já são especialistas e que não trabalham em uma empresa de tecnologia”, diz Rumman Chowdhury, diretora da equipe do Twitter em ética, transparência e responsabilidade em machine learning, líder dos Bias Buccaneers. Podem ser hackers ou cientistas de dados que querem aprender uma nova habilidade, complementa ela.
A equipe por trás da competição coordenada pelos Bias Buccaneers espera que esta seja a primeira de muitas.
Competições como esta não apenas criam incentivos para a comunidade de machine learning realizar auditorias, mas também promovem uma compreensão compartilhada de “como melhor auditar e em quais tipos de auditorias deveríamos investir”, diz Sara Hooker, que lidera o Cohere for AI, um laboratório de pesquisa de IA sem fins lucrativos.
O trabalho é “fantástico e absolutamente necessário”, diz Abhishek Gupta, o fundador do Montreal AI Ethics Institute, que foi juiz no desafio de auditoria de IA de Stanford (EUA).
“Quanto maior a atenção você der a um sistema, maior é a probabilidade de encontrarmos os lugares onde há falhas”, diz Gupta.
MIT Technology Review