Uma investigação publicada em junho pela Human Rights Watch (HRW), uma organização internacional não governamental que defende os direitos humanos e realiza pesquisas sobre o assunto, determinou que o algoritmo conhecido como Takaful provavelmente exclui pessoas que deveriam se qualificar para receber assistência financeira na Jordânia. O Takaful é financiado pelo Banco Mundial e seu objetivo é determinar quais famílias devem receber ajuda da instituição.
O sistema algorítmico classifica os pedidos de auxílio do de menor renda a maior usando um cálculo secreto que atribui pesos a 57 indicadores socioeconômicos. No entanto, os requerentes dizem que a análise não reflete a realidade e simplifica demais a situação econômica das pessoas, às vezes de forma imprecisa ou injusta. O Takaful custou mais de US$ 1 bilhão e o Banco Mundial está financiando projetos semelhantes em outros oito países no Oriente Médio e na África.
A Human Rights Watch identificou vários problemas fundamentais com o sistema algorítmico que resultaram em tendenciosidades e imprecisões. Por exemplo, como dois dos indicadores usados no sistema de classificação, onde os candidatos são questionados sobre o consumo de água e eletricidade em suas casas. Os autores do relatório da HRW concluem que esses não são necessariamente indicadores confiáveis de pobreza. Algumas famílias entrevistadas relataram acreditar que o fato de possuírem carro afetava sua classificação no sistema, mesmo que ele fosse velho e essencial para o deslocamento até o trabalho.
O relatório diz: “Por trás da aparente objetividade estatística, há uma realidade mais complexa: as pressões econômicas que as pessoas enfrentam e as dificuldades que elas encaram para sobreviver são frequentemente invisíveis para o algoritmo”.
“As perguntas feitas não refletem a realidade em que existimos”, diz Abdelhamad, pai de dois filhos que ganha 250 dinares (US$ 353) por mês e luta para sobreviver, conforme citado no relatório.
O Takaful também reforça a discriminação de gênero existente ao depender de códigos legais sexistas. A assistência financeira é fornecida apenas a cidadãos jordanianos, e um dos fatores considerados pelo algoritmo é o tamanho de uma família. Embora os homens jordanianos que se casam com uma não-cidadã possam passar a cidadania para sua esposa, o mesmo não é verdade para as mulheres jordanianas. Como resultado, o tamanho de uma família relatado por essas mulheres é menor, tornando-as menos propensas a receber assistência.
O relatório é baseado em 70 entrevistas realizadas pela Human Rights Watch nos últimos dois anos, não é uma avaliação quantitativa, porque o Banco Mundial e o governo da Jordânia não divulgaram publicamente a lista dos 57 indicadores, uma descrição de como eles são ponderados, ou informações detalhadas sobre as decisões tomadas pelo algoritmo. Até o momento desta publicação, o Banco Mundial ainda não havia respondido ao pedido de comentário da Technology Review americana.
Amos Toh, pesquisador de IA e direitos humanos da Human Rights Watch e autor do relatório, diz que as descobertas apontam para uma maior necessidade de transparência nos programas governamentais que usam os algoritmos para auxiliar na tomada de decisão. Muitas das famílias entrevistadas expressaram desconfiança e dificuldade de compreensão em relação à metodologia de classificação do sistema. “É responsabilidade do governo da Jordânia garantir essa transparência”, diz Toh.
Pesquisadores sobre ética e equidade em IA estão exigindo uma análise mais rigorosa do crescente uso de algoritmos em sistemas de assistência social. “Quando você começa a desenvolver algoritmos para esse propósito específico, ou seja, para supervisionar o acesso a sistemas, o que sempre acontece é que as pessoas que realmente precisam de ajuda são excluídas”, diz Meredith Broussard, professora da Universidade de Nova York (NYU) e More Than a Glitch: Confronting Race, Gender, and Ability Bias in Tech.
“Parece que esse é mais um exemplo de um projeto falho que acaba por restringir o acesso de pessoas mais necessitadas a recursos essenciais”, diz ela.
O Banco Mundial financiou o programa, administrado pelo Fundo Nacional de Ajuda da Jordânia (NAF), uma agência de proteção social do governo. Em resposta ao relatório, o Banco Mundial disse que planeja divulgar informações adicionais sobre o programa Takaful em julho de 2023 e reiterou seu “compromisso com o avanço da implementação da proteção social universal [e] a garantia do acesso a ela para todas as pessoas”.
A instituição financeira tem incentivado o uso da tecnologia de dados em programas de transferência de renda, como o Takaful, afirmando que ela promove uma maior eficiência em termos de custo e aumenta a equidade na distribuição de auxílios sociais. Os governos também usaram sistemas de Inteligência Artificial para combater fraudes em programas de apoio à comunidade. Uma investigação realizada em maio sobre um algoritmo que o governo holandês usa para detectar as solicitações de benefícios mais propensas de serem fraudulentas evidenciou discriminação sistemática com base em raça e gênero.
MIT Technology Review
