Miriam tinha apenas 21 anos quando conheceu Nick. Ela era fotógrafa, recém-saída da faculdade, servindo mesas. Ele era 16 anos mais velho que ela e era empresário local que havia trabalhado com finanças. Ele era encantador e carismático; ele a levava em encontros extravagantes e pagava por tudo. Ela rapidamente se apaixonou.
Tudo começou com um cartão de crédito. Na época, era o único que ela tinha. Nick iria maximizar o valor com $ 5.000 em compras comerciais e pagá-lo imediatamente no dia seguinte. Miriam, que me pediu para não usar seus nomes verdadeiros por medo de interferir no processo de divórcio em andamento, descobriu que isso estava aumentando sua pontuação de crédito. Tendo crescido com um pai solteiro em uma família de baixa renda, ela confiou no conhecimento de Nick. Ele prontamente encorajou a dinâmica, dizendo que ela não entendia de finanças. Ela pediu por mais cartões de crédito para ele em seu nome.
O problema começou três anos depois. Nick pediu que ela largasse o emprego para ajudar no negócio dele. Ela fez. Ele disse a ela para ir para a pós-graduação e não se preocupar em aumentar sua dívida de estudante existente. Ela fez. Ele prometeu cuidar de tudo e ela acreditou nele. Logo depois, ele parou de liquidar os saldos do cartão de crédito dela. Sua pontuação começou a cair.
Mesmo assim, Miriam ficou com ele. Eles se casaram. Eles tiveram três filhos. Então, um dia, o FBI foi à casa deles e o prendeu. No tribunal federal, o juiz o condenou por quase US $ 250.000 em fraude eletrônica. Miriam descobriu toda a extensão das dezenas de milhares de dólares em dívidas que ele acumulou em seu nome. “No dia em que ele foi para a prisão, eu tinha $ 250 em dinheiro, uma casa em execução hipotecária, um carro para reintegração de posse, três filhos”, diz ela. “Passei de ter uma babá e morar em uma bela casa e tudo, para uma pobreza realmente abjeta em apenas um mês”.
Miriam é uma sobrevivente do que é conhecido como “dívida coagida”, uma forma de abuso geralmente perpetrada por um parceiro íntimo ou membro da família. Embora o abuso econômico seja um problema antigo, o banco digital tornou mais fácil abrir contas e fazer empréstimos em nome da vítima, diz Carla Sanchez-Adams, advogada do Texas Rio Grande Legal Aid. Na era dos algoritmos de pontuação de crédito automatizados, as repercussões também podem ser muito mais devastadoras.
As pontuações de crédito têm sido usadas há décadas para avaliar a qualidade de crédito do consumidor, mas seu escopo é muito maior agora que são movidos por algoritmos: eles não apenas consideram muito mais dados, tanto em volume quanto em tipo, mas determinam cada vez mais se você pode comprar um carro, alugar um apartamento ou conseguir um emprego em tempo integral. Sua influência abrangente significa que, se sua pontuação for arruinada, pode ser quase impossível recuperá-la. Pior ainda, os algoritmos são propriedade de empresas privadas que não divulgam como tomam suas decisões. As vítimas podem ser enviadas em uma espiral descendente que às vezes termina em falta de moradia ou retorno ao abusador.
Os algoritmos de pontuação de crédito não são os únicos que afetam o bem-estar econômico das pessoas e o acesso aos serviços básicos. Os algoritmos agora decidem quais crianças vão para um orfanato, quais pacientes recebem cuidados médicos, quais famílias têm acesso a uma moradia estável. Aqueles de nós com recursos podem passar nossas vidas sem saber de nada disso. Mas para indivíduos de baixa renda, o rápido crescimento e adoção de sistemas automatizados de tomada de decisão criaram uma rede oculta de armadilhas interligadas.
Felizmente, um grupo crescente de advogados civis está começando a se organizar em torno desse problema. Pegando emprestado um manual da resistência do mundo da defesa criminal contra os algoritmos de avaliação de risco, eles estão procurando se instruir sobre esses sistemas, construir uma comunidade e desenvolver estratégias de litígio. “Basicamente, todo advogado civil está começando a lidar com essas coisas, porque todos os nossos clientes estão de uma forma ou de outra sendo afetados por esses sistemas”, diz Michele Gilman, professora de direito clínico da Universidade de Baltimore. “Precisamos acordar e começarmos a treinar. Se quisermos ser realmente bons advogados holísticos, precisamos estar cientes disso”.
“Vou interrogar um algoritmo?”
Gilman exerce a advocacia em Baltimore há 20 anos. Em seu trabalho como advogada civil e defensora, seus casos sempre se resumiram na mesma coisa: representar pessoas que perderam o acesso às necessidades básicas, como moradia, alimentação, educação, trabalho ou saúde. Às vezes, isso significa enfrentar uma agência governamental. Outras vezes, é com uma agência de relatórios de crédito ou um locador de imóvel. Cada vez mais, a briga pela elegibilidade de um cliente agora envolve algum tipo de algoritmo.
“Isso está acontecendo em todos os níveis com nossos clientes”, diz ela. “Eles estão emaranhados em tantos algoritmos diferentes que os impedem de serviços básicos. E os clientes podem não estar cientes disso, porque muitos desses sistemas são invisíveis”.
Para indivíduos de baixa renda, uma dificuldade econômica temporária pode levar a um ciclo vicioso que às vezes termina em falência ou falta de moradia. JON TYSON / UNSPLASH
Ela não se lembra exatamente quando percebeu que algumas decisões de elegibilidade estavam sendo feitas por algoritmos. Mas quando essa transição começou a acontecer, raramente era óbvia. Certa vez, ela representava um cliente idoso e deficiente que havia inexplicavelmente sido cortado de sua assistência médica domiciliar financiada pelo Medicaid. “Não conseguimos descobrir por quê”, lembra Gilman. “Ela estava ficando mais doente e, normalmente, se você ficar mais doente, terá mais horas, não menos.”
Só quando estavam no tribunal no meio de uma audiência é que a testemunha representando o estado revelou que o governo acabara de adotar um novo algoritmo. A testemunha, uma enfermeira, não conseguiu explicar nada sobre isso. “Claro que não sabia — eles compraram esse sistema”, diz Gilman. “Ela é uma enfermeira, não uma cientista da computação. Ela não pode responder quais fatores estão envolvidos nisso. Como é ponderado? Quais são os resultados que você está procurando? Então, lá estou eu com meu estagiário e ele me pergunta, ‘Então eu vou interrogar um algoritmo?’”
Para Kevin De Liban, advogado do Legal Aid of Arkansas, a mudança foi igualmente traiçoeira. Em 2014, seu estado também instituiu um novo sistema de distribuição de assistência domiciliar financiada pelo Medicaid, eliminando toda uma série de pessoas que anteriormente eram elegíveis. Na época, ele e seus colegas não conseguiram identificar a raiz do problema. Eles só sabiam que algo estava diferente. “Notamos que houve uma mudança nos sistemas de avaliação de um questionário em papel com 20 perguntas para um questionário eletrônico de 283 perguntas”, diz ele.
Dois anos depois, quando um erro no algoritmo o colocou novamente sob escrutínio legal, De Liban finalmente chegou ao fundo da questão. Ele percebeu que as enfermeiras diziam aos pacientes: “Bem, foi o computador — não fui eu”. “Foi isso que nos deu a dica”, diz ele. “Se eu soubesse o que sabia em 2016, provavelmente teria feito um trabalho melhor em 2014”, acrescenta.
“Uma pessoa percorre tantos sistemas no dia-a-dia”
Desde então, Gilman ficou muito mais experiente. De seu ponto de vista, representando clientes com uma variedade de problemas, ela observou o surgimento e a colisão de duas redes algorítmicas. O primeiro consiste em algoritmos de relatórios de crédito, como os que capturaram Miriam, que afetam o acesso a bens e serviços privados como carros, residências e empregos. O segundo engloba algoritmos adotados por agências governamentais, que afetam o acesso a benefícios públicos, como assistência médica, desemprego e serviços de pensão alimentícia.
No lado dos relatórios de crédito, o crescimento dos algoritmos foi impulsionado pela proliferação de dados, que está mais fácil do que nunca de coletar e compartilhar. Eles não são novos, mas atualmente seus rastros são muito mais extensos. Agências de informação ao consumidor, incluindo agências de crédito, empresas de triagem de inquilinos ou serviços de verificação de cheques, reúnem essas informações de uma ampla variedade de fontes: registros públicos, mídia social, navegação na web, atividade bancária, uso de aplicativos e muito mais. Os algoritmos então atribuem pontuações de “valor” às pessoas, que são usadas em verificações de antecedentes realizadas por credores, empregadores, proprietários e até escolas.
As agências governamentais, por outro lado, são levadas a adotar algoritmos quando desejam modernizar seus sistemas. O impulso para adotar aplicativos baseados na web e ferramentas digitais começou no início de 2000 e continuou com uma mudança em direção a sistemas automatizados e IA mais orientados por dados. Existem boas razões para buscar essas mudanças. Durante a pandemia, muitos sistemas de seguro-desemprego tiveram dificuldade em lidar com o grande volume de novos pedidos, levando a atrasos significativos. Modernizar esses sistemas antigos promete resultados mais rápidos e confiáveis.
Mas o processo de aquisição de software raramente é transparente e, portanto, carece de responsabilidade. As agências públicas geralmente compram ferramentas automatizadas de tomada de decisão diretamente de fornecedores privados. O resultado é que, quando os sistemas dão errado, os indivíduos afetados — e seus advogados — ficam no escuro. “Eles não comunicam em lugar nenhum”, diz Julia Simon-Mishel, advogada da Philadelphia Legal Assistance. “Frequentemente, não está escrito em nenhum tipo de guia ou manual de política. Estamos em desvantagem”.
A falta de verificação pública também torna os sistemas mais sujeitos a erros. Uma das avarias mais flagrantes aconteceu em Michigan em 2013. Após um grande esforço para automatizar o sistema de benefícios de desemprego do estado, o algoritmo sinalizou incorretamente mais de 34.000 pessoas por fraude . “Isso causou uma enorme perda de benefícios”, diz Simon-Mishel. “Houve falências; infelizmente houve suicídios. Foi uma bagunça completa”.
Gilman teme que dívidas e despejos relacionados ao coronavírus sejam codificados em contagens de crédito, tornando permanentemente mais difícil para as pessoas conseguirem empregos, apartamentos e empréstimos. SCOTT HEINS / GETTY IMAGES
Indivíduos de baixa renda são os que mais sofrem as consequências por essas mudanças em direção aos algoritmos. Eles são as pessoas mais vulneráveis a dificuldades econômicas temporárias que são codificadas em relatórios de consumidores e aquelas que precisam e buscam benefícios públicos. Ao longo dos anos, Gilman viu cada vez mais casos em que os clientes correm o risco de entrar em um ciclo vicioso. “Uma pessoa percorre tantos sistemas no dia a dia”, diz ela. “Quero dizer, todos nós fazemos. Mas as consequências disso são muito mais duras para os pobres e as minorias”.
Ela cita um caso atual em seu escritório como exemplo. Um membro da família perdeu o trabalho por causa da pandemia e foi negado o seguro-desemprego por causa de uma falha no sistema automatizado. A família então atrasou o pagamento do aluguel, o que levou o locador a processá-los para despejá-los. Embora o despejo não seja legal por causa da moratória do CDC , o processo ainda será fichado em registros públicos. Esses registros poderiam, então, alimentar algoritmos de triagem de inquilinos, o que tornaria mais difícil para a família encontrar uma moradia estável no futuro. O não pagamento do aluguel e dos serviços públicos também pode ser um problema em sua pontuação de crédito, o que mais uma vez tem repercussões. “Se eles estão tentando contratar um serviço de telefonia celular, fazer um empréstimo, comprar um carro ou se candidatar a um emprego, isso só tem esses efeitos em cascata”, diz Gilman.
“Cada caso vai se transformar em um caso de algoritmo”
Em setembro, Gilman, que atualmente é membro do corpo docente do instituto de pesquisa Data and Society, divulgou um relatório documentando todos os vários algoritmos que os defensores podem encontrar. Chamado de Poverty Lawgorithms, tem como objetivo servir de guia para seus colegas de campo. Dividido em áreas de prática específicas, como direito do consumidor, direito da família, habitação e benefícios públicos, ele explica como lidar com questões levantadas por algoritmos e outras tecnologias baseadas em dados no âmbito das leis existentes.
Se um apartamento for negado a um cliente devido a uma pontuação de crédito ruim, por exemplo, o relatório recomenda que um advogado verifique primeiro se os dados inseridos no sistema de pontuação são precisos. De acordo com o Fair Credit Reporting Act, as agências de relatórios são obrigadas a garantir a validade de suas informações, mas isso nem sempre acontece. Contestar quaisquer reivindicações incorretas poderia ajudar a restaurar o crédito do cliente e, portanto, o acesso à moradia. O relatório reconhece, no entanto, que as leis existentes não podem ir mais longe. Ainda há lacunas regulatórias a preencher, diz Gilman.
Gilman espera que o relatório seja um alerta. Muitos de seus colegas ainda não perceberam que isso está acontecendo e não são capazes de fazer as perguntas certas para descobrir os algoritmos. Aqueles que estão cientes do problema estão espalhados pelos EUA, aprendendo, navegando e lutando contra esses sistemas isoladamente. Ela vê uma oportunidade de conectá-los e criar uma comunidade mais ampla de pessoas que podem ajudar umas às outras. “Todos nós precisamos de mais treinamento, mais conhecimento – não apenas na lei, mas nesses sistemas”, diz ela. “Em última análise, é como se cada caso se transformasse em um caso de algoritmo”.
A longo prazo, ela olha para o mundo jurídico penal para se inspirar. Os advogados criminais estão “à frente da curva”, diz ela, ao se organizar como uma comunidade e lutarem contra os algoritmos de avaliação de risco que determinam a sentença. Ela quer ver os advogados civis fazerem a mesma coisa: criar um movimento para trazer mais escrutínio público e regulamentação para a teia oculta de algoritmos que seus clientes enfrentam. “Em alguns casos, provavelmente deveriam ser encerrados porque não há como torná-los justos”, diz ela.
Quanto a Miriam, após a condenação de Nick, ela se afastou para sempre. Ela se mudou com seus três filhos para um novo estado e se conectou com uma organização sem fins lucrativos que apoia sobreviventes de dívidas coagidas e violência doméstica. Por meio deles, ela teve uma série de aulas que a ensinaram como administrar suas finanças. A organização a ajudou a encerrar muitas de suas dívidas coagidas e aprender mais sobre algoritmos de crédito. Quando ela foi comprar um carro, sua pontuação de crédito mal atingiu o mínimo, mesmo com seu pai como cossignatário. Desde então, seus pagamentos consistentes das parcelas do carro e sua dívida estudantil lentamente reabasteceram sua pontuação de crédito.
Miriam ainda precisa ficar vigilante. Nick tem o número do seguro social dela e eles ainda não estão divorciados. Ela se preocupa constantemente com a possibilidade de ele abrir mais contas, fazer mais empréstimos em seu nome. Por um tempo, ela verificou seu relatório de crédito diariamente em busca de atividades fraudulentas. Mas, atualmente, ela também tem algo pelo qual ansiar. O pai dela, na casa dos 60 anos, quer se aposentar e se mudar. Os dois agora estão focados em se preparar para comprar uma casa. “Estou muito empolgada com isso. Minha meta é chegar a 700 até o final do ano”, diz ela sobre sua pontuação, “e então estarei definitivamente pronta para comprar uma casa”.
“Nunca morei em uma casa de minha propriedade”, acrescenta ela. “Ele e eu estamos trabalhando juntos para poupar o suficiente para termos um lar para sempre”.
MIT Technology Review
