A propensão de os sistemas de Inteligência Artificial cometerem erros e de os humanos não perceberem esses erros tem estado em plena evidência no sistema jurídico dos Estados Unidos recentemente. As falhas começaram quando advogados, inclusive de firmas renomadas, apresentaram documentos citando casos que não existiam. Erros semelhantes logo se espalharam para outras funções nos tribunais. Em dezembro, um professor de Stanford apresentou um depoimento juramentado contendo alucinações e equívocos em um processo sobre deepfakes, apesar de ele próprio ser especialista em IA e desinformação.
A responsabilidade acabou recaindo sobre os juízes que quer tenham sido eles ou a parte contrária a identificar os erros emitiram reprimendas e multas, provavelmente deixando os advogados suficientemente constrangidos para pensar duas vezes antes de confiar novamente na IA.
Mas agora os juízes também estão experimentando a IA generativa. Alguns estão confiantes de que, com as devidas precauções, a tecnologia pode agilizar pesquisas jurídicas, resumir casos, redigir despachos rotineiros e, em geral, ajudar a acelerar o sistema judiciário, que sofre com grandes acúmulos em muitas partes dos Estados Unidos. Neste verão, porém, já vimos erros gerados por IA passarem despercebidos e serem citados por juízes. Um juiz federal em Nova Jersey teve de republicar uma ordem repleta de erros que podem ter vindo da IA, e um juiz no Mississippi se recusou a explicar por que sua decisão também continha falhas que pareciam alucinações.
Os resultados desses experimentos iniciais deixam duas coisas claras. Primeiro, a categoria de tarefas rotineiras, para as quais a IA pode ajudar sem exigir julgamento humano, mas é difícil de definir. Segundo, enquanto os advogados enfrentam forte escrutínio quando o uso da tecnologia leva a erros, os juízes podem não enfrentar o mesmo nível de responsabilização, e reverter seus enganos antes que causem danos é muito mais difícil.
Traçando limites
Xavier Rodriguez, juiz federal do Distrito Oeste do Texas, tem bons motivos para ser cético em relação à IA. Ele começou a estudar Inteligência Artificial em 2018, quatro anos antes do lançamento do ChatGPT (em parte graças à influência de seu irmão gêmeo, que trabalha no setor de tecnologia). Mas também já viu erros gerados por IA em seu próprio tribunal.
Em uma disputa recente sobre quem deveria receber uma indenização de seguro, tanto o autor quanto o réu se representaram sozinhos, sem advogados (o que não é incomum, quase um quarto dos processos cíveis em tribunais federais envolve pelo menos uma das partes sem representação). As duas partes escreveram suas próprias petições e apresentaram seus próprios argumentos.
“Ambos os lados usaram ferramentas de IA”, diz Rodriguez, e ambos apresentaram petições que faziam referência a casos inventados. Ele tinha autoridade para repreendê-los, mas, como não eram advogados, optou por não fazê-lo.
“Acho que houve uma reação exagerada de muitos juízes em relação a essas sanções. A piada que costumo contar quando participo de palestras é que advogados já vinham tendo alucinações muito antes da IA”, afirma. Para Rodriguez, deixar passar um erro de um modelo de IA não é tão diferente de não perceber o erro de um advogado de primeiro ano. “Não me sinto tão ofendido quanto todo mundo”, diz.
Em seu tribunal, Rodriguez tem usado ferramentas de IA generativa (ele não revelou publicamente quais, para evitar a aparência de endosso) para resumir casos. Ele pede à IA que identifique os principais envolvidos e, em seguida, elabore uma linha do tempo dos eventos-chave. Antes de audiências específicas, Rodriguez também pede que a IA gere perguntas para os advogados com base nos materiais apresentados.
Essas tarefas, para ele, não dependem do julgamento humano. Também oferecem muitas oportunidades para que ele intervenha e descubra eventuais erros antes de chegarem ao tribunal. “Não se trata de nenhuma decisão final sendo tomada, então é relativamente sem risco”, afirma. Já usar IA para prever se alguém deve ser elegível para fiança, por outro lado, vai longe demais na direção do julgamento e da discricionariedade, em sua visão.
Erin Solovey, professora e pesquisadora em interação humano-IA no Worcester Polytechnic Institute, em Massachusetts, estudou recentemente como juízes no Reino Unido enxergam essa distinção entre trabalhos rotineiros, adequados para máquinas e aparentemente seguros de delegar à IA, e tarefas que dependem mais fortemente da experiência humana.
“A linha entre o que é apropriado para um juiz humano fazer versus o que é apropriado para ferramentas de IA fazer muda de juiz para juiz e de um cenário para outro”, afirma.
Mesmo assim, segundo Solovey, algumas dessas tarefas simplesmente não correspondem ao que a IA faz bem. Pedir que a IA resuma um documento extenso, por exemplo, pode gerar resultados drasticamente diferentes dependendo de o modelo ter sido treinado para resumir para um público geral ou para um público jurídico. A IA também enfrenta dificuldades em tarefas baseadas em lógica, como ordenar os eventos de um caso. “Uma linha do tempo que soa muito plausível pode estar incorreta em termos factuais”, afirma Solovey.
Rodriguez e vários outros juízes elaboraram diretrizes que foram publicadas em fevereiro pela Sedona Conference, um influente think tank que emite princípios para áreas particularmente nebulosas do direito. Elas descrevem uma série de usos potencialmente “seguros” da IA para juízes, incluindo a realização de pesquisas jurídicas, a criação de transcrições preliminares e a busca em petições, ao mesmo tempo em que alertam que os juízes devem verificar as saídas da IA e que “nenhuma ferramenta GenAI conhecida resolveu completamente o problema das alucinações.”
Evitando erros da IA
A juíza Allison Goddard, magistrada federal na Califórnia e coautora das diretrizes, percebeu pela primeira vez o impacto que a IA teria no Judiciário quando deu uma aula sobre a arte da advocacia na escola secundária de sua filha. Ela ficou impressionada com a redação de uma aluna e comentou com a filha. “Ela disse: ‘Ah, mãe, isso é o ChatGPT.’”
“O que percebi muito rapidamente foi que isso realmente vai transformar a profissão jurídica”, afirma. Em seu tribunal, Goddard tem experimentado o ChatGPT, o Claude (que ela mantém “aberto o dia inteiro”) e uma série de outros modelos de IA. Se um caso envolve uma questão particularmente técnica, ela pode pedir à IA que a ajude a entender quais perguntas deve fazer aos advogados. Ela resume despachos de 60 páginas do juiz distrital e depois pede ao modelo de IA que faça perguntas adicionais sobre o conteúdo, ou que organize informações de documentos confusos.
“É como um parceiro de reflexão, e traz uma perspectiva que talvez você não tivesse considerado”, diz.
Goddard também incentiva seus assessores a usarem IA, especificamente o Claude da Anthropic, porque por padrão ele não treina com as conversas dos usuários. Mas há limites. Para qualquer coisa que exija conhecimento específico da lei, ela recorre a ferramentas da Westlaw ou da Lexis, que possuem recursos de IA desenvolvidos especificamente para advogados, mas considera os modelos de IA de uso geral mais rápidos para muitas outras tarefas. E suas preocupações com viés a impediram de usá-los em tarefas em casos criminais, como determinar se havia causa provável para uma prisão.
Nesse ponto, Goddard parece estar presa no mesmo dilema que o boom da IA criou para muitos de nós. Três anos depois, as empresas construíram ferramentas que soam tão fluentes e humanas que acabam obscurecendo os problemas insolúveis que estão por trás delas — respostas que parecem boas, mas estão erradas; modelos treinados para serem razoáveis em tudo, mas perfeitos em nada; e o risco de que suas conversas sejam expostas na internet. Cada vez que os usamos, apostamos que o tempo economizado compensará os riscos e confiamos em nossa capacidade de detectar os erros antes que tenham consequências. Para os juízes, as apostas são altíssimas: se perderem essa aposta, enfrentam consequências públicas muito visíveis, e o impacto desses erros sobre as pessoas que atendem pode ser duradouro.
“Não vou ser a juíza que cita casos e despachos alucinados”, afirma Goddard. “É realmente constrangedor, muito constrangedor profissionalmente.”
Ainda assim, alguns juízes não querem ficar para trás na era da IA. Com alguns no setor de IA sugerindo que a suposta objetividade e racionalidade dos modelos poderiam torná-los melhores juízes do que humanos falíveis, isso pode levar alguns magistrados a pensar que ficar para trás representa um risco maior do que se adiantar demais.
Uma “crise prestes a acontecer”
Os riscos da adoção precoce acenderam o alerta do juiz Scott Schlegel, que atua na Corte de Apelações do Quinto Circuito, na Louisiana. Schlegel há muito escreve em seu blog sobre o papel útil que a tecnologia pode desempenhar na modernização do sistema judiciário, mas alertou que erros gerados por IA em decisões judiciais sinalizam uma “crise prestes a acontecer”, que superaria em muito o problema de advogados apresentarem petições com casos inventados.
Advogados que cometem erros podem ser sancionados, ter suas moções rejeitadas ou perder processos quando a parte contrária descobre e aponta as falhas. “Quando o juiz comete um erro, isso é a lei”, afirma. “Não posso, um mês ou dois depois, dizer ‘Ops, desculpe,’ e me retratar. Não funciona assim.”
Considere casos de custódia de crianças ou audiências de fiança, diz Schlegel: “Há consequências bastante significativas quando um juiz se baseia em inteligência artificial para tomar a decisão”, especialmente se as citações que embasam essa decisão forem inventadas ou incorretas.
E isso não é algo apenas teórico. Em junho, um juiz de apelação da Geórgia emitiu uma ordem que se baseava parcialmente em casos inventados apresentados por uma das partes, um erro que não foi identificado. Em julho, um juiz federal em Nova Jersey retirou uma opinião depois que advogados reclamaram de que ela também continha alucinações.
Ao contrário dos advogados, que podem ser obrigados pelo tribunal a explicar por que há erros em suas petições, juízes não precisam demonstrar muita transparência, e há poucas razões para acreditar que farão isso voluntariamente. Em 4 de agosto, um juiz federal do Mississippi precisou emitir uma nova decisão em um caso de direitos civis depois que a original foi considerada incorreta, com nomes equivocados e erros graves. O juiz não explicou totalmente o que levou aos erros, mesmo após o estado pedir que o fizesse. “Nenhuma explicação adicional é necessária”, escreveu ele.
Esses erros podem minar a confiança do público na legitimidade dos tribunais, afirma Schlegel. Certas aplicações restritas e monitoradas da IA, como resumir testemunhos ou obter um retorno rápido sobre um texto, podem economizar tempo, e podem produzir bons resultados se os juízes tratarem o trabalho como o de um estagiário de primeiro ano, verificando minuciosamente sua precisão. Mas a maior parte do trabalho de ser juiz consiste no que ele chama de problema da página em branco: você está presidindo um caso complexo com uma página em branco à sua frente, forçado a tomar decisões difíceis. Refletir sobre essas decisões, diz ele, é justamente o trabalho de ser juiz. Contar com ajuda da IA para um primeiro rascunho mina esse propósito.
“Se você está decidindo com quem as crianças vão ficar neste fim de semana e alguém descobre que você usou o Grok e deveria ter usado o Gemini ou o ChatGPT sabe, isso não é o sistema de justiça.”
James O'Donnell
