A recente polêmica envolvendo o ChatGPT e outros modelos de linguagem trouxe à tona uma questão fundamental: mesmo os engenheiros que desenvolvem sistemas de Inteligência Artificial frequentemente não conseguem explicar como suas criações chegam a determinadas conclusões. Quando o CEO da OpenAI, Sam Altman, admitiu em audiência no Congresso americano que a empresa não compreende completamente o funcionamento interno do GPT-4, ele revelou um problema que vai muito além da curiosidade técnica.
Essa opacidade algorítmica não é uma falha temporária a ser corrigida, mas uma característica estrutural dos modelos de deep learning que dominam a IA contemporânea. E suas implicações são profundas: quando sistemas que influenciam decisões judiciais, aprovação de empréstimos, contratações e diagnósticos médicos operam como “caixas pretas”, surge uma nova forma de poder que escapa ao controle democrático.
A arquitetura da incompreensibilidade
Para entender por que chegamos a esse ponto, é preciso examinar como funcionam os modelos de deep learning. Diferentemente dos programas tradicionais, onde cada linha de código pode ser rastreada, as redes neurais artificiais operam através de milhões ou bilhões de parâmetros que interagem de maneiras complexas e não lineares.
Um estudo publicado na revista Nature em 2019 demonstrou que mesmo redes neurais relativamente simples, com apenas algumas camadas, podem desenvolver representações internas que seus próprios criadores não conseguem interpretar. Os pesquisadores da Universidade de Toronto descobriram que diferentes redes treinadas na mesma tarefa podem “aprender” estratégias completamente distintas, todas igualmente eficazes, mas incompreensíveis para observadores humanos.
Essa opacidade se intensifica exponencialmente com o tamanho dos modelos. O GPT-3, por exemplo, possui 175 bilhões de parâmetros – mais conexões do que neurônios no cérebro humano. Rastrear como essas conexões se combinam para produzir uma resposta específica é matematicamente impossível com as ferramentas atuais.
A herança estatística do controle social
A incompreensibilidade dos sistemas de IA contemporâneos tem raízes históricas profundas na própria origem da estatística moderna. Francis Galton, primo de Charles Darwin e pioneiro da estatística aplicada, não desenvolvia ferramentas matemáticas por curiosidade acadêmica, mas como instrumentos de um projeto político específico: a eugenia.
Galton acreditava que características como inteligência, criminalidade e moralidade eram hereditárias e quantificáveis. Suas técnicas estatísticas – muitas ainda em uso hoje – foram criadas para identificar “tipos superiores” e “inferiores” na população. O conceito de “regressão à média”, fundamental em machine learning, foi originalmente formulado por Galton para estudar a herança de traços “desejáveis” em famílias aristocráticas.
Karl Pearson, discípulo de Galton e criador do coeficiente de correlação, foi ainda mais explícito sobre os objetivos políticos da estatística. Em 1901, ele escreveu: “A estatística é a gramática da ciência, mas também é a chave para a eficiência nacional”. Pearson usou métodos estatísticos para defender políticas migratórias restritivas e programas de esterilização forçada.
Um paper de 2018 das pesquisadoras Timnit Gebru e Joy Joy Buolamwini documentou como esses vieses históricos persistem nos algoritmos contemporâneos. Sistemas de reconhecimento facial apresentam taxas de erro até 35% maiores para mulheres negras comparado a homens brancos, reproduzindo hierarquias sociais através de aparente neutralidade técnica.
Poder algorítmico e assimetria democrática
A opacidade dos sistemas de IA cria uma nova forma de assimetria de poder. De um lado, algoritmos que tomam decisões com impacto direto na vida das pessoas; do outro, cidadãos que não têm como compreender, questionar ou contestar essas decisões.
Esta dinâmica é particularmente problemática em sistemas de justiça criminal. O algoritmo COMPAS, usado em tribunais americanos para avaliar risco de reincidência, foi objeto de uma investigação da ProPublica, em 2016, que revelou viés racial sistemático. Réus negros eram classificados como “alto risco”, numa proporção quase duas vezes maior que réus brancos com históricos similares. Mas o funcionamento interno do COMPAS permanecia opaco, protegido por segredo comercial.
O projeto Panóptico, que monitora o uso de reconhecimento facial no Brasil desde 2020, revelou dados ainda mais alarmantes sobre a opacidade dessas tecnologias no país. O relatório “Vigilância por Lentes Opacas” (2024) analisou 50 projetos de reconhecimento facial em todas as regiões brasileiras e descobriu que mais de 70% dos projetos têm um índice de transparência inferior a quatro pontos numa escala de zero a dez. Ainda mais preocupante: 44% dos projetos não forneceram qualquer resposta a pedidos de informação via Lei de Acesso à Informação, demonstrando uma falha sistemática na prestação de contas.
A ilusão da explicabilidade técnica
Diante das críticas, a indústria de tecnologia tem promovido soluções de “IA explicável” (XAI). Empresas como Google, Microsoft e IBM desenvolveram ferramentas que mostram quais variáveis um modelo considera mais importantes para suas decisões. Mas essas explicações técnicas frequentemente mascaram mais do que revelam.
O problema da explicabilidade técnica foi analisado em profundidade por Timnit Gebru e Émile P. Torres no estudo The TESCREAL bundle: Eugenics and the promise of utopia through artificial general intelligence, de 2024, publicado na revista First Monday. As pesquisadoras argumentam que sistemas indefinidos como a “Inteligência Artificial Geral” não podem ser adequadamente testados para segurança, ao contrário de sistemas com aplicações específicas que podem ser avaliados seguindo princípios padrão de engenharia. Mais preocupante ainda, o estudo demonstra como a opacidade desses sistemas pode ser deliberadamente usada para “evadir responsabilização” enquanto se utiliza a linguagem de “segurança” e “beneficiar a humanidade”.
Cathy O’Neil, autora de Weapons of Math Destruction, argumenta que explicações técnicas para especialistas não resolvem o problema fundamental: “Se você precisa de um PhD em ciência da computação para entender por que foi rejeitado para um empréstimo, a explicação não é realmente democrática”.
Democratizar a Inteligência Artificial: além das soluções técnicas
A proliferação de projetos isolados de “IA ética” e regulamentações pontuais não deve obscurecer a necessidade de uma transformação estrutural mais profunda. Citar iniciativas desconectadas sem uma estratégia articulada de disputa não constitui, por si só, demonstração de caminhos alternativos viáveis.
O problema central não é a ausência de ferramentas técnicas para auditoria algorítmica ou marcos regulatórios esparsos, mas a concentração de poder nas mãos de poucas corporações tecnológicas globais. Empresas como Google, Meta, Microsoft e OpenAI controlam não apenas os modelos de IA mais influentes, mas também definem unilateralmente os termos do debate sobre seus impactos sociais.
Esta concentração de poder exige uma resposta política organizada que vai além de soluções técnicas pontuais. É necessário construir frentes amplas que articulem diferentes setores da sociedade – desde organizações de direitos digitais até sindicatos, passando por movimentos sociais, acadêmicos críticos e formuladores de políticas públicas comprometidos com a democratização tecnológica.
A disputa de narrativa é fundamental neste processo. Enquanto o discurso dominante apresenta a opacidade algorítmica como um “efeito colateral” inevitável do progresso tecnológico, é preciso reposicionar essa questão como uma escolha política deliberada que serve a interesses específicos. A complexidade técnica não é uma barreira natural à compreensão, mas uma barreira socialmente construída que pode e deve ser superada através de processos educativos e participativos mais amplos.
Uma abordagem promissora para enfrentar esse desafio vem do trabalho de pesquisadores brasileiros que propõem tratar algoritmos como instituições políticas. No livro “Algorithmic Institutionalism: The changing rules of social and political life” (2024), os professores Ricardo Fabrino Mendonça (UFMG), Virgílio Almeida (UFMG) e Fernando Filgueiras (UFG) argumentam que algoritmos funcionam como “conjuntos de regras formais e informais que balizam contextos de interação por meio da distribuição de sentidos e recursos” – exatamente como instituições tradicionais. Segundo os autores, quando consideramos algoritmos como instituições, precisamos “começar a refletir sobre sua governança, com transparência e responsabilização” – da mesma forma que fazemos com o Congresso Nacional ou o Supremo Tribunal Federal. Esta perspectiva oferece um framework teórico sólido para exigir dos algoritmos os mesmos padrões de accountability democrática que aplicamos a outras instituições de poder.
Por uma Política da Inteligência Artificial
A opacidade da Inteligência Artificial revela uma questão que transcende aspectos puramente técnicos: ela expressa uma forma específica de organização do poder na sociedade digital contemporânea. Quando sistemas algorítmicos operam sem prestação de contas, não reproduzem apenas estruturas de poder existentes – elas as cristalizam em código, tornando-as aparentemente inevitáveis e naturais.
A construção de alternativas democráticas exige reconhecer que a tecnologia não é neutra, mas resultado de escolhas políticas específicas que podem ser contestadas e reorientadas. Isso implica disputar não apenas como os algoritmos funcionam, mas quem tem poder para defini-los, implementá-los e modificá-los.
A democratização da Inteligência Artificial passa necessariamente pela construção de coalizões amplas capazes de enfrentar a concentração corporativa de poder tecnológico. Essas coalizões devem articular diferentes estratégias: desde a formação de quadros técnicos críticos até a mobilização social por regulamentações mais robustas, passando pela criação de infraestruturas tecnológicas alternativas e processos educativos que capacitem diferentes setores da sociedade para participar ativamente desses debates.
O direito à explicação algorítmica emerge, assim, não como uma demanda técnica isolada, mas como parte de uma agenda mais ampla de democratização do poder na era digital. Esta agenda não pode ser construída através de iniciativas fragmentadas ou soluções puramente tecnocráticas, mas exige um projeto político articulado que coloque a questão da justiça social no centro do desenvolvimento tecnológico.
Em última instância, a alternativa à tecnocracia algorítmica não é simplesmente mais transparência técnica, mas a construção de formas de organização social onde as decisões sobre tecnologia sejam tomadas democraticamente, considerando seus impactos diferenciados sobre diferentes grupos sociais. Esta é uma tarefa que vai muito além da comunidade técnica e exige o engajamento ativo de toda a sociedade.
Nina da Hora
