Como muitos assinantes da Netflix, acho que meu feed pessoal tende a ser um sucesso ou um fracasso. Em geral, é mais um erro. Os filmes e programas que os algoritmos recomendam geralmente parecem menos baseados em meu histórico de visualização e classificações, e mais voltados para promover o que está disponível recentemente. Ainda assim, quando um filme de super-herói estrelado por uma das atrizes mais famosas do mundo apareceu na minha lista de “Top Picks”, fiz o que 78 milhões de outras famílias fizeram e cliquei.
Enquanto assistia ao filme, algo me chamou a atenção: algoritmos de recomendação como os pioneiros da Netflix não estavam apenas me servindo o que eles achavam que eu gostaria — eles também estavam moldando o que seria feito. E não em um bom sentido.
O filme em questão não era necessariamente ruim. As atuações foram razoáveis, e ele tinha altos valores de produção e um enredo discernível (pelo menos para um filme de super-herói). O que me impressionou, porém, foi uma vaga sensação de déjà vu — como se eu já tivesse assistido ao filme antes, embora não o tivesse feito. Quando o filme terminou, eu o esqueci imediatamente.
Isto é, até começar a ler o recente livro de Kyle Chayka, Filterworld: How Algorithms Flattened Culture. Escritor da equipe da New Yorker, Chayka é um observador astuto das formas como a internet e a mídia social afetam a cultura. “Filterworld” é como ele chama a “vasta e interligada (…) rede de algoritmos” que influencia tanto nossa vida cotidiana quanto a “maneira como a cultura é distribuída e consumida”.
Música, cinema, artes visuais, literatura, moda, jornalismo, alimentação. Chayka argumenta que as recomendações algorítmicas alteraram fundamentalmente todos esses produtos culturais, não apenas influenciando o que é visto ou ignorado, mas criando uma espécie de suavidade que reforça a si mesma, com a qual todos nós estamos lutando agora.
O filme de super-heróis que assisti é um ótimo exemplo. Apesar da minha ambivalência geral em relação ao gênero, o algoritmo da Netflix colocou o filme no topo do meu feed, onde era muito mais provável que eu clicasse nele. E eu cliquei. Essa “escolha” foi então registrada pelos algoritmos, que provavelmente concluíram que eu gostei do filme e o recomendaram a ainda mais espectadores. Assistir, achar estranho, repetir.
“A cultura do mundo dos filtros é, em última análise, homogênea”, escreve Chayka, “marcada por uma sensação generalizada de mesmice, mesmo quando seus artefatos não são literalmente os mesmos”. Talvez todos nós vejamos coisas diferentes em nossos feeds, diz ele, mas cada vez mais elas são do mesmo tipo de diferente. Por meio desses loops de feedback sem graça, o que é popular se torna mais popular, o que é obscuro desaparece rapidamente e as formas de entretenimento de denominação mais baixa inevitavelmente chegam ao topo repetidas vezes.
Na verdade, isso é o oposto da personalização que a Netflix promete, observa Chayka. As recomendações algorítmicas reduzem o gosto — tradicionalmente, uma opinião diferenciada e evolutiva que formamos sobre questões estéticas e artísticas — a alguns pontos de dados facilmente quantificáveis. Essa simplificação excessiva força os criadores de filmes, livros e músicas a se adaptarem à lógica e às pressões do sistema algorítmico. Torne-se viral ou morra. Envolva-se. Atraia o maior número possível de pessoas. Seja popular.
Uma piada publicada no X por um engenheiro do Google resume o problema: “um algoritmo de machine learning entra em um bar. O barman pergunta: ‘O que você quer?’. O algoritmo diz: ‘O que todo mundo está tomando?'”. “Na cultura algorítmica, a escolha certa é sempre a que a maioria das outras pessoas já escolheu”, escreve Chayka.
Um desafio para quem está escrevendo um livro como Filterworld — ou realmente qualquer livro que trate de assuntos de importância cultural — é o perigo de (intencionalmente ou não) parecer um suposto árbitro do gosto ou, pior ainda, um esnobe absoluto. Como alguém poderia perguntar o que há de errado com um pouco de entretenimento sem sentido? (Muitos perguntaram exatamente isso em resposta ao polêmico ensaio de Martin Scorsese para a Harper’s em 2021, que criticava os filmes da Marvel e o estado atual do cinema).
Chayka aborda essas questões de frente. Ele argumenta que, na verdade, apenas trocamos um conjunto de guardiões (editores de revistas, DJs de rádio, curadores de museus) por outro (Google, Facebook, TikTok, Spotify). Criados e controlados por um punhado de empresas insondavelmente ricas e poderosas (que geralmente são lideradas por um homem branco, rico e poderoso), os algoritmos atuais nem sequer tentam recompensar ou ampliar a qualidade que, obviamente, é subjetiva e difícil de quantificar. Em vez disso, eles se concentram na única métrica que passou a dominar todas as coisas na Internet: o engajamento.
Pode não haver nada de inerentemente errado (ou novo) em um entretenimento “paint-by-numbers” que é projetado para atrair as massas. Mas o que as recomendações algorítmicas fazem é sobrecarregar os incentivos para criar apenas esse tipo de conteúdo, a ponto de corrermos o risco de não sermos expostos a mais nada.
“A cultura não é uma torradeira que você possa classificar com cinco estrelas”, escreve Chayka, “embora o site Goodreads, agora de propriedade da Amazon, tente aplicar essas classificações aos livros. Há muitas experiências de que gosto — um romance sem enredo como Outline, de Rachel Cusk, por exemplo — que outros, sem dúvida, dariam uma nota ruim. Mas essas são as regras que o Filterworld agora impõe para tudo”.
Chayka argumenta que cultivar nosso gosto pessoal é importante, não porque uma forma de cultura seja comprovadamente melhor do que outra, mas porque esse processo lento e deliberado faz parte de como desenvolvemos nossa própria identidade e senso de identidade. Se isso for retirado, você realmente se tornará a pessoa que o algoritmo pensa que você é.
Onipresença algorítmica
Como Chayka aponta em Filterworld, os algoritmos “podem parecer uma força que só começou a existir (…) na era das redes sociais” quando, na verdade, eles têm “uma história e um legado que se formaram lentamente ao longo dos séculos, muito antes da internet existir”. Então, como exatamente chegamos a esse momento de onipresença algorítmica? Como essas máquinas de recomendação passaram a dominar e moldar quase todos os aspectos de nossa vida online e (cada vez mais) offline? Ainda mais importante, como nós mesmos nos tornamos os dados que as alimentam?
Essas são algumas das perguntas que Chris Wiggins e Matthew L. Jones se propuseram a responder em How Data Happened: A History from the Age of Reason to the Age of Algorithms (Como os dados aconteceram: uma história da era da razão à era dos algoritmos). Wiggins é professor de matemática aplicada e biologia sistêmica na Universidade de Columbia. Ele também é o cientista-chefe de dados do New York Times. Jones é atualmente professor de história em Princeton. Até recentemente, ambos lecionavam um curso de graduação na Columbia, que serviu de base para o livro.
Eles começam sua investigação histórica em um momento que, segundo eles, é crucial para entender nossa situação atual: o nascimento das estatísticas no final do século XVIII e início do século XIX. Foi um período de conflito e agitação política na Europa. Foi também uma época em que as nações estavam começando a adquirir os meios e a motivação para rastrear e medir suas populações em uma escala sem precedentes.
“A guerra exigia dinheiro; o dinheiro exigia impostos; os impostos exigiam burocracias crescentes; e essas burocracias precisavam de dados”, escrevem eles. As “estatísticas” podem ter descrito originalmente “o conhecimento do estado e de seus recursos, sem nenhuma tendência ou aspiração particularmente quantitativa”, mas isso começou a mudar rapidamente com o surgimento de novas ferramentas matemáticas para examinar e manipular dados.
Uma das pessoas que usaram essas ferramentas foi o astrônomo belga Adolphe Quetelet, do século XIX. Famoso por, entre outras coisas, desenvolver o altamente problemático índice de massa corporal (IMC), Quetelet teve a audaciosa ideia de usar as técnicas estatísticas que seus colegas astrônomos haviam desenvolvido para estudar a posição das estrelas e usá-las para entender melhor a sociedade e seu povo. Essa nova “física social”, baseada em dados sobre fenômenos como crime e características físicas humanas, poderia, por sua vez, revelar verdades ocultas sobre a humanidade, argumentou ele.
“O lampejo de gênio de Quetelet — independentemente de sua falta ou rigor —foi tratar as médias sobre os seres humanos como se fossem quantidades reais que estivéssemos descobrindo”, escrevem Wiggins e Jones. “Ele agiu como se a altura média de uma população fosse algo real, assim como a posição de uma estrela.”
De Quetelet e seu “homem médio” à eugenia de Francis Galton e à “inteligência geral” de Karl Pearson e Charles Spearman, Wiggins e Jones traçam uma progressão deprimente de tentativas – muitas delas bem-sucedidas — de usar dados como base científica para hierarquias raciais e sociais. Os dados acrescentaram “um verniz científico à criação de todo um aparato de discriminação e privação de direitos”, escrevem eles. É um legado com o qual ainda estamos lutando hoje.
Outro conceito errôneo que persiste? A noção de que os dados sobre as pessoas são, de alguma forma, medidas objetivas da verdade. “Dados brutos são um oximoro”, observou a historiadora da mídia Lisa Gitelman há alguns anos. De fato, toda coleta de dados é resultado de escolha humana, desde o que coletar até como classificá-los e quem é incluído e excluído.
Quer se trate de pobreza, prosperidade, inteligência ou capacidade de crédito, essas não são coisas reais que possam ser medidas diretamente, observam Wiggins e Jones. Para quantificá-las, é preciso escolher um substituto de fácil medição. Essa “reificação” (“literalmente, fazer uma coisa a partir de uma abstração sobre coisas reais”) pode ser necessária em muitos casos, mas essas escolhas nunca são neutras ou sem problemas. “Os dados são criados, não encontrados”, escrevem eles, “seja em 1600, 1780 ou 2022”.
Talvez a façanha mais impressionante que Wiggins e Jones realizam no livro, à medida que continuam a mapear a evolução dos dados ao longo do século 20 e atualmente, seja desmantelar a ideia de que há algo inevitável na maneira como a tecnologia progride.
Para Quetelet e seus semelhantes, recorrer aos números para entender melhor os seres humanos e a sociedade não era uma escolha óbvia. De fato, desde o início, todos, de artistas a antropólogos, compreenderam as limitações inerentes aos dados e à quantificação, fazendo algumas das mesmas críticas aos estatísticos que Chayka faz aos sistemas algorítmicos atuais (“Esses estatísticos ‘não veem qualidade alguma, mas apenas quantidade'”).
Independentemente de estarem falando sobre as técnicas de machine learning que sustentam os esforços atuais de IA ou sobre uma internet criada para coletar nossos dados pessoais e nos vender coisas, Wiggins e Jones contam muitos momentos da história em que as coisas poderiam ter seguido um caminho diferente.
“O presente não é uma sentença de prisão, mas apenas nosso instantâneo atual”, escrevem eles. “Não precisamos usar sistemas de decisão algorítmicos antiéticos ou opacos, mesmo em contextos em que seu uso possa ser tecnicamente viável. Anúncios baseados em vigilância em massa não são elementos necessários de nossa sociedade. Não precisamos criar sistemas que aprendam as estratificações do passado e do presente e as reforcem no futuro. A privacidade não está morta por causa da tecnologia; não é verdade que a única maneira de apoiar o jornalismo, a redação de livros ou qualquer outro ofício que seja importante para você é espionando-o para veicular anúncios. Existem alternativas.”
Uma necessidade urgente de regulamentação
Se o objetivo de Wiggins e Jones era revelar a tradição intelectual subjacente aos sistemas algorítmicos atuais, incluindo “o papel persistente dos dados na reorganização do poder”, Josh Simons está mais interessado em saber como o poder algorítmico é exercido em uma democracia e, mais especificamente, como podemos regulamentar as empresas e instituições que o exercem.
Atualmente como pesquisador em teoria política em Harvard, Simons tem um histórico único. Ele não apenas trabalhou por quatro anos no Facebook, onde foi membro fundador do que se tornou a equipe de “Responsable AI”, mas também atuou anteriormente como consultor de políticas do Partido Trabalhista no Parlamento do Reino Unido.
Em Algorithms for the People: Democracy in the Age of AI, Simons se baseia no trabalho seminal de autores como Cathy O’Neil, Safiya Noble e Shoshana Zuboff para argumentar que a previsão algorítmica é inerentemente política. “Meu objetivo é explorar como fazer a democracia funcionar na próxima era do machine learning”, escreve ele. “Nosso futuro será determinado não pela natureza do machine learning em si — os modelos de aprendizado de máquina simplesmente fazem o que mandamos — mas pelo nosso compromisso com a regulamentação que garante o machine learning fortaleça as bases da democracia.”
Grande parte da primeira metade do livro é dedicada a revelar todas as maneiras pelas quais continuamos a entender mal a natureza do machine learning e como seu uso pode prejudicar profundamente a democracia. E se uma “democracia próspera” — um termo que Simons usa ao longo do livro, mas nunca define — nem sempre for compatível com a governança algorítmica? Bem, essa é uma questão que ele nunca aborda de fato.
Sejam esses pontos cegos ou se Simons simplesmente acredita que a previsão algorítmica é, e continuará sendo, uma parte inevitável de nossas vidas, a falta de clareza não favorece em nada o livro. Embora ele esteja em um terreno muito mais firme ao explicar como o machine learning funciona e ao desconstruir os sistemas por trás do PageRank do Google e do Feed do Facebook, ainda há omissões que não inspiram confiança. Por exemplo, Simons leva um tempo desconfortavelmente longo para reconhecer uma das principais motivações por trás do design dos algoritmos do PageRank e do Feed: o lucro. Não é algo a ser ignorado se você quiser desenvolver uma estrutura regulatória eficaz.
Muito do que é discutido na segunda metade do livro será familiar para qualquer pessoa que esteja acompanhando as notícias sobre plataformas e regulamentação da internet (dica: deveríamos tratar os provedores mais como serviços públicos). E, embora Simons tenha algumas ideias criativas e inteligentes, suspeito que até mesmo os especialistas em políticas mais fervorosos sairão do livro se sentindo um pouco desmoralizados, dada a situação atual da política nos Estados Unidos.
No final, a mensagem mais esperançosa que esses livros oferecem está embutida na natureza dos próprios algoritmos. Em Filterworld, Chayka inclui uma citação do falecido e grande antropólogo David Graeber: “A verdade suprema e oculta do mundo é que ele é algo que fazemos e que poderíamos facilmente fazer de forma diferente”. É um sentimento que ecoa em todos os três livros — talvez sem a parte do “facilmente”.
Os algoritmos podem consolidar nossos preconceitos, homogeneizar e achatar a cultura e explorar e suprimir os vulneráveis e marginalizados. Mas esses não são sistemas completamente inescrutáveis ou resultados inevitáveis. Eles também podem fazer o contrário. Observe atentamente qualquer algoritmo de machine learning e você inevitavelmente encontrará pessoas pessoas fazendo escolhas sobre quais dados coletar e como ponderá-los, escolhas sobre o design e as variáveis-alvo. E, sim, até mesmo escolhas sobre a possibilidade de usá-los. Enquanto os algoritmos forem criados por seres humanos, também poderemos optar por criá-los de forma diferente.
Bryan Gardiner é um escritor que vive em Oakland, Califórnia.
——
MIT Technology Review
