Todos nós queremos ser capazes de falar o que pensamos online, seja para sermos ouvidos por nossos amigos ou responder nossos rivais. Ao mesmo tempo, não queremos ser expostos a discursos inapropriados ou que ultrapassem os limites. As empresas de tecnologia lidam com esse enigma estabelecendo padrões para a liberdade de expressão, uma prática protegida por lei federal. Eles contratam moderadores internos para examinar partes individuais de conteúdo e removê-los se as postagens violarem regras predefinidas estabelecidas pelas plataformas.
Essa prática claramente tem problemas: assédio, desinformação sobre tópicos como saúde pública e declarações falsas de eleições legítimas seguem desenfreados. Mas mesmo que a moderação de conteúdo fosse implementada perfeitamente, ainda assim, deixaria passar toda uma série de problemas que muitas vezes são retratados como problemas de moderação, mas na verdade não são. Para lidar com esses problemas não relacionados ao discurso, precisamos de uma nova estratégia: tratar as empresas de rede social como potenciais poluidoras da camada social e medir e mitigar diretamente os efeitos que suas decisões têm sobre as populações humanas. Isso significa estabelecer uma estrutura de políticas – talvez por meio de algo semelhante a uma Agência de Proteção Ambiental (EPA) ou Administração de Alimentos e Medicamentos (FDA) para as plataformas sociais – que possa ser usada para identificar e avaliar os danos sociais gerados por elas. Se esses danos persistirem, esse grupo poderá ser dotado da capacidade de impor essas políticas. Mas para transcender as limitações da moderação de conteúdo, tal regulação teria que ser motivada por evidências claras e ser capaz de ter um impacto demonstrável sobre os problemas que se propõe a resolver.
A moderação (seja automatizada ou humana) pode funcionar potencialmente para o que chamamos de danos “graves”: aqueles causados diretamente por partes individuais de conteúdo. Mas precisamos dessa nova abordagem porque também há uma série de problemas “estruturais” — questões como discriminação, redução da saúde mental e declínio da confiança cívica — que se manifestam de maneira ampla na plataforma, e não em qualquer conteúdo individual. Um exemplo famoso desse tipo de problema estrutural é o experimento de “contágio emocional” do Facebook em 2012 , que mostrou que o afeto dos usuários (seu humor medido por seu comportamento na rede social) mudou de forma mensurável dependendo de qual versão do produto eles foram expostos.
Na reação que se seguiu depois que os resultados se tornaram públicos, o Facebook (agora Meta) encerrou esse tipo de experimentação deliberada. Mas só porque eles pararam de medir tais efeitos não significa que eles tenham parado.
Problemas estruturais são resultados diretos de escolhas de produtos. Os gerentes de produto de empresas de tecnologia como Facebook, YouTube e TikTok são incentivados a se concentrar principalmente em maximizar o tempo e o engajamento nas plataformas. E a experimentação ainda está muito viva: quase todas as mudanças de produtos são implantadas em pequenos públicos de teste por meio de ensaios controlados randomizados. Para avaliar o progresso, as empresas implementam processos de gestão rigorosos para promover suas missões centrais (conhecidas como Objetivos e Resultados-Chave, ou OKRs), chegando até mesmo a usar esses resultados para determinar bônus e promoções. A responsabilidade de lidar com as consequências das decisões sobre o produto é muitas vezes atribuída a outras equipes que geralmente são subsequentes e têm menos autoridade para lidar com as causas-raiz. Essas equipes geralmente são capazes de responder a danos graves, mas muitas vezes não conseguem lidar com problemas causados pelos próprios produtos.
Com atenção e foco, essa mesma estrutura de desenvolvimento de produtos poderia ser voltada para a questão dos danos sociais. Considere o testemunho no Congresso de Frances Haugen no ano passado, juntamente com as revelações da mídia sobre o suposto impacto do Facebook na saúde mental dos adolescentes. O Facebook respondeu às críticas explicando que havia estudado se os adolescentes sentiam que o produto tinha um efeito negativo em sua saúde mental e se essa percepção os fazia usar menos o produto, e não se o produto realmente tinha um efeito prejudicial. Embora a resposta possa ter encaminhado essa controvérsia específica, ela demonstrou que um estudo voltado diretamente para a questão da saúde mental, em vez de seu impacto no envolvimento do usuário, não seria um grande esforço.
Incorporar avaliações de danos sistêmicos não será fácil. Teríamos que definir o que podemos realmente medir de forma rigorosa e sistemática, o que exigiríamos das empresas e quais questões priorizar em tais avaliações.
As próprias empresas podem implementar protocolos, mas seus interesses financeiros muitas vezes encontrariam limitações significativas no desenvolvimento e crescimento de produtos. Essa realidade é um caso padrão para regulação que opera em nome do público. Seja por meio de um novo mandato legal da Federal Trade Commission ou diretrizes de mitigação de danos de uma nova agência governamental, o trabalho do regulador seria estar junto às equipes de desenvolvimento de produtos das empresas de tecnologia para projetar protocolos implementáveis mensuráveis durante o desenvolvimento do produto para avaliar sinais significativos de dano.
Essa abordagem pode parecer complicada, mas adicionar esses tipos de protocolos deve ser simples para as maiores empresas (as únicas às quais a regulamentação deve se aplicar), porque elas já construíram ensaios controlados randomizados em seu processo de desenvolvimento para medir sua eficácia. A parte mais demorada e complexa seria definir os padrões. A execução real dos testes não exigiria nenhuma participação regulatória. Exigiria apenas fazer perguntas de diagnóstico ao lado de perguntas normais relacionadas ao crescimento e, em seguida, tornar esses dados acessíveis a revisores externos. Nosso próximo artigo, que será apresentado na Conferência ACM de 2022 sobre Equidade e Acesso em Algoritmos, Mecanismos e Otimização, explicará esse procedimento com mais detalhes e descreverá como ele pode ser efetivamente estabelecido.
Quando produtos que atingem dezenas de milhões são testados quanto à sua capacidade de aumentar o engajamento, as empresas precisariam garantir que eles, pelo menos em conjunto, também obedecessem ao princípio “não piore o problema”. Com o tempo, padrões mais agressivos podem ser estabelecidos para reverter os efeitos existentes de produtos já aprovados.
Existem muitos métodos que podem ser adequados para este tipo de processo. Isso inclui protocolos como o medidor de efeito fotográfico, que tem sido usado em diagnósticos para avaliar como a exposição a produtos e serviços afeta o humor. Plataformas de tecnologia já estão usando pesquisas para avaliar mudanças de produtos. De acordo com as jornalistas Cecilia Kang e Sheera Frankel, Mark Zuckerberg analisa as métricas de crescimento baseadas em pesquisas para quase todas as decisões de produtos, cujos resultados fizeram parte de sua decisão de reverter a “melhor” versão do algoritmo de feed de notícias do Facebook após as eleições de 2020.
Seria razoável perguntar se a indústria de tecnologia vê essa abordagem como viável e se as empresas lutariam contra ela. Embora qualquer regulamentação em potencial possa gerar tal resposta, recebemos feedback positivo das primeiras conversas sobre essa estrutura, talvez porque, sob nossa proposta, a maioria das decisões de produtos seria aprovada. (Causar danos mensuráveis do tipo descrito aqui é uma barreira muito alta, que a maioria das escolhas de produtos eliminaria.) E, diferentemente de outras propostas, essa estratégia evita a regulação direta do discurso, pelo menos fora dos casos mais extremos.
Ao mesmo tempo, não precisamos esperar que os reguladores tomem medidas. As empresas poderiam implementar prontamente esses procedimentos por conta própria. Estabelecer o caso para a mudança, no entanto, é difícil sem primeiro começar a coletar o tipo de dados de alta qualidade que estamos descrevendo aqui. Isso porque não se pode provar a existência desses tipos de danos sem medição em tempo real, criando um desafio do ovo e da galinha. O monitoramento proativo de danos estruturais não resolverá os problemas de conteúdo das plataformas. Mas poderia nos permitir verificar de forma significativa e contínua se o interesse público está sendo subvertido.
A Agência de Proteção Ambiental dos EUA é uma analogia adequada. O propósito original da agência não era legislar a política ambiental, mas promulgar padrões e protocolos para que políticas com resultados acionáveis pudessem ser feitas. Desse ponto de vista, o impacto duradouro da EPA não foi resolver os debates sobre políticas ambientais (não resolveu), mas torná-los possíveis. Da mesma forma, o primeiro passo para consertar as redes sociais é criar a infraestrutura necessária para examinar os resultados na fala, bem-estar mental e confiança cívica em tempo real. Sem isso, seremos impedidos de resolver muitos dos problemas mais prementes que essas plataformas criam.
MIT Technology Review
