No final de maio, a OpenAI marcou uma estreia em sua história corporativa. Não se tratava de um modelo de linguagem ainda mais poderoso ou de uma nova parceria de dados, mas de um relatório revelando que agentes mal-intencionados haviam usado indevidamente seus produtos para realizar operações de influência.
A empresa havia flagrado cinco redes de propagandistas secretos — incluindo participantes da Rússia, China, Irã e Israel — usando suas ferramentas de IA generativas para táticas enganosas que variavam desde a criação de grandes volumes de comentários em mídias sociais, em vários idiomas, até a transformação de artigos de notícias em publicações no Facebook. O uso dessas ferramentas, observou a OpenAI, parecia ter a intenção de melhorar a qualidade e a quantidade dos resultados. A IA também dá aos propagandistas um aumento de produtividade.
Antes de mais nada, a OpenAI deve ser elogiada por esse relatório e pelo precedente que, espera-se, ele crie. Há muito tempo, os pesquisadores aguardavam que os agentes adversários adotassem a tecnologia de IA generativa , especialmente grandes modelos de linguagem, para aumentar a escala e o calibre de seus esforços de forma barata. A revelação de que isso começou a acontecer — e de que a OpenAI priorizou a detecção e o encerramento de contas para reduzir seu impacto — mostra que pelo menos uma grande empresa de IA aprendeu algo com as dificuldades das plataformas de mídia social nos anos seguintes à interferência da Rússia nas eleições de 2016 nos EUA. Quando esse uso indevido foi descoberto, o Facebook, o YouTube e o Twitter (agora X), criaram equipes de integridade e começaram a fazer divulgações regulares sobre operações de influência em suas plataformas. (O X interrompeu essa atividade após a compra da empresa por Elon Musk).
A divulgação da OpenAI, de fato, evocava exatamente esse relatório da Meta, divulgado apenas um dia antes. O relatório de transparência da Meta para o primeiro trimestre de 2024 revelou a derrubada de seis operações secretas em sua plataforma. Ele também encontrou redes ligadas à China, ao Irã e a Israel e observou o uso de conteúdo gerado por IA. Publicitários da China compartilharam o que parecem ser imagens de cartazes geradas por IA para um “movimento ativista pró-sikh fictício”. Uma empresa de marketing político com sede em Israel publicou o que provavelmente eram comentários gerados por IA. O relatório da Meta também observou que um agente de ameaças russo muito persistente ainda estava bastante ativo e que suas estratégias estavam evoluindo.
Talvez o mais importante seja que a Meta incluiu um conjunto direto de “recomendações para uma resposta mais forte do setor” que pedia que governos, pesquisadores e outras empresas de tecnologia compartilhassem de forma colaborativa a inteligência contra ameaças para ajudar a interromper a campanha russa em andamento.
Somos dois desses pesquisadores e estudamos operações de influência online há anos. Publicamos investigações de atividades coordenadas — às vezes em colaboração com plataformas — e analisamos como as ferramentas de IA poderiam afetar a maneira como as campanhas de propaganda são realizadas. A pesquisa revisada por pares de nossas equipes descobriu que os modelos de linguagem podem produzir textos que são quase tão persuasivos quanto a propaganda de campanhas escritas por humanos. Vimos que as operações de influência continuam a se proliferar, em todas as plataformas sociais e com foco em todas as regiões do mundo; neste momento, elas são uma aposta no jogo da propaganda. Os adversários do Estado e as empresas mercenárias de relações públicas são atraídos pelas plataformas de mídia social e pelo alcance que elas oferecem. Para os regimes autoritários, em particular, há poucas desvantagens em realizar uma campanha desse tipo, principalmente em um ano eleitoral global crítico. E agora, os adversários estão comprovadamente usando tecnologias de IA que podem tornar essa atividade mais difícil de detectar. A mídia está escrevendo sobre a “eleição da IA”, e muitos reguladores estão em pânico.
No entanto, é importante colocar isso em perspectiva. A maioria das campanhas de influência que a OpenAI e a Meta anunciaram não teve muito impacto, algo que as empresas se esforçaram para destacar. É fundamental reiterar que esforço não é a mesma coisa que engajamento: a mera existência de contas ou páginas falsas não significa que pessoas reais estejam prestando atenção nelas. Da mesma forma, o fato de uma campanha usar IA não significa que ela influenciará a opinião pública. A IA generativa reduz o custo da execução de campanhas de propaganda, tornando significativamente mais barata a produção de conteúdo e a execução de contas interativas automatizadas. Mas ela não é uma solução mágica e, no caso das operações que a OpenAI divulgou, o que foi gerado às vezes parecia ser um pouco spam. O público não se interessou.
Afinal, a produção de conteúdo é apenas a primeira etapa de uma campanha de propaganda; mesmo as publicações, imagens ou áudio mais convincentes gerados por IA ainda precisam ser distribuídos. Campanhas sem amplificação algorítmica ou captação de influenciadores geralmente são apenas tuítes no vazio. Na verdade, são os influenciadores consistentemente autênticos — pessoas que têm a atenção de grandes públicos que compartilham entusiasticamente suas publicações — que recebem engajamento e conduzem a conversa pública, ajudando o conteúdo e as narrativas a se tornarem virais. É por isso que alguns dos adversários com mais recursos, como a China, simplesmente contratam essas vozes de forma clandestina. Nesse ponto, contas reais influentes têm muito mais potencial de impacto do que as falsas alimentadas por IA.
No entanto, existe uma grande preocupação de que a IA possa atrapalhar a política americana e se tornar uma ameaça à segurança nacional. É importante “dimensionar” essa ameaça, principalmente em um ano eleitoral. Aumentar o impacto das campanhas de desinformação pode minar a confiança nas eleições e a fé na democracia, fazendo com que o eleitorado acredite que há trolls por trás de cada publicação ou que o simples fato de um candidato ser alvo de um agente maligno, mesmo com uma campanha muito mal executada, “causou” sua derrota.
Ao colocar uma avaliação do impacto na frente e no centro de seu primeiro relatório, a OpenAI está claramente levando a sério o risco de exagerar a ameaça. E, no entanto, diminuir a ameaça ou não colocar em campo equipes de integridade — deixando que os trolls simplesmente continuem a aumentar seus seguidores e a melhorar sua capacidade de distribuição — também seria uma abordagem ruim. De fato, o relatório da Meta observou que uma rede que foi interrompida, aparentemente ligada a um partido político em Bangladesh e voltada para o público de Bangladesh, acumulou 3,4 milhões de seguidores em 98 páginas. Como essa rede não era administrada por um adversário de interesse dos americanos, provavelmente não receberá muita atenção. Ainda assim, esse exemplo destaca o fato de que a ameaça é global, e a vigilância é fundamental. As plataformas devem continuar a priorizar a detecção de ameaças.
Então, o que devemos fazer em relação a isso? O apelo do relatório Meta para o compartilhamento de ameaças e a colaboração, embora específico para um adversário russo, destaca um caminho mais amplo para as plataformas de mídia social, empresas de IA e pesquisadores acadêmicos.
A transparência é fundamental. Como pesquisadores externos, não podemos aprender muito com a descrição de uma empresa de mídia social sobre uma operação que foi derrubada. Isso também se aplica ao público e aos formuladores de políticas, e as plataformas incrivelmente poderosas não devem ser levadas à risca. Garantir o acesso dos pesquisadores aos dados sobre redes inautênticas coordenadas oferece uma oportunidade de validação externa (ou refutação!) das afirmações de uma empresa de tecnologia. Antes de Musk assumir o controle do Twitter, a empresa divulgava regularmente conjuntos de dados de publicações de contas não autênticas vinculadas ao Estado para pesquisadores e até mesmo para o público.
A Meta compartilhava dados com parceiros externos antes de remover uma rede e, mais recentemente, mudou para um modelo de compartilhamento de conteúdo de redes já removidas por meio do Influence Operations Research Archive do Meta. Embora os pesquisadores devam continuar a pressionar por mais dados, esses esforços permitiram uma compreensão mais rica das narrativas e dos comportamentos adversários, além do que os resumos dos relatórios de transparência da própria plataforma forneciam.
O relatório de ameaças adversas da OpenAI deve ser um prelúdio para um compartilhamento de dados mais robusto no futuro. No que diz respeito à IA, pesquisadores independentes começaram a reunir bancos de dados de uso indevido — como o AI Incident Database e o Political Deepfakes Incident Database — para permitir que os pesquisadores comparem diferentes tipos de uso indevido e acompanhem como o uso indevido muda ao longo do tempo. Mas muitas vezes é difícil detectar o uso indevido de fora. À medida que as ferramentas de IA se tornam mais capazes e difundidas, é importante que os formuladores de políticas que estão considerando a regulamentação entendam como elas estão sendo usadas e abusadas. Embora o primeiro relatório da OpenAI tenha oferecido resumos de alto nível e exemplos selecionados, a expansão das relações de compartilhamento de dados com pesquisadores que proporcionam mais visibilidade do conteúdo ou dos comportamentos adversários é uma próxima etapa importante.
Quando se trata de combater operações de influência e uso indevido de IA, os usuários on-line também têm um papel a desempenhar. Afinal de contas, esse conteúdo só tem impacto se as pessoas o virem, acreditarem nele e participarem do seu compartilhamento. Em um dos casos divulgados pela OpenAI, os usuários online denunciaram contas falsas que usavam texto gerado por IA.
Em nossa própria pesquisa, vimos comunidades de usuários do Facebook denunciarem proativamente o conteúdo de imagens geradas por IA criado por spammers e golpistas, ajudando aqueles que têm menos conhecimento da tecnologia a evitarem ser vítimas de fraudes. Uma dose saudável de ceticismo é cada vez mais útil: fazer uma pausa para verificar se o conteúdo é real e se as pessoas são quem dizem ser, e ajudar amigos e familiares a ficarem mais cientes da crescente prevalência de conteúdo gerado, pode ajudar os usuários de mídias sociais a resistir ao engano de propagandistas e golpistas.
A postagem do blog da OpenAI anunciando o relatório de remoção foi sucinta: “os agentes de ameaças trabalham em toda a Internet”. Nós também precisamos. À medida que entramos em uma nova era de operações de influência orientadas por IA, precisamos enfrentar desafios compartilhados por meio de transparência, compartilhamento de dados e vigilância colaborativa se quisermos desenvolver um ecossistema digital mais resiliente.
—
Josh A. Goldstein é pesquisador do Centro de Segurança e Tecnologia Emergente (CSET) da Universidade de Georgetown, onde trabalha no Projeto CyberAI.
Renée DiResta é gerente de pesquisa do Stanford Internet Observatory e autora de Invisible Rulers: The People Who Turn Lies into Reality (Governantes invisíveis: as pessoas que transformam mentiras em realidade).
Josh A. Goldstein e Renee DiResta
