A Humane Intelligence, uma organização focada em avaliar sistemas de IA, está lançando uma competição que desafia desenvolvedores a criar um modelo de visão computacional capaz de rastrear propaganda odiosa baseada em imagens na internet. Organizado em parceria com o grupo nórdico de contraterrorismo Revontulet, o programa de recompensas foi aberto em 26 de setembro. Qualquer pessoa com 18 anos ou mais pode participar e concorrer aos prêmios de US$ 10 mil destinados aos vencedores.
Este é o segundo de uma série planejada de 10 programas de “recompensas por viés algorítmico” da Humane Intelligence, uma organização sem fins lucrativos que investiga o impacto social da IA. A entidade foi lançada pela renomada pesquisadora de IA Rumman Chowdhury em 2022 e conta com o apoio do Google.org, braço filantrópico do Google.
“O objetivo dos nossos programas de recompensas é, em primeiro lugar, ensinar as pessoas a realizar avaliações algorítmicas,” diz Chowdhury, “mas também, em segundo lugar, resolver de fato um problema urgente na área.”
O primeiro desafio da série solicitou que os participantes avaliassem lacunas em conjuntos de dados que podem ser usados para treinar modelos — lacunas que podem, especificamente, gerar resultados factualmente imprecisos, tendenciosos ou enganosos.
O segundo desafio lida com o rastreamento de imagens odiosas na internet — um problema incrivelmente complexo. A IA generativa permitiu uma explosão desse tipo de conteúdo, e a própria IA é utilizada para manipular essas imagens de forma que não sejam removidas das redes sociais. Por exemplo, grupos extremistas podem usar IA para alterar levemente uma imagem que já foi banida por uma plataforma, criando rapidamente centenas de cópias diferentes que não são facilmente identificadas pelos sistemas de detecção automatizada. Redes extremistas também podem usar IA para embutir padrões em imagens que são invisíveis ao olho humano, mas confundem e burlam os sistemas de detecção. Isso criou, essencialmente, um jogo de gato e rato entre grupos extremistas e plataformas online.
O desafio exige dois modelos diferentes. O primeiro, voltado para participantes com habilidades intermediárias, deve identificar imagens de ódio; o segundo, considerado um desafio avançado, deve ser um modelo capaz de enganar o primeiro. “Isso realmente imita como as coisas funcionam no mundo real,” diz Chowdhury. “As pessoas do bem criam uma abordagem, e então os vilões criam outra.” O objetivo é engajar pesquisadores de aprendizado de máquina no tema de mitigação do extremismo, o que pode levar à criação de novos modelos capazes de filtrar eficazmente imagens de ódio.
Um dos grandes desafios do projeto é que a propaganda baseada em ódio pode depender muito do contexto. Alguém que não tenha um entendimento profundo de certos símbolos ou significados pode não conseguir identificar o que qualifica uma imagem como propaganda de um grupo nacionalista branco, por exemplo.
“Se [o modelo] nunca vir um exemplo de uma imagem odiosa de uma parte do mundo, não será eficaz em detectá-la,” diz Jimmy Lin, professor de ciência da computação na Universidade de Waterloo, que não está associado ao programa de recompensas.
Esse efeito é amplificado ao redor do mundo, já que muitos modelos não têm um vasto conhecimento de contextos culturais. Por isso, a Humane Intelligence decidiu se associar a uma organização fora dos EUA para este desafio específico. “A maioria desses modelos é geralmente ajustado para exemplos dos EUA, e por isso é importante estarmos trabalhando com um grupo nórdico de contraterrorismo,” diz Chowdhury.
Lin, no entanto, alerta que resolver esses problemas pode exigir mais do que mudanças algorítmicas. “Temos modelos que geram conteúdo falso. Bem, podemos desenvolver outros modelos que detectem conteúdo falso gerado? Sim, essa é certamente uma abordagem,” ele afirma. “Mas acredito que, no longo prazo, treinamentos, letramento digital e esforços educacionais terão mais benefícios e impacto duradouro. Pois você não estará sujeito a esse jogo de gato e rato.”
O desafio permanecerá aberto até 7 de novembro de 2024. Serão selecionados dois vencedores, um para o desafio intermediário e outro para o avançado; eles receberão prêmios de US$ 4.000 e US$ 6.000, respectivamente. Os participantes também terão seus modelos avaliados pela Revontulet, que pode decidir integrá-los ao seu conjunto de ferramentas para combater o extremismo.
Scott J Mulligan
