A Inteligência Artificial generativa permitiu que a produção de imagens de abuso sexual infantil disparasse. Agora, o principal órgão de investigação de exploração infantil nos EUA está experimentando o uso de IA para distinguir imagens geradas pela própria IA de material que retrata vítimas reais.
O Cyber Crimes Center (Centro de Crimes Cibernéticos) do Departamento de Segurança Interna dos Estados Unidos, que investiga exploração infantil através de fronteiras internacionais, assinou um contrato de US$ 150 mil com a empresa Hive AI, sediada em San Francisco. O objetivo é usar um software capaz de identificar se um conteúdo foi gerado por IA.
O registro do contrato, publicado em 19 de setembro, está com trechos extensos ocultados e o cofundador e CEO da empresa, Kevin Guo, disse à MIT Technology Review que não podia discutir os detalhes, mas confirmou que envolve o uso dos algoritmos de detecção de IA para material de abuso sexual infantil.
O registro cita dados do National Center for Missing and Exploited Children (Centro Nacional para Crianças Exploradas e Desaparecidas), que relatou um aumento de 1.325% nos incidentes envolvendo IA generativa, em 2024. “O enorme volume de conteúdo que circula online torna necessária a utilização de ferramentas automatizadas para processar e analisar dados de forma eficiente”, diz o documento.
A primeira prioridade dos investigadores de exploração infantil é encontrar e interromper qualquer abuso que esteja acontecendo no momento, mas a enxurrada de material gerado por IA tornou difícil saber se as imagens retratam uma vítima real atualmente em risco. Uma ferramenta que conseguisse sinalizar com sucesso vítimas reais seria de enorme ajuda quando eles tentam priorizar casos.
Identificar imagens geradas por IA “garante que os recursos investigativos sejam focados em casos envolvendo vítimas reais, maximizando o impacto do programa e protegendo indivíduos vulneráveis”, diz o documento.
A Hive AI oferece ferramentas que criam vídeos e imagens, bem como uma variedade para moderação de conteúdo, que podem sinalizar violência, spam e material sexual e até identificar celebridades. Em dezembro, a MIT Technology Review reportou que a empresa estava vendendo sua tecnologia de detecção de deepfake para os militares dos EUA.
Para detectar o material, a Hive oferece uma ferramenta criada com a Thorn, uma organização sem fins lucrativos dedicada à segurança infantil, que as empresas podem integrar às suas plataformas. Essa ferramenta usa um sistema de “hashing”, uma técnica de usar alguma função ou algoritmo para mapear os dados do objeto para algum valor inteiro representativo. Neste caso, atribui IDs exclusivos a conteúdos que os investigadores sabem ser imagens de abuso e bloqueia o envio desse material. Essa ferramenta, e outras semelhantes, tornaram-se uma linha de defesa padrão para as empresas de tecnologia.
Mas elas simplesmente identificam o conteúdo e não detectam se ele foi gerado por IA. A Hive criou uma ferramenta separada que determina se imagens, em geral, foram geradas pela tecnologia. Segundo Guo, ela não precisa ser treinada especificamente para atuar neste tipo de material.
“Há alguma combinação subjacente de pixels nesta imagem que podemos identificar como gerada por IA”, diz. “Pode ser generalizável.”
Essa ferramenta, segundo Guo, é o que o Cyber Crimes Center usará para avaliar os materiais de abuso. Ele acrescenta que a Hive faz benchmarks (uma ferramenta de gestão para aprimorar processos) de suas ferramentas de detecção para cada caso de uso específico que os clientes tenham em mente.
O National Center for Missing and Exploited Children, que participa de esforços para impedir a disseminação destes materiais de abuso, não respondeu aos pedidos de comentário sobre a eficácia de tais modelos de detecção a tempo da publicação.
Em seu registro, o governo justifica conceder o contrato à Hive sem um processo de licitação competitiva. Embora partes dessa justificativa estejam ocultadas, ela faz referência principalmente a dois pontos também presentes em uma apresentação de slides da Hive. Um envolve um estudo de 2024 da Universidade de Chicago, nos Estados Unidos, que constatou que a ferramenta de detecção da empresa superou outros quatro detectores. O outro é seu contrato com o Pentágono para identificar deepfakes (conteúdos falsos gerados por IA). O teste terá duração de três meses.
James O'Donnell
