Atualização: em 14 de setembro, um dia após a publicação desde artigo, Y postou um novo aviso dizendo que agora o site não está disponível. Continuaremos monitorando-o para mais mudanças.
O site chama a atenção por sua simplicidade. Contra um fundo branco, um botão azul gigante convida os visitantes a fazer o upload de uma foto de um rosto. Abaixo do botão, quatro faces geradas por inteligência artificial (IA) permitem que você teste o serviço. Acima dele, o slogan corajosamente proclama o propósito do site: transformar qualquer pessoa em uma estrela pornô usando tecnologia deepfake ao substituir os rostos em um vídeo adulto. Tudo o que requer é a imagem e um clique no botão.
A MIT Technology Review americana optou por não nomear o serviço, que chamaremos de Y, ou usar citações diretas e capturas de tela de seu conteúdo, para evitar o direcionamento de tráfego para o site. Ele foi descoberto pelo pesquisador Henry Ajder, que tem acompanhado a evolução e a ascensão da mídia sintética online.
Por enquanto, Y existe em relativa obscuridade, com uma pequena base de usuários ativamente dando ao criador feedbacks sobre o desenvolvimento do site em fóruns online. Mas os pesquisadores temiam que um aplicativo como esse surgisse, rompendo uma linha ética que nenhum outro serviço havia cruzado antes.
Desde o início, deepfakes, ou mídia sintética gerada por IA, foram usados principalmente para criar representações pornográficas de mulheres, que muitas vezes consideram isso psicologicamente devastador. O criador original do Reddit que popularizou a tecnologia substituiu os rostos de atrizes pornô por celebridades femininas não relacionadas ao ramo. Até hoje, a empresa de pesquisas Sensity AI estima, entre 90% e 95% de todos os vídeos deepfake online são pornôs não consensuais, e cerca de 90% desses vídeos incluem mulheres.
À medida que a tecnologia avança, surgem também várias ferramentas fáceis de usar e sem código, permitindo aos usuários “tirar” as roupas dos corpos femininos nas imagens. Muitos desses serviços foram forçados a encerrarem suas atividades, mas o código ainda existe em repositórios de código aberto e continuou a ressurgir em novas formas. O último deles recebeu mais de 6,7 milhões de visitas em agosto, de acordo com a pesquisadora Genevieve Oh, que o descobriu. Ainda não foi desativado.
Existem outros aplicativos de troca de rosto com uma única foto, como ZAO ou ReFace, que colocam os usuários em cenas selecionadas de filmes convencionais ou vídeos pop. Mas como o primeiro aplicativo de troca de rosto pornográfico dedicado, Y leva isso a um novo patamar. É “feito sob medida” para criar imagens pornográficas de pessoas sem o consentimento delas, diz Adam Dodge, o fundador da EndTAB, uma organização sem fins lucrativos que educa as pessoas sobre os possíveis abusos que essa tecnologia permite. Isso torna mais fácil para os criadores aprimorarem deepfakes para esse uso específico e atrai pessoas que, de outra forma, não teriam pensado em criar pornografia deepfake. “Cada vez que surge algo tão especializado assim, um novo recanto da internet é criado para atrair novos usuários”, explica Dodge.
Y é incrivelmente fácil de usar. Depois que um usuário carrega a foto de um rosto, o site abre uma biblioteca de vídeos pornôs. A grande maioria apresenta mulheres, embora um pequeno punhado também mostre homens, principalmente pornografia gay. Um usuário pode então selecionar qualquer vídeo para gerar uma prévia do resultado da troca facial em segundos, e pagar para baixar a versão completa.
Os resultados estão longe de serem perfeitos. Muitas das trocas de rosto são obviamente falsas, com os rostos brilhando e se distorcendo à medida que giram em diferentes ângulos. Mas para qualquer observador, alguns são sutis o suficiente para serem interpretados como verdadeiros, e a trajetória das deepfakes já mostrou quão rapidamente eles podem se tornar indistinguíveis da realidade. Alguns especialistas argumentam que a qualidade da deepfake também não importa, porque o impacto psicológico sobre as vítimas pode ser o mesmo de qualquer maneira. E muitos membros do público permanecem inconscientes de que tal tecnologia existe, então mesmo as trocas de rosto de baixa qualidade podem ser capazes de enganar as pessoas.
Y se apresenta como uma ferramenta segura e responsável para explorar fantasias sexuais. A linguagem do site incentiva os usuários a enviarem seu próprio rosto. Mas nada os impede de enviar rostos de outras pessoas, e comentários em fóruns online sugerem que os usuários já estão fazendo exatamente isso.
As consequências para as mulheres e meninas que são alvo de tal atividade podem ser esmagadoras. Em um nível psicológico, esses vídeos podem ser tão violadores quanto a pornografia de vingança, vídeos realmente íntimos filmados ou divulgados sem consentimento. “Esse tipo de abuso, em que as pessoas representam erroneamente sua identidade, nome, reputação e os alteram de maneiras violentas, abala você profundamente”, diz Noelle Martin, uma ativista australiana que foi alvo de uma campanha de pornografia deepfake.
Até hoje, nunca tive muito sucesso em remover nenhuma das imagens da internet. Para sempre, isso estará lá fora. Não importa o que eu faça.
Noelle Martin, uma ativista australiana
E as repercussões podem permanecer com as vítimas pelo resto da vida. As imagens e vídeos são difíceis de remover da internet e novos materiais podem ser criados a qualquer momento. “Afeta suas relações interpessoais; afeta você nos processos seletivos de empregos. Cada entrevista de emprego que você fizer, isso pode ser trazido à tona. Além disso, relacionamentos amorosos em potencial também são afetados”, diz Martin. “Até hoje, nunca tive muito sucesso em remover nenhuma das imagens da internet. Para sempre, isso estará lá fora. Não importa o que eu faça”.
Às vezes, é ainda mais complicado do que a pornografia de vingança. Como o conteúdo não é real, as mulheres podem duvidar se merecem se sentir traumatizadas e se devem denunciá-lo, diz Dodge. “Se alguém está debatendo internamente para saber se é realmente uma vítima, isso prejudica sua capacidade de recuperação”, diz ele.
A pornografia deepfake não consensual também pode ter impactos econômicos e profissionais. Rana Ayyub, uma jornalista indiana que se tornou vítima de uma campanha de pornografia deepfake, recebeu ataques online tão intensos como retaliação por uma reportagem que teve que minimizar sua presença nas redes. Isso incluiu seu perfil público necessário para fazer seu trabalho. Helen Mort, uma poetisa e locutora do Reino Unido que anteriormente compartilhou sua história com a MIT Technology Review americana, disse que se sentiu pressionada a fazer o mesmo depois de descobrir que fotos dela foram roubadas de contas privadas de redes sociais para criar fotos íntimas falsas.
A Revenge Porn Helpline, financiada pelo governo do Reino Unido, recentemente atendeu a um caso de uma professora que perdeu o emprego depois que imagens pornográficas deepfake dela circularam nas redes sociais e chamaram a atenção da escola na qual trabalhava, diz Sophie Mortimer, que administra o serviço. “Está piorando, não melhorando”, diz Dodge. “Mais mulheres estão sendo alvo dessa tecnologia”.
A opção de Y de criar pornografia deepfake gay, embora limitada, representa uma ameaça adicional para os homens em países onde a homossexualidade é criminalizada, diz Ajder. É o caso em 71 jurisdições em todo o mundo, 11 das quais punem o crime com a morte.
Ajder, que descobriu vários aplicativos de pornôs deepfakes nos últimos anos, diz que tentou entrar em contato com o serviço de hospedagem de Y e forçá-lo a ficar offline. Mas ele é pessimista quanto a impedir que ferramentas semelhantes sejam criadas. Já apareceu outro site que parece estar tentando a mesma coisa. Ele acha que banir esse tipo de conteúdo das plataformas de rede social, e talvez até mesmo tornar sua criação ou consumo ilegal, seria uma solução mais sustentável. “Isso
significa que esses sites são tratados da mesma forma que o material da dark web”, diz ele. “Mesmo que seja levado para o subsolo, pelo menos tira isso dos olhos das pessoas comuns”.
Y não respondeu a vários pedidos de comentários no e-mail de imprensa listado em seu site. As informações de registro associadas ao domínio também são bloqueadas pelo serviço de privacidade Withheld for Privacy. Em 17 de agosto, depois que a MIT Technology Review americana fez uma terceira tentativa de entrar em contato com o criador, o site colocou um aviso em sua página inicial dizendo que não estava mais disponível para novos usuários. Em 12 de setembro, o aviso ainda estava lá.
MIT Technology Review
