Quando Ravi Yekkanti coloca seu headset para trabalhar, ele nunca sabe o que o dia na realidade virtual trará. Quem será que ele vai conhecer? Será que uma voz infantil vai abordá-lo com um comentário racista? Será que um desenho vai tentar agarrar seus genitais? Ele ajusta os óculos de aparência extraterrestre na cabeça enquanto se senta à mesa de seu escritório em Hyderabad, Índia, e se prepara para mergulhar em um “escritório” cheio de avatares animados. O trabalho de Yekkanti, a seu ver, é garantir que todos no metaverso estejam seguros e se divertindo, e ele se orgulha disso.
Yekkanti está na vanguarda de uma nova área: moderação de conteúdo em realidade virtual e no metaverso. A segurança digital no metaverso teve um começo um tanto difícil, com relatos de violência sexual, bullying e aliciamento de menores. Esse problema vem se tornando mais urgente desde que a Meta anunciou, no mês passado, a redução da idade mínima para acesso a sua plataforma Horizon Worlds de 18 para 13 anos. O anúncio também mencionava uma série de recursos e regras destinados a proteger usuários mais jovens. Entretanto, alguém tem que impor essas regras e garantir que as pessoas não estão burlando as proteções.
A Meta não divulga quantos moderadores de conteúdo emprega ou contrata na Horizon Worlds, ou se a empresa pretende aumentar esse número com a nova política etária. Mas a mudança coloca em evidência os encarregados da aplicação das regras nesses novos espaços virtuais, pessoas como Yekkanti, e a forma como realizam seu trabalho.
Yekkanti vem trabalhando como moderador e gerente de treinamento em realidade virtual desde 2020, após trabalhar com moderação tradicional de textos e imagens. Ele é empregado da WebPurify, empresa que fornece serviços de moderação de conteúdo para empresas de internet tais como Microsoft e Play Lab, e trabalha com uma equipe sediada na Índia. Seu trabalho é realizado principalmente em plataformas convencionais, incluindo aquelas de propriedade da Meta, embora a WebPurify não tenha confirmado quais especificamente, com base em argumentos de confidencialidade dos clientes. Uma porta-voz da Meta, Kate McLaughlin, informa que o Meta Quest não trabalha com a WebPurify diretamente.
Entusiasta de longa data da internet, Yekkanti diz que ama colocar um headset de realidade virtual, encontrar pessoas de todas as partes do mundo e dar conselhos a desenvolvedores do metaverso sobre como aprimorar seus jogos e “mundos”.
Ele é parte de uma nova classe de trabalhadores que resguarda a segurança no metaverso como agentes de segurança privada, interagindo com os avatares de pessoas reais para descobrir comportamentos inadequados em realidade virtual. Ele não divulga publicamente seu status de moderador. Em vez disso, trabalha mais ou menos disfarçado, apresentando-se como um usuário comum para observar melhor as violações.
Visto que ferramentas tradicionais de moderação, como filtros equipados com Inteligência Artificial para certas palavras, não funcionam bem com ambientes imersivos em tempo real, moderadores como Yekkanti são a principal forma de garantir a segurança no mundo digital, e o trabalho fica mais importante a cada dia.
O problema de segurança no metaverso
O problema de segurança no metaverso é complexo e nebuloso. Jornalistas vêm reportando casos de comentários abusivos, golpes, violência sexual e até mesmo um sequestro orquestrado por meio do Oculus da Meta. As maiores plataformas imersivas, como a Reblox e a Horizon Worlds da Meta, guardam suas estatísticas a sete chaves, mas Yekkanti diz que encontra transgressões reportáveis diariamente.
A Meta não quis comentar, mas apresentou uma lista de ferramentas e políticas implementadas, e observou que tem especialistas em segurança treinados dentro da Horizon Worlds. Um porta-voz da Reblox diz que a empresa tem “uma equipe com milhares de moderadores que monitoram em busca de conteúdo inapropriado 24 horas por dia e investigam denúncias feitas por nossa comunidade”. Além disso, usam machine learning para revisar textos, imagens e áudios.
Para lidar com questões de segurança, empresas de tecnologia contam com voluntários e funcionários, como os guias da comunidade da Meta, os moderadores disfarçados como Yekkanti e, cada vez mais, recursos nas plataformas que permitem aos usuários gerenciar sua própria segurança, como barreiras pessoais que impedem outros usuários de se aproximarem de mais.
“A mídias sociais são a base do metaverso e devemos tratar o metaverso como uma evolução, como o próximo passo das mídias sociais, não algo totalmente separado”, diz Juan Londoño, analista de políticas na Information Technology and Innovation Foundation (em tradução livre, Fundação para Tecnologia da Informação e Inovação), um instituto de pesquisa em Washington, D.C.
Mas dada a natureza imersiva do metaverso, muitas ferramentas criadas para lidar com as bilhões de palavras e imagens potencialmente nocivas da rede bidimensional não funcionam bem em realidade virtual. Moderadores do conteúdo humanos vêm provando ser soluções essenciais.
O aliciamento de menores, pelo qual adultos com intenções predatórias tentam formar relações de confiança com crianças e adolescentes, também é um grande desafio. Quando empresas não filtram e previnem o abuso proativamente, os usuários ficam responsáveis por denunciar e flagrar maus comportamentos.
“Se uma empresa depende de seus usuários para denunciar coisas potencialmente traumáticas que aconteceram com eles ou situações potencialmente perigosas, fica a sensação de ser quase tarde de mais”, diz Delara Derakhshani, advogada especialista em privacidade que trabalhou no Reality Labs da Meta até outubro de 2022. “O ônus não deveria ser das crianças de denunciar depois que o trauma ou o dano está feito.”
A linha de frente da moderação de conteúdo
A natureza imersiva do metaverso significa que comportamentos irregulares são literalmente multidimensionais e geralmente precisam ser flagrados em tempo real. Apenas uma fração desses problemas são denunciados por usuários e nem tudo que acontece no ambiente em tempo real é registrado e salvo. A Meta diz que registra interações continuamente, por exemplo, segundo um porta-voz da empresa.
A WebPurify, que anteriormente focava em moderação de textos e imagens online, vem oferecendo serviços para empresas do metaverso desde o início do ano passado e recentemente conseguiu contratar o ex-chefe de operações de confiança e segurança do Twitter, Alex Popken, para ajudar a liderar os esforços.
“Estamos descobrindo como policiar a realidade virtual e a realidade aumentada, o que é, de certa forma, um novo território, porque estamos observando, na verdade, o comportamento humano”, diz Popken.
Os empregados da WebPurify estão na linha de frente nesses novos espaços e comentários raciais e sexuais são comuns. Yekkanti diz que uma moderadora em sua equipe interagiu com um usuário que percebeu que ela era indiana e se ofereceu para casar com ela em troca de uma vaca.
Outros incidentes são mais sérios. Uma outra moderadora da equipe de Yekkanti encontrou um usuário que fez comentários altamente sexualizados e ofensivos sobre sua vagina. Uma vez, um usuário abordou um moderador e aparentemente agarrou sua região genital. O usuário alegou que estava tentando dar um high five.
Os moderadores aprendem detalhadas políticas de segurança das empresas, que destacam como flagrar e reportar transgressões. Um dos jogos com o qual Yekkanti trabalha tem uma política que especifica categorias de pessoas protegidas, conforme características como raça, etnia, gênero, afiliação política, religião, orientação sexual e status de refugiado. Yekkanti diz que “qualquer comentário negativo direcionado a esse grupo protegido seria considerado discurso de ódio”. Os moderadores são treinados para responder proporcionalmente, usando seu bom-senso. Isso pode significar silenciar usuários que violem políticas, removê-los de um jogo, ou denunciá-los à empresa.
A WebPurify oferece a seus moderadores acesso ininterrupto a acompanhamento psicológico, entre outros recursos.
Os moderadores precisam lidar com desafios de segurança diferenciados e determinar se algo é apropriado pode requerer muito bom senso e inteligência emocional. As expectativas quanto a espaço interpessoal e cumprimentos físicos, por exemplo, variam entre culturas e usuários, e espaços diferentes no metaverso têm diretrizes de comunidade diferentes.
Tudo isso acontece de forma disfarçada, para que os usuários não mudem seu comportamento porque sabem que estão interagindo com um moderador. “Pegar os caras maus é mais gratificante do que perturbador”, diz Yekkanti.
Moderação também significa desafiar as expectativas quanto à privacidade dos usuários.
Uma parte importante do trabalho é “monitorar tudo” diz Yekkanti. Os moderadores registram tudo que se passa no jogo do momento que entram até o momento que saem, incluindo conversas entre jogadores. Isso significa que eles frequentemente escutam conversas, mesmo quando os jogadores não estão cientes de que estão sendo monitorados, embora se diga que não escutam conversas totalmente privadas.
“Se queremos que as plataformas tenham um papel superativo na segurança dos usuários, isso pode levar a algumas transgressões de privacidade com as quais os usuários podem não estar confortáveis”, diz Londoño.
Enquanto isso, alguns membros do governo manifestam ceticismo quanto às políticas da Meta. Os senadores democratas Ed Markey, de Massachusetts, e Richard Blumenthal, de Connecticut, escreveram um carta aberta a Mark Zuckerberg pedindo que ele reconsiderasse a redução das restrições etárias e alegando “lacunas no entendimento da empresa sobre segurança do usuário”.
Derakhshani, ex-advogada da Meta, diz que precisamos de mais transparência quanto à forma como empresas lidam com a segurança no metaverso.
“Esse movimento para atrair audiências mais jovens, será que é para proporcionar a melhor experiência para jovens adolescentes? A ideia é trazer novas audiências quando as mais antigas envelhecem? Uma coisa é certa, contudo: qualquer que seja o raciocínio, o público e os reguladores realmente precisam de garantias de que essas empresas estão preparadas e pensaram em tudo cuidadosamente”, ela diz. “Eu não estou certa de que chegamos lá.”
Nesse meio tempo, Yekkanti diz que quer que as pessoas entendam que seu trabalho, embora possa ser muito divertido, é muito importante. “Nós estamos tentando criar, enquanto moderadores, uma experiência melhor para todos, para que não precisem passar por traumas”, diz ele. “Nós, enquanto moderadores, estamos preparados para isso e estamos lá para proteger os demais. Nós podemos ser a primeira linha de defesa.”
Atualização: Esta história foi atualizada com informações adicionais fornecidas pela Meta para esclarecer as competências de monitoramento da WebPurify.
MIT Technology Review
