Desde que o governo chinês aprovou uma lei sobre IA generativa, em julho, tenho me perguntado como exatamente a máquina de censura da China se adaptaria à era da Inteligência Artificial. O conteúdo produzido por modelos de IA generativa é mais imprevisível do que a mídia social tradicional. E a lei deixou muita coisa obscura; por exemplo, exigiu que as empresas “capazes de mobilização social” apresentassem “avaliações de segurança” aos órgãos reguladores do governo, embora não tenha ficado claro como a avaliação funcionaria.
Em outubro, tivemos alguma clareza sobre como tudo isso pode se parecer na prática.
No dia 11, uma organização do governo chinês chamada Comitê Técnico Nacional de Padronização de Segurança da Informação divulgou um documento preliminar que propunha regras detalhadas sobre como determinar se um modelo de IA generativo é problemático. Geralmente abreviado como TC260, o comitê consulta representantes corporativos, acadêmicos e reguladores para definir regras do setor de tecnologia sobre questões que vão desde a segurança cibernética até a privacidade e a infraestrutura de TI.
Ao contrário de muitos manifestos que você pode ter visto sobre como regulamentar a IA, esse documento de padrões é muito detalhado: ele define critérios claros para quando uma fonte de dados deve ser proibida de treinar IA generativa e fornece métricas sobre o número exato de palavras-chave e perguntas de amostra que devem ser preparadas para testar um modelo.
Matt Sheehan, bolsista de tecnologia global do Carnegie Endowment for International Peace, que sinalizou o documento para mim, disse que, quando o leu pela primeira vez, “sentiu que era o documento mais fundamentado e específico relacionado à regulamentação de IA generativa”. Ele acrescentou: “Isso essencialmente dá às empresas uma rubrica ou um manual de como cumprir os regulamentos de IA generativa que têm muitos requisitos vagos”.
Isso também esclarece o que as empresas devem considerar um “risco de segurança” nos modelos de IA, já que Pequim está tentando se livrar de preocupações universais, como vieses algorítmicos e conteúdo que só é sensível no contexto chinês. “É uma adaptação à infraestrutura de censura já muito sofisticada”, diz ele.
Então, como são essas regras específicas?
No treinamento: Todos os modelos de base de IA são atualmente treinados em muitos corpora (bancos de dados de texto e imagem), alguns dos quais têm vieses e conteúdo não moderado. Os padrões TC260 exigem que as empresas não apenas diversifiquem os corpora (misturando idiomas e formatos), mas também avaliem a qualidade de todos os seus materiais de treinamento.
Como? As empresas devem fazer uma amostragem aleatória de 4.000 “pedaços de dados” de uma fonte. Se mais de 5% dos dados forem considerados “informações ilegais e negativas”, esse corpus deverá ser colocado em uma lista para treinamentos futuros.
A porcentagem pode parecer baixa em um primeiro momento, mas não sabemos como ela se compara aos dados do mundo real. “Para mim, isso é muito interessante. Será que 96% da Wikipédia está bem?” pergunta-se Sheehan. Mas o teste provavelmente seria fácil de ser aprovado se o conjunto de dados de treinamento fosse algo como os arquivos de jornais estatais da China, que já foram fortemente censurados, ressalta ele – portanto, as empresas podem confiar neles para treinar seus modelos.
Na escala de moderação: As empresas de IA devem contratar “moderadores que melhorem prontamente a qualidade do conteúdo gerado com base em políticas nacionais e reclamações de terceiros”. O documento acrescenta que “o tamanho da equipe de moderadores deve corresponder ao tamanho do serviço”.
Considerando que os moderadores de conteúdo já se tornaram a maior parte da força de trabalho em empresas como a ByteDance, parece provável que a máquina de moderação e censura orientada por humanos só aumentará na era da IA.
Sobre conteúdo proibido: primeiro, as empresas precisam selecionar centenas de palavras-chave para sinalizar conteúdo inseguro ou proibido. Os padrões definem oito categorias de conteúdo político que violam “os valores socialistas fundamentais”, cada uma das quais precisa ser preenchida com 200 palavras-chave escolhidas pelas empresas; depois, há nove categorias de conteúdo “discriminatório”, como discriminação com base em crenças religiosas, nacionalidade, gênero e idade. Cada uma delas precisa de 100 palavras-chave.
Em seguida, as empresas precisam criar mais de 2.000 prompts (com pelo menos 20 para cada categoria acima) que possam gerar respostas de teste dos modelos. Por fim, os modelos precisam executar testes para garantir que menos de 10% das respostas geradas infrinjam as regras.
Sobre censura mais sofisticada e sutil: embora grande parte dos padrões propostos trate da determinação de como realizar a censura, o rascunho pede, de forma interessante, que os modelos de IA não tornem sua moderação ou censura muito óbvia.
Por exemplo, alguns modelos de IA chineses atuais podem se recusar a responder a qualquer solicitação que contenha o texto “Xi Jinping”. Essa proposta pede às empresas que encontrem prompts relacionados a tópicos como o sistema político chinês ou heróis revolucionários que possam ser respondidos, e os modelos de IA só podem se recusar a responder a menos de 5% deles. “Isso significa dizer: ‘Seu modelo não pode dizer coisas ruins’ [e] ‘Também não podemos deixar muito óbvio para o público que estamos censurando tudo’”, explica Sheehan.
Tudo isso é fascinante, certo?
Mas é importante esclarecer o que esse documento é e o que não é. Embora o TC260 receba supervisão de órgãos do governo chinês, esses padrões não são leis. Não há penalidades se as empresas não estiverem em conformidade com elas.
Mas propostas como essa geralmente alimentam leis futuras ou trabalham em conjunto com elas. E essa proposta ajuda a explicitar as letras miúdas que são omitidas nas regulamentações de IA da China. “Acho que as empresas vão segui-las, e os órgãos reguladores vão tratá-las como obrigatórias”, diz Sheehan.
Também é importante pensar em quem está moldando os padrões TC260. Ao contrário da maioria das leis na China, essas regras recebem explicitamente a contribuição de especialistas contratados por empresas de tecnologia e divulgarão a colaboração depois que os padrões forem finalizados. Essas pessoas conhecem melhor o assunto, mas também têm um interesse financeiro. Empresas como Huawei, Alibaba e Tencent tiveram grande influência nos padrões TC260 anteriores.
Isso significa que esse documento também pode ser visto como um reflexo de como as empresas chinesas de tecnologia querem que seus produtos sejam regulamentados. Francamente, não é sensato esperar que as regulamentações nunca cheguem, e essas empresas têm um incentivo para influenciar a forma como as regras são feitas.
Como outros países estão trabalhando para regulamentar a IA, acredito que os padrões chineses de segurança de IA terão um impacto imenso no setor global de Inteligência Artificial. Na melhor das hipóteses, elas propõem detalhes técnicos para moderação geral de conteúdo; na pior, sinalizam o início de novos regimes de censura.
Esse texto não pôde dizer muito, mas há muitas outras regras no documento que merecem ser estudadas com mais atenção. Mas, mas quando a versão final for publicada, eu adoraria saber o que as pessoas acham dela, inclusive os especialistas em segurança de IA no Ocidente.
MIT Technology Review
