Ben Zhao lembra bem do momento em que decidiu oficialmente entrar na luta entre artistas e IA generativa: foi quando um artista pediu para que uma IA criasse bananas. Pesquisador de segurança de computadores na Universidade de Chicago, Zhao já era conhecido por criar ferramentas para proteger imagens contra tecnologias de reconhecimento facial. Esse trabalho chamou a atenção de Kim Van Deun, uma ilustradora de fantasia que o convidou para uma chamada no Zoom em novembro de 2022, organizada pela Concept Art Association, uma organização de defesa de artistas de mídia comercial.
Na chamada, os artistas compartilharam detalhes de como a ascensão da IA generativa havia prejudicado seu trabalho. Naquele momento, a IA estava em todos os lugares. A comunidade tecnológica estava entusiasmada com os modelos de IA geradores de imagens, como Midjourney, Stable Diffusion e DALL-E 2, da OpenAI, que podiam criar imagens de terras fantasiosas ou cadeiras de abacate a partir de comandos simples de texto.
No entanto, esses artistas viam essa maravilha tecnológica como uma nova forma de roubo. Para eles, os modelos estavam basicamente roubando e substituindo seu trabalho. Alguns descobriram que suas obras haviam sido retiradas da internet e usadas para treinar os modelos, enquanto outros notaram que seus próprios nomes haviam se tornado “prompts” de IA, o que resultou em cópias de IA que sufocavam sua arte original na internet.
Zhao ficou chocado com o que ouviu. “As pessoas estão literalmente dizendo que estão perdendo o sustento,” ele me contou uma tarde desta primavera, sentado em sua sala de estar em Chicago. “É algo que simplesmente não dá para ignorar.”
Assim, durante a reunião no Zoom, ele fez uma proposta: e se, hipoteticamente, fosse possível construir um mecanismo que ajudasse a mascarar a arte dos artistas para interferir na extração de dados por IA?
“Eu adoraria uma ferramenta que, se alguém escrevesse meu nome e fizesse um prompt, saísse algo como lixo,” respondeu Karla Ortiz, uma artista digital renomada. “Tipo bananas ou alguma coisa bizarra.”
Isso foi o suficiente para convencer Zhao a se juntar à causa. Hoje, milhões de artistas utilizam duas ferramentas nascidas daquela reunião: Glaze e Nightshade, desenvolvidas por Zhao e pelo SAND Lab da Universidade de Chicago (acrônimo para “segurança, algoritmos, redes e dados”).
Consideradas algumas das armas mais importantes dos artistas contra a exploração de dados por IA sem consentimento, Glaze e Nightshade funcionam de maneira semelhante, adicionando o que os pesquisadores chamam de “perturbações quase imperceptíveis” nos pixels de uma imagem, para que os modelos de aprendizado de máquina não possam lê-las corretamente. Lançado em março de 2023 e com mais de 6 milhões de downloads, o Glaze adiciona uma espécie de manto secreto às imagens, impedindo que algoritmos de IA captem e copiem o estilo do artista. O Nightshade, lançado quase um ano atrás e com mais de 1,6 milhão de downloads, intensifica a proteção ao adicionar uma camada invisível de “veneno” às imagens, que pode desestabilizar modelos de IA.
Graças a essas ferramentas, “eu posso postar meu trabalho online,” diz Ortiz, “e isso é gigantesco.” Para artistas como ela, ter visibilidade online é crucial para obter novos trabalhos. Se eles se sentem desconfortáveis com a possibilidade de sua arte acabar em um modelo de IA lucrativo sem compensação, a única alternativa seria retirar suas obras da internet, o que significaria um suicídio profissional. “A situação é realmente desesperadora para nós,” acrescenta Ortiz, que se tornou uma das vozes mais ativas na defesa de artistas e é parte de uma ação coletiva contra empresas de IA, como a Stability AI, por violação de direitos autorais.
Zhao espera que as ferramentas façam mais do que apenas ajudar artistas individualmente. Glaze e Nightshade fazem parte do que ele vê como uma batalha para, aos poucos, equilibrar o poder, transferindo-o das grandes corporações de volta para os criadores individuais.
“É incrivelmente frustrante ver a vida humana ser tão desvalorizada,” diz ele com um desprezo que, como já observei, é bastante típico de sua atitude, especialmente ao falar sobre Big Techs. “E ver isso se repetindo, essa priorização do lucro sobre a humanidade… é incrivelmente frustrante e enlouquecedor.”
Com a adoção mais ampla das ferramentas, seu objetivo ambicioso está sendo testado. Será que o Glaze e o Nightshade conseguem proporcionar segurança real para os criadores, ou podem criar uma falsa sensação de proteção, enquanto eles mesmos se tornam alvos de hackers e críticos? Embora especialistas em sua maioria concordem que a abordagem é eficaz e que o Nightshade pode ser um veneno poderoso, outros pesquisadores afirmam já terem encontrado falhas nas proteções oferecidas pelo Glaze, e acreditam que confiar nessas ferramentas pode ser arriscado.
Neil Turkewitz, advogado de direitos autorais que trabalhou na Recording Industry Association of America, oferece uma visão mais abrangente sobre a luta que o SAND Lab abraçou. Para ele, não se trata de uma única empresa de IA ou de um indivíduo, mas sim de “definir as regras do mundo em que queremos viver.”
Provocando o gigante
O SAND Lab é uma equipe coesa, formada por uma dúzia de pesquisadores espremidos em um canto do prédio de ciência da computação da Universidade de Chicago. Esse espaço acumulou a bagunça típica de um local de trabalho—um headset Meta Quest aqui, fotos engraçadas de festas de Halloween ali. Mas as paredes também são decoradas com obras de arte originais, incluindo uma pintura emoldurada de Ortiz.
Anos antes de se unirem aos artistas como Ortiz contra os “caras da IA” (como Zhao os chama), Zhao e a colíder do laboratório, Heather Zheng, que também é sua esposa, já tinham uma trajetória de combate aos danos causados por novas tecnologias.
Ambos ganharam posições na lista de 35 Inovadores com menos de 35 anos da MIT Technology Review por outros trabalhos quase duas décadas atrás, quando estavam na Universidade da Califórnia, em Santa Barbara (Zheng em 2005 por “rádios cognitivos” e Zhao um ano depois por redes peer-to-peer). Desde então, seu foco principal de pesquisa tornou-se segurança e privacidade.
O casal Zhao e Zheng deixou Santa Barbara em 2017, depois de serem convidados para o novo cargo de codiretores do Instituto de Ciência de Dados da Universidade de Chicago, liderado por Michael Franklin. Todos os oito alunos de doutorado do laboratório deles em Santa Barbara também decidiram segui-los para Chicago. Desde então, o grupo desenvolveu um “bracelete do silêncio” que bloqueia os microfones de assistentes de voz de IA, como o Amazon Echo. Eles também criaram uma ferramenta chamada Fawkes— “armadura de privacidade”, como Zhao a descreveu em uma entrevista de 2020 ao New York Times — que as pessoas podem aplicar às suas fotos para protegê-las de softwares de reconhecimento facial. O grupo também estudou como hackers podem roubar informações confidenciais por meio de ataques furtivos em headsets de realidade virtual e formas de diferenciar arte humana de imagens geradas por IA.
“Ben, Heather e seu grupo são únicos porque estão realmente tentando construir tecnologias que tocam em questões fundamentais sobre IA e como ela é usada,” disse Franklin. “Eles fazem isso não só levantando as perguntas, mas também construindo tecnologias que as trazem para o centro do debate.”
Foi o Fawkes que intrigou Van Deun, a ilustradora de fantasia, há dois anos; ela esperava que algo semelhante pudesse funcionar como proteção contra a IA generativa, o que a levou a estender o convite para aquela fatídica chamada no Zoom organizada pela Concept Art Association.
Essa chamada deu início a uma corrida intensa nas semanas seguintes. Embora Zhao e Zheng colaborem em todos os projetos do laboratório, cada um lidera iniciativas individuais; Zhao assumiu o que viria a ser o Glaze, com o estudante de doutorado Shawn Shan (um dos inovadores destacados na lista deste ano dos Under 35) liderando o desenvolvimento do algoritmo do programa.
Em paralelo ao trabalho de programação de Shan, os doutorandos Jenna Cryan e Emily Wenger buscaram entender mais sobre as opiniões e necessidades dos próprios artistas. Eles criaram uma pesquisa de usuário, que a equipe distribuiu para os artistas com a ajuda de Ortiz. Em respostas de mais de 1.200 artistas—um número bem acima da média em estudos de usuários na área de ciência da computação—, a equipe descobriu que a grande maioria dos criadores sabia que sua arte estava sendo usada para treinar modelos e que 97% esperavam que a IA diminuísse a segurança no emprego de alguns artistas. Ademais, um quarto disse que a arte gerada por IA já havia afetado seus trabalhos.
Quase todos os artistas também disseram que publicavam suas obras online, e mais da metade previu que reduziria ou retiraria esse trabalho da internet, caso ainda não o tivesse feito—independentemente das consequências profissionais e financeiras.
A primeira versão do Glaze foi desenvolvida em apenas um mês, momento em que Ortiz forneceu à equipe todo o seu catálogo de obras para testar o modelo. Em seu nível mais básico, o Glaze funciona como um escudo defensivo. Seu algoritmo identifica características na imagem que compõem o estilo individual de um artista e faz pequenas alterações nelas. Quando um modelo de IA é treinado em imagens protegidas pelo Glaze, ele não consegue reproduzir estilos semelhantes ao da imagem original.
Uma pintura de Ortiz se tornou a primeira imagem lançada publicamente com o Glaze: uma jovem cercada por águias voadoras, segurando uma coroa. Seu título é Musa Victoriosa, “musa vitoriosa.” É a imagem atualmente pendurada nas paredes do SAND Lab.
Apesar do entusiasmo inicial de muitos artistas, Zhao afirma que o lançamento do Glaze gerou uma reação significativa. Alguns artistas estavam céticos, temendo que fosse um golpe ou mais uma campanha de coleta de dados.
O laboratório precisou tomar várias medidas para construir confiança, como oferecer a opção de download do aplicativo Glaze para adicionar a camada de proteção offline, garantindo que nenhum dado fosse transferido. (As imagens ficam protegidas quando os artistas as carregam na internet.)
Pouco depois do lançamento do Glaze, Shan liderou o desenvolvimento da segunda ferramenta, o Nightshade. Enquanto o Glaze é um mecanismo defensivo, o Nightshade foi projetado para agir como um dissuasor ofensivo contra o treinamento sem consentimento. Ele funciona alterando os pixels das imagens de maneira imperceptível ao olho humano, mas que manipula modelos de aprendizado de máquina para interpretar a imagem como algo diferente do que ela realmente é. Se amostras “envenenadas” forem incorporadas aos conjuntos de dados de IA, esses exemplos enganam os modelos de IA: cachorros viram gatos, bolsas viram torradeiras. Os pesquisadores afirmam que apenas alguns exemplos já são suficientes para danificar permanentemente a forma como um modelo de IA generativa produz imagens.
Atualmente, ambas as ferramentas estão disponíveis como aplicativos gratuitos ou podem ser aplicadas no site do projeto. O laboratório também expandiu recentemente seu alcance, oferecendo integração com a nova rede social Cara, voltada para artistas. A Cara surgiu como uma reação contra o treinamento exploratório de IA, proibindo conteúdo produzido por IA.
Em dezenas de conversas com Zhao, pesquisadores do laboratório e alguns dos artistas colaboradores, ficou claro que ambos os grupos agora compartilham uma missão comum. “Nunca pensei que faria amizade com cientistas em Chicago,” diz Eva Toorenent, uma artista holandesa que trabalhou de perto com a equipe no Nightshade. “Estou muito feliz por ter conhecido essas pessoas durante essa batalha coletiva.”
Sua pintura Belladonna, que também é o nome da planta beladona (associada ao Nightshade), foi a primeira imagem a carregar o “veneno” do Nightshade.
“É tão simbólico,” ela diz. “As pessoas pegam nosso trabalho sem consentimento, e agora nosso trabalho, sem consentimento, pode arruinar seus modelos. É justiça poética.”
Sem solução perfeita
A recepção do trabalho do SAND Lab tem sido menos harmônica na comunidade de IA.
Depois que o Glaze foi disponibilizado ao público, Zhao conta que alguém o reportou a sites como o VirusTotal, que rastreia malware, fazendo com que fosse marcado por programas antivírus. Várias pessoas também começaram a alegar nas redes sociais que a ferramenta havia sido rapidamente desativada. Da mesma forma, o Nightshade enfrentou críticas desde o lançamento:; como relatou o TechCrunch em janeiro, alguns o chamaram de “vírus” e, conforme a matéria explica, “um usuário do Reddit, que viralizou no X, questionou a legalidade do Nightshade, comparando-o a ‘hackear um sistema de computador vulnerável para interromper sua operação.’”
“Não tínhamos ideia do que estávamos enfrentando,” diz Zhao. “Não saber quem ou o que estava do outro lado significava que cada nova notificação no celular podia indicar que talvez alguém realmente tivesse quebrado o Glaze.”
Ambas as ferramentas, no entanto, passaram por rigorosa revisão acadêmica e receberam reconhecimento da comunidade de segurança computacional. O Nightshade foi aceito no IEEE Symposium on Security and Privacy, e o Glaze recebeu um prêmio de melhor artigo e o Internet Defense Prize de 2023 no Usenix Security Symposium, uma das principais conferências da área.
Parte superior do formulário
“Na minha experiência com veneno de dados, acho que [o Nightshade é] bastante eficaz,” afirma Nathalie Baracaldo, líder da equipe de soluções de segurança e privacidade de IA na IBM e estudiosa sobre o envenenamento de dados. “Ainda não vi nada — e a palavra ‘ainda’ é importante aqui — que quebre o tipo de defesa que Ben está propondo.” Além disso, “o fato de a equipe ter divulgado o código-fonte do Nightshade para que outros o investiguem, e ele ainda não ter sido quebrado, também sugere que é bastante seguro,” acrescenta.
Ao mesmo tempo, pelo menos uma equipe de pesquisadores afirma ter conseguido penetrar nas proteções do Glaze, ou pelo menos em uma versão antiga dele. Em um artigo publicado em junho, pesquisadores do Google DeepMind e da ETH Zurique detalharam formas de contornar o Glaze (assim como ferramentas semelhantes, porém menos populares, como Mist e Anti-DreamBooth) usando técnicas acessíveis e prontamente disponíveis, como o aumento de resolução de imagens, que preenche pixels para melhorar a qualidade à medida que a imagem é ampliada. Os pesquisadores concluem que seu trabalho mostra a “fragilidade das proteções atuais” e alertam que “os artistas podem acreditar que são eficazes, mas nossos experimentos mostram que não são.”
Florian Tramèr, professor associado da ETH Zurique que participou do estudo, reconhece que é “muito difícil criar uma solução técnica robusta que faça realmente a diferença aqui.” Em vez de depender de uma ferramenta individual, ele defende o que considera um ideal praticamente inatingível: políticas e leis mais fortes que incentivem as pessoas a consumir apenas arte criada por humanos.
Esse ciclo é comum na pesquisa de segurança, observa Baracaldo: uma defesa é proposta, um adversário a quebra e—idealmente—o defensor aprende com o adversário e melhora a defesa. “É importante que tanto atacantes éticos quanto defensores trabalhem juntos para tornar os sistemas de IA mais seguros,” ela acrescenta, destacando que “idealmente, todas as defesas deveriam ser publicamente disponíveis para exame,” o que “permitiria transparência” e ajudaria a evitar uma falsa sensação de segurança. (No entanto, Zhao me diz que os pesquisadores não têm intenção de divulgar o código-fonte do Glaze.)
Ainda assim, mesmo quando todos esses pesquisadores afirmam apoiar os artistas e suas obras, tais testes tocam em um ponto sensível para Zhao. Em chats no Discord que foram posteriormente vazados, ele afirmou que um dos pesquisadores da equipe ETH Zurique–Google DeepMind “não se importa nem um pouco” com as pessoas. (Esse pesquisador não respondeu a um pedido de comentário, mas em uma postagem de blog ele afirmou que era importante quebrar as defesas para saber como consertá-las. Zhao diz que suas palavras foram tiradas de contexto.)
Zhao também enfatiza que os autores do artigo avaliaram principalmente uma versão anterior do Glaze; ele afirma que a atualização mais recente é mais resistente a adulterações. Mexer em imagens protegidas pela versão atual do Glaze prejudicaria o próprio estilo que está sendo copiado, segundo ele, tornando esse tipo de ataque inútil.
Essa troca de argumentos reflete uma tensão significativa na comunidade de segurança computacional e, de forma mais ampla, a relação muitas vezes conflituosa entre diferentes grupos na IA. Será errado oferecer uma sensação de segurança quando as proteções propostas podem falhar? Ou é melhor ter algum nível de proteção—um que aumente o esforço necessário para um atacante causar dano—do que nenhuma proteção?
Yves-Alexandre de Montjoye, professor associado de matemática aplicada e ciência da computação no Imperial College London, afirma que há muitos exemplos em que proteções técnicas semelhantes falharam em ser infalíveis. Por exemplo, em 2023, de Montjoye e sua equipe testaram uma máscara digital para algoritmos de reconhecimento facial, projetada para proteger a privacidade de imagens faciais de pacientes médicos; eles conseguiram quebrar as proteções alterando apenas um aspecto do algoritmo (que era de código aberto).
Usar tais defesas ainda envia uma mensagem, segundo ele, acrescentando algum atrito ao perfilamento de dados. “Ferramentas como TrackMeNot”—que protegem os usuários contra o perfilamento de dados—“têm sido apresentadas como uma forma de protesto; uma forma de dizer que eu não consinto.”
“Mas, ao mesmo tempo,” ele argumenta, “precisamos ser muito claros com os artistas de que essas proteções são removíveis e podem não oferecer segurança contra algoritmos futuros.”
Zhao admite que os pesquisadores apontaram alguns pontos fracos do Glaze, mas, sem surpresa, permanece confiante de que Glaze e Nightshade valem a pena ser implantados, considerando que “ferramentas de segurança nunca são perfeitas.” De fato, como Baracaldo observa, os pesquisadores do Google DeepMind e da ETH Zurique demonstraram como um adversário altamente motivado e sofisticado quase certamente sempre encontrará uma forma de penetrar.
Ainda assim, “é simplista pensar que, se você tem um problema real de segurança no mundo e está tentando projetar uma ferramenta de proteção, a resposta deva ser: ou funciona perfeitamente, ou não se usa,” diz Zhao, citando filtros de spam e firewalls como exemplos. Defesa é um jogo constante de gato e rato. E ele acredita que a maioria dos artistas é suficientemente experiente para entender o risco.
Oferecendo esperança
A luta entre criadores e empresas de IA é intensa. O paradigma atual da IA é construir modelos cada vez maiores, e atualmente não há como contornar o fato de que eles exigem vastos conjuntos de dados extraídos da internet para treinar. As empresas de tecnologia argumentam que qualquer coisa na internet pública é “justa” para uso, e que é “impossível” construir ferramentas avançadas de IA sem usar material protegido por direitos autorais; muitos artistas argumentam que essas empresas roubaram sua propriedade intelectual, violando as leis de direitos autorais, e que precisam de formas de manter suas obras fora dos modelos—ou ao menos receber o devido crédito e compensação pelo seu uso.
Até agora, os criadores não estão exatamente vencendo. Várias empresas já substituíram designers, redatores e ilustradores por sistemas de IA. Em um caso notório, a Marvel Studios usou imagens geradas por IA, em vez de arte humana, na sequência de abertura da série de TV Invasão Secreta de 2023. Em outro, uma estação de rádio demitiu seus apresentadores humanos e os substituiu por IA. A tecnologia tem sido um ponto de discórdia entre sindicatos e estúdios de cinema, TV e outros setores criativos, levando recentemente a uma greve de atores de videogames. Existem várias ações judiciais em andamento, movidas por artistas, escritores, editoras e gravadoras contra empresas de IA. Pode levar anos até que haja uma resolução legal clara. Mas mesmo uma decisão judicial não resolverá necessariamente as difíceis questões éticas criadas pela IA generativa, e uma regulamentação governamental futura também provavelmente não será capaz de resolver todas as nuances, caso se concretize algum dia.
É por isso que Zhao e Zheng veem o Glaze e o Nightshade como intervenções necessárias para defender obras originais, atacar aqueles que se apropriam delas e, no mínimo, dar algum tempo aos artistas. Ter uma solução perfeita não é realmente o ponto. Os pesquisadores precisam oferecer algo agora, pois o setor de IA avança em ritmo acelerado, diz Zheng, e as empresas estão ignorando danos reais aos humanos. “Provavelmente esta é a primeira vez em nossas carreiras tecnológicas em que vemos tanto conflito,” ela acrescenta.
Em uma escala muito maior, ela e Zhao me dizem que esperam que o Glaze e o Nightshade eventualmente tenham o poder de reformular como as empresas de IA usam arte e como seus produtos a produzem. Treinar modelos de IA é extremamente caro e muito trabalhoso para os engenheiros identificar e excluir amostras envenenadas em um conjunto de bilhões de imagens. Teoricamente, se houver imagens suficientes protegidas pelo Nightshade na internet e as empresas de tecnologia perceberem que seus modelos estão se degradando como resultado, isso poderá empurrar os desenvolvedores para a mesa de negociações em busca de licenciamento e compensação justa.
Esse é, claro, ainda um grande “se.” A MIT Technology Review entrou em contato com várias empresas de IA, como Midjourney e Stability AI, que não responderam aos pedidos de comentário. Um porta-voz da OpenAI, por sua vez, não confirmou detalhes sobre casos de envenenamento de dados, mas disse que a empresa leva a segurança de seus produtos a sério e está continuamente melhorando suas medidas de proteção: “Estamos sempre trabalhando para tornar nossos sistemas mais robustos contra esse tipo de abuso.”
Enquanto isso, o SAND Lab está avançando e buscando financiamento de fundações e ONGs para manter o projeto ativo. Eles também afirmam ter recebido interesse de grandes empresas que buscam proteger sua propriedade intelectual (embora não revelem quais). Além disso, Zhao e Zheng estão explorando como as ferramentas podem ser aplicadas em outras indústrias, como jogos, vídeos e música. Por ora, eles planejam continuar atualizando o Glaze e o Nightshade para torná-los o mais robustos possível, trabalhando de perto com os alunos do laboratório em Chicago—onde, em outra parede, está pendurada a obra Belladonna de Toorenent. A pintura traz um bilhete em forma de coração colado no canto inferior direito: “Obrigada! Vocês trouxeram esperança para nós, artistas.”
Melissa Heikkila
