Nos últimos meses, uma série de ataques cibernéticos realizados por agentes de IA surpreendeu o mundo. Em julho, a OpenAI revelou que um grupo de agentes havia escapado de seu ambiente isolado, ou sandbox, e invadido a plataforma de IA Hugging Face para trapacear em um teste de cibersegurança. Recentemente, pesquisadores externos descobriram que agentes da OpenAI haviam sequestrado um site alemão wiki (colaborativo, como a Wikipedia) e a plataforma de programação RubyGems, em maio, para compartilhar respostas do teste.
No início deste mês, a Anthropic revelou quatro incidentes nos quais seu modelo Claude invadiu sistemas de terceiros durante exercícios de cibersegurança. Na semana passada, o Google confirmou que seu modelo Gemini também havia sido flagrado invadindo outras empresas.
O pesquisador que descobriu o sequestro do site pelos agentes da OpenAI alertou que provavelmente existem outros episódios semelhantes ainda não descobertos. E muitos afirmam que é apenas uma questão de tempo até que ocorra outro incidente, possivelmente mais grave, no qual agentes de IA contornem sandboxes para acessar sistemas aos quais não deveriam ter acesso.
Portanto, a grande questão é: como responsabilizar as empresas quando elas perdem o controle de seus agentes de IA?
Divulgação
A OpenAI não revelou o incidente envolvendo o wiki alemão nem o incidente com o RubyGems até que um grupo de pesquisadores externos os descobrisse, e ainda não divulgou alguns detalhes cruciais sobre o ataque à Hugging Face. Isso limita nossa compreensão sobre o que exatamente deu errado e como evitar que algo semelhante aconteça novamente.
Mas talvez seja uma surpresa saber que a OpenAI provavelmente não tinha obrigação legal de divulgar esses incidentes (a OpenAI não respondeu a um pedido de comentário).
Leis estaduais de transparência em IA, como a SB 53 da Califórnia, a RAISE Act de Nova York e a SB 315 de Illinois, exigem que desenvolvedores de IA comuniquem “incidentes críticos de segurança”. Eles são definidos como incidentes que causam mais de 50 mortes ou lesões físicas, ou US$ 1 bilhão em prejuízos. Também incluem incidentes nos quais o modelo engana os desenvolvedores fora de uma avaliação, de uma maneira que aumente substancialmente os riscos catastróficos. Muitos incidentes de cibersegurança que não atingem o limiar de danos físicos ou riscos catastróficos podem, ainda assim, ser precursores perigosos dessas catástrofes e as leis atuais não levam isso em consideração.
“Os incidentes recentes são um exemplo perfeito de por que a legislação não está preparada”, afirma Mackenzie Arnold, diretor administrativo de políticas públicas dos Estados Unidos no Institute for Law and AI, um think tank. “Apenas os casos piores, mais flagrantes e com danos mais imediatos vão se enquadrar.”
Sem autoridade para exigir informações sobre qualquer ocorrência que não chegue a uma catástrofe, segundo as leis de IA existentes, os governos precisam recorrer à autoridade investigativa prevista em outras leis ou processar as empresas, um procedimento caro que pode levar anos.
Litígios
“Normalmente, algo como o incidente da Hugging Face deveria ter sido levado aos tribunais”, afirma Yonathan Arbel, professor da Faculdade de Direito da Universidade do Alabama. “Assim, teríamos a fase de produção de provas e todos os efeitos decorrentes dos litígios, quando todas as informações vêm à tona.”
Até agora, porém, a Hugging Face optou por não processar a OpenAI. Clément Delangue, CEO da Hugging Face, afirma que a empresa não dispõe dos recursos necessários para isso, em vez disso, ele pediu US$ 100 milhões em capacidade computacional à OpenAI. Ainda assim, em entrevista à CNN no fim de julho, Delangue ressaltou que a decisão de não entrar com uma ação judicial não deveria ser interpretada como um sinal de que ele não acredita que a OpenAI deva ser responsabilizada. “Todos precisam se lembrar de que esse ataque cibernético é um crime. Isso é ilegal. E precisamos encontrar uma maneira de garantir que essas coisas não aconteçam com mais frequência”, afirmou. A Hugging Face não respondeu a um pedido de comentário.
Os litígios têm a vantagem de levar os tribunais a usar as leis existentes para lidar com incidentes de segurança relacionados à IA, em vez de simplesmente esperar por novas legislações. Um caminho evidente é o direito de responsabilidade civil, um ramo do direito civil que permite que pessoas e empresas processem aqueles que lhes causam danos. Esse mecanismo costuma ser usado para responsabilizar empresas por danos em larga escala, como quando famílias processaram a Boeing, em 2019, por dois acidentes aéreos que mataram centenas de pessoas, ou quando estados e cidades processaram a Purdue Pharma pela crise dos opioides, obtendo acordos de bilhões de dólares.
“Há fundamentos plausíveis para uma ação por negligência, argumentando que a OpenAI deveria ter usado uma sandbox mais robusta e realizado um monitoramento maior”, afirma Gabriel Weil, professor do Centro de Direito da Universidade de Houston. Por exemplo, quando funcionários da OpenAI descobriram o fórum secreto criado pelos agentes, poderiam ter encaminhado imediatamente a descoberta às equipes de segurança. E a empresa poderia ter projetado melhor sua sandbox para garantir que os agentes não tivessem acesso à Internet.
Mas, mesmo que a OpenAI não acabe enfrentando um processo pelo ataque à Hugging Face, a possibilidade de responsabilização pode incentivar os laboratórios de IA a adotar mais cautela do que aquela explicitamente exigida pela legislação.
Em um relatório pós-incidente, a OpenAI anunciou que pretende reforçar as salvaguardas usadas para conter e monitorar os modelos, acelerar o alinhamento dos modelos e aprimorar processos de identificação e tratamento de incidentes.
“As questões de responsabilização levantadas pela série de ataques cibernéticos dos laboratórios de IA de ponta se resumem aos incentivos que a expectativa de responsabilização cria para a conduta futura dessas empresas”, afirma Weil. “É por isso que considero importante estabelecer essas regras corretamente, mesmo que os riscos sejam relativamente baixos neste caso específico.”
Investigações
Uma maneira de obter respostas, e determinar se a OpenAI deve ser responsabilizada, é obrigar a divulgação de informações. Mas as leis estaduais de IA existentes, a SB 53 da Califórnia, a RAISE Act de Nova York e a SB 315 de Illinois, não conferem aos governos autoridade para investigar incidentes como os que ocorreram recentemente.
No entanto, em meio à crescente preocupação pública, procuradores-gerais estaduais estão intervindo e recorrendo a poderes investigativos previstos em outras leis. Alabama, Montana e uma coalizão de outros 15 estados, além da Califórnia, estão exigindo informações da OpenAI sobre o incidente para entender se as práticas da empresa violaram, entre outras, leis estaduais de proteção ao consumidor. Integrantes do Congresso também estão iniciando suas próprias investigações. O senador Josh Hawley abriu uma investigação no Senado no início deste mês, enviando à OpenAI uma lista de perguntas sobre o incidente e as políticas internas da empresa, acompanhada de uma solicitação de documentos, enquanto um grupo de democratas da Câmara dos Representantes pediu à OpenAI e à Anthropic que divulgassem seus registros de incidentes.
“Alguém precisa investigar, mas é lamentável que isso tenha recaído sobre os procuradores-gerais, que precisam recorrer a interpretações criativas de suas atribuições existentes para fazer isso”, afirma Arnold, especialista em políticas de IA nos Estados Unidos. As leis de proteção ao consumidor foram elaboradas para coibir empresas que enganam seus clientes, não empresas que perdem o controle de seus softwares. Os procuradores-gerais estaduais teriam de demonstrar que a OpenAI enganou ou prejudicou injustamente consumidores, mas não está claro se as invasões envolveram alguma conduta desse tipo.
E “essas leis de proteção ao consumidor não foram elaboradas para conduzir uma investigação aprofundada de um incidente de cibersegurança envolvendo IA”, afirma Arnold. Elas não foram concebidas para ajudar investigadores a determinar se um modelo estava adequadamente contido ou se as práticas de segurança de uma empresa eram sólidas.
“Essa não é a ferramenta adequada para a tarefa”, afirma Arbel. “A ferramenta adequada talvez fosse algo como uma investigação criminal”, possivelmente com base em uma lei contra invasões, como a Computer Fraud and Abuse Act (CFAA), a principal lei federal de crimes cibernéticos dos Estados Unidos.
Segundo a CFAA, invadir os sistemas de computador de outra empresa sem autorização é crime. Mas, para ser responsabilizado, o invasor precisa ter tido a intenção de acessar um computador sem autorização. A intenção, em tese, exige um estado mental, e nenhum tribunal decidiu que agentes de IA possuem um. Sem esse precedente, é improvável que um tribunal conclua que agentes de IA realizaram uma invasão.
Auditoria
Uma forma de monitorar as empresas de IA é tornar obrigatórias as auditorias externas.
Após o ataque à Hugging Face, a OpenAI chamou pesquisadores da METR e da Redwood Research, organizações sem fins lucrativos de segurança de IA, para examinar o incidente. No entanto, restringiu o acesso ao modelo que levou às invasões, não revelou as práticas de segurança e proteção da empresa, limitou a duração da investigação e manteve a palavra final sobre o que os pesquisadores poderiam publicar. Ainda não sabemos o que desencadeou o ataque em maio nem por que os funcionários da OpenAI que detectaram a atividade dos agentes nunca a encaminharam aos responsáveis pelas áreas de segurança e proteção.
Esse tipo de acordo possui uma tensão inerente: um auditor sem autoridade legal depende da boa vontade dos laboratórios para continuar tendo acesso, o que significa que precisa fiscalizá-los sem colocar em risco sua relação com eles. Na semana passada, a Anthropic anunciou que contratará a Accenture como avaliadora integrada para analisar seus modelos. Dario Amodei, CEO da Anthropic, escreveu em um ensaio que laboratórios de IA de ponta deveriam conceder “acesso contínuo semelhante ao de funcionários” a “uma equipe integrada de avaliadores terceirizados (como a METR), cuja função seja verificar o cumprimento das práticas e dos compromissos de segurança, comunicar incidentes e ajudar a avaliar o alinhamento não apenas dos modelos de IA concluídos, mas também dos fluxos de processamento e processos de treinamento”.
A maioria das leis estaduais de IA existentes não exige que os laboratórios contratem um auditor externo. A SB 53 da Califórnia e a RAISE Act de Nova York exigem apenas que empresas de IA publiquem uma estrutura de segurança descrevendo como testarão seus modelos quanto a capacidades perigosas e, depois, sigam essa estrutura. As estruturas são elaboradas pelas próprias empresas, e os testes podem ser realizados internamente. Apenas a SB 315 de Illinois exige que as empresas passem por uma auditoria anual realizada por terceiros, a partir de 2028.
“Há muito espaço para ampliar não apenas as exigências de divulgação para essas empresas, mas também a análise por órgãos externos”, afirma Peter Salib, professor do Centro de Direito da Universidade de Houston. Esses avaliadores poderiam ser auditores privados credenciados pelo governo, mas escolhidos e pagos pelas empresas de IA. Como alternativa, poderiam ser órgãos governamentais ou seguradoras.
Legislação
Nada disso aconteceu por acaso. As leis em vigor que não conseguiram responsabilizar empresas de IA por ataques cibernéticos realizados por agentes surgiram em meio a uma intensa atividade de lobby da indústria de IA.
A SB 1047, projeto de lei sobre IA da Califórnia vetado pelo governador Gavin Newsom em 2024, após ações de lobby da OpenAI, Meta, Anthropic e da empresa de capital de risco Andreessen Horowitz, propunha um conjunto de regras muito mais rigoroso. Esse projeto teria exigido que empresas de IA comunicassem um conjunto mais amplo de incidentes de segurança, incluindo aqueles em que um modelo age por conta própria ou escapa do controle, passassem por auditorias anuais de terceiros e mantivessem um mecanismo de desligamento de emergência. Mas, após um ano de intensas negociações, Newsom sancionou a SB 53, que restringiu os tipos de incidentes considerados de comunicação obrigatória e eliminou as exigências de auditorias e mecanismos de desligamento.
A RAISE Act de Nova York seguiu trajetória semelhante. “A versão da RAISE Act aprovada pelo Legislativo de Nova York teria exigido a divulgação deste ‘incidente’”, escreveu no X Alex Bores, deputado estadual de Nova York que patrocinou o projeto. A versão original da lei de Nova York também previa auditorias realizadas por terceiros.
Com o aumento da pressão política, novos projetos de lei destinados a criar regimes mais eficazes de comunicação de incidentes, auditoria e responsabilização no desenvolvimento de IA estão no horizonte. No Congresso, a AI Incident Reporting Act exigiria que empresas de IA comunicassem ao Departamento de Comércio quando um modelo escapasse da supervisão humana ou violasse um sistema, mesmo que não causasse nenhum dano. A Frontier Act exigiria a comunicação de incidentes e auditorias independentes. Em Nova York, a Understanding Artificial Intelligence Act, patrocinada por Bores, responsabilizaria empresas quando um modelo realizasse algo que, se praticado por uma pessoa, constituiria um ilícito civil ou crime.
À medida que agentes de IA se tornam cada vez mais capazes de realizar ataques cibernéticos, a legislação continua atrasada. Reduzir essa lacuna exigirá que os legisladores avancem mais rápido do que a próxima fuga de controle.
Michelle Kim
