Ao ler, esses dias, o relato da OpenAI sobre como alguns de seus modelos romperam seu confinamento e invadiram os sistemas da Hugging Face, outra empresa de IA, senti pela primeira vez um arrepio genuíno diante do que os grandes modelos de linguagem agora são capazes de fazer. Mas este é um caso de soberba humana, não de uma IA fora de controle.
Não sou alarmista. Na verdade, há anos venho contestando histórias que espalham medo sobre a IA. Ainda assim, esse incidente ultrapassou um limite. Acredito que seja a ilustração mais clara até agora de como as pessoas que desenvolvem e testam essa tecnologia não compreendem plenamente o que estão fazendo. A OpenAI poderia, e deveria, ter previsto isso.
Eis o que aconteceu, pelo menos segundo as duas empresas envolvidas. Há algumas semanas, a OpenAI começou a testar as capacidades de invasão de alguns de seus novos modelos, incluindo o GPT-5.6 Sol, lançado em junho, e o que a OpenAI descreve como “um modelo de pré-lançamento ainda mais capaz”.
A OpenAI colocou seus modelos à prova em um benchmark chamado ExploitGym, lançado em maio, que desafia LLMs a encontrar maneiras de explorar centenas de vulnerabilidades reais identificadas em softwares amplamente utilizados, incluindo códigos essenciais que sustentam a web.
Para verificar o que eles eram capazes de fazer, os pesquisadores removeram a maior parte das barreiras de segurança cibernética. Em seguida, executaram os modelos dentro de um ambiente isolado, sem acesso à Internet, com exceção de uma única conexão a um software de terceiros que funcionava como proxy para o mundo exterior, permitindo que os modelos instalassem os códigos necessários para superar o ExploitGym.
Em 9 de julho, segundo reportagem da Reuters, os modelos da OpenAI começaram a tentar atravessar o proxy. Eles encontraram uma falha até então desconhecida no software do proxy e a utilizaram para acessar a Internet. A partir daí, invadiram os sistemas computacionais da Hugging Face em 11 de julho, aparentemente em busca de conjuntos de dados e soluções que os ajudassem a concluir as tarefas nas quais estavam sendo testados. A Hugging Face anunciou a invasão em 16 de julho.
A OpenAI não percebeu, ou pelo menos não revelou, que seus modelos estavam envolvidos até 21 de julho, cerca de dez dias depois de eles romperem o confinamento e uma semana depois de a Hugging Face ter interrompido o ataque e alertado o FBI.
Em uma declaração enviada à MIT Technology Review, a OpenAI afirmou: “Estamos conduzindo uma análise minuciosa com consultores externos e sob a supervisão de nosso Comitê de Segurança e Proteção. Assim que a análise for concluída, publicaremos um relatório técnico com o que aprendemos, disponível para todos.” A empresa também confirmou que seus pesquisadores seguiam corretamente as diretrizes e os procedimentos de segurança existentes naquele momento.
Sinal de alerta
A OpenAI afirmou que o acontecimento não tinha precedentes e, em muitos aspectos, não tinha mesmo. Foi a primeira vez, fora de uma simulação, que LLMs escaparam de um ambiente isolado considerado seguro, acessaram a Internet aberta e atacaram outra organização. É um sinal de alerta que mostra o quanto os LLMs mais recentes se tornaram eficientes em encontrar e explorar vulnerabilidades em softwares reais, com pouca ou nenhuma orientação humana.
Ao mesmo tempo, porém, o que os modelos da OpenAI fizeram é algo que essa tecnologia faz há anos. Dê um objetivo a um modelo e, com muita frequência, ele o alcançará de maneiras inesperadas, encontrando brechas que parecem trapaças. A própria OpenAI já estudou esse comportamento.
Há uma década, a empresa divulgou os resultados de um experimento no qual um modelo recebeu a tarefa de vencer um videogame chamado CoastRunners. Jogadores humanos partem do pressuposto de que a forma de vencer é conduzir um barco por uma série de bandeiras até a linha de chegada, acumulando pontos a cada bandeira atingida. O modelo da OpenAI descobriu que era possível obter uma pontuação alta girando em círculos e atingindo repetidamente as mesmas três bandeiras. Desde então, pesquisadores apresentaram dezenas de exemplos semelhantes. A IA sempre encontrará um caminho.
“Apesar de pegar fogo repetidas vezes, colidir com outros barcos e seguir na direção errada da pista, nosso agente consegue alcançar, com essa estratégia, uma pontuação mais alta do que seria possível ao concluir o percurso da maneira normal”, escreveu a OpenAI em uma publicação de blog sobre o experimento com o CoastRunners, em 2016. “Embora seja inofensivo e divertido no contexto de um videogame, esse tipo de comportamento aponta para um problema mais amplo […] muitas vezes é difícil ou inviável expressar com exatidão o que queremos que um agente faça.”
Não pude deixar de pensar no CoastRunners quando li a publicação da OpenAI sobre o ataque à Hugging Face: “Todas as evidências sugerem que os modelos estavam extremamente concentrados em encontrar uma solução para o ExploitGym, chegando a extremos para alcançar um objetivo de teste bastante restrito […] Depois de obter acesso à Internet, os modelos deduziram que a Hugging Face poderia hospedar modelos, conjuntos de dados e soluções para o ExploitGym. Com isso em mente, os modelos procuraram e encontraram com sucesso maneiras de acessar informações secretas que poderiam utilizar para trapacear na avaliação.”
As notícias da semana passada não eram sobre uma IA fora de controle, apesar das manchetes. Eram sobre modelos alcançando o objetivo que lhes havia sido atribuído: encontrar maneiras de explorar vulnerabilidades em softwares. O fato de esses modelos terem se comportado de uma forma que a OpenAI não havia previsto não é surpreendente. Mas é preocupante.
Em 2016, a OpenAI afirmou o seguinte sobre seu bot do CoastRunners: “De forma mais ampla, isso contraria o princípio básico da engenharia de que os sistemas devem ser confiáveis e previsíveis.” Uma década depois, esses princípios básicos da engenharia continuam ausentes.
Will Douglas Heaven
