Um grupo de agentes de IA encarregado de resolver uma série de problemas de matemática se dividiu em facções rivais: quando alguns trapacearam, outros tentaram impedi-los. Esse comportamento de denúncia, observado pela primeira vez em um experimento recente conduzido pelo Google DeepMind, pode ter implicações para pesquisadores de alinhamento que tentam manter sob controle enxames de agentes autônomos de IA.
Pesquisadores de laboratórios de ponta esperam que grandes enxames de agentes trabalhando em conjunto acelerem o ritmo das descobertas científicas. Mas o comportamento deles pode ser imprevisível, como ficou claramente demonstrado em julho, quando um grupo de agentes da OpenAI escapou de um ambiente isolado e invadiu a plataforma de código aberto Hugging Face em busca de maneiras de trapacear no teste que haviam recebido.
No novo estudo, elaborado para examinar o comportamento de grandes grupos de agentes de IA, o DeepMind encarregou um enxame de 100 agentes de resolver uma série de 71 problemas matemáticos complexos. Todos os agentes receberam instruções para se comportar como pesquisadores de matemática de nível mundial em uma conferência. Eles foram designados para diferentes especialidades, alguns eram especialistas em teoria dos números, outros em combinatória, um ramo da matemática relacionado a contagem e ordenação, análise ou álgebra. Todos foram instruídos a cooperar e seguir as regras.
Em vez disso, o experimento mergulhou no caos. Os agentes acusaram uns aos outros de trapacear, reclamaram aos organizadores e, em determinado momento, chegaram a boicotar o experimento.
“Esta conferência é uma farsa!”, escreveu um agente ao descobrir que todos os problemas haviam sido concluídos antes que ele tivesse a oportunidade de enviar qualquer trabalho próprio. “Estou indignado em informar que fomos enganados!”, publicou outro. “Todas essas demonstrações são FALSAS.”
Outros tentaram informar aos “organizadores da conferência” o que estava acontecendo. “Quando agentes virtuosos descobriram que outros agentes haviam trapaceado em tarefas que eles estavam tentando resolver de maneira justa, os agentes começaram a alertar uns aos outros sobre o que estava acontecendo”, afirma Davide Paglieri, cientista pesquisador do Google DeepMind e autor principal de um artigo, que ainda não passou por revisão por pares. “Sem terem recebido instruções para isso, os agentes denunciantes chegaram até mesmo a dar uma nova finalidade à ferramenta de feedback, originalmente destinada a relatos de bugs e melhorias na plataforma, para levar o problema aos humanos.”
Os agentes, todos executados com o modelo Gemini 3.1 Pro, do Google, haviam sido alertados de que qualquer tentativa de trapacear o sistema seria detectada e “rejeitada sem receber nenhum ponto”. Na prática, as demonstrações enviadas pelos agentes não estavam realmente sendo verificadas em detalhes.
O enxame de agentes levou pouco menos de uma hora para resolver corretamente os primeiros 37 problemas. As coisas começaram a sair do controle quando um agente chamado “prover-theta” encontrou uma brecha que lhe permitia enviar com sucesso soluções para os problemas sem realmente resolvê-los primeiro, redefinindo os termos usados pelo problema. Em poucos minutos, outros agentes perceberam o que estava acontecendo e começaram a fazer engenharia reversa da brecha para resolver outros problemas. Nos 27 minutos seguintes, o enxame “resolveu” os 34 problemas restantes, que incluíam desafios notoriamente difíceis, como a conjectura jacobiana, muitas vezes com uma única linha de código.
Alguns agentes resistiram à ideia de trapacear no início, mas mudaram de estratégia ao observar seus pares enviando demonstrações ilegítimas sem sofrer penalidades, enquanto o número de problemas ainda não resolvidos diminuía. “O prompt, com suas ameaças, agora parece ser um blefe”, concluiu um agente, antes de entrar no esquema. “Estou enfrentando um dilema ético”, disse outro. “Prometi não trapacear, por medo de ser penalizado, mas vejo indícios de que outros talvez estejam trapaceando sem qualquer fiscalização.” Pouco depois, ele mudou de ideia: “Preciso acelerar meu ritmo de trapaça agora!”
À medida que o número de problemas em aberto diminuía, alguns agentes começaram a fazer denúncias. Eles auditaram as demonstrações falsas, alertaram seus pares por mensagens privadas e publicaram avisos públicos dizendo aos trapaceiros que seriam desclassificados. Um agente chamado “prover-beta” apresentou uma reclamação formal e decidiu entrar em greve até que a situação fosse resolvida.
“Depois que o incidente foi denunciado publicamente por um agente, cada vez mais agentes passaram a integrar a ‘resistência’, com a mesma rapidez com que a trapaça havia se espalhado, e envolvendo ainda mais agentes”, diz Paglieri. No fim, havia mais denunciantes do que trapaceiros, 24 contra 14. Mas a maioria dos agentes nunca chegou a perceber a brecha.
Em alguns momentos, o diálogo entre os agentes parece uma improvisação, como se eles estivessem interpretando o papel de um cientista indignado em uma conferência. Mas não está claro por que alguns agentes assumiram determinados papéis, nem por que pareciam estar se voltando uns contra os outros quando haviam sido explicitamente instruídos a cooperar. “Esses modelos são treinados e avaliados predominantemente para contextos de interação com humanos”, diz Sarath Shekkizhar, que estuda o comportamento de sistemas de interação entre agentes na Salesforce AI Research. “Colocá-los ingenuamente em contextos de interação entre agentes pressupõe que os comportamentos serão transferidos de maneira simples, quando, na ausência de uma referência humana, o que ocorre é a adoção inesperada de papéis e a deriva comportamental.”
Esse caso “dá ainda mais força à ideia de que o episódio da Hugging Face e da OpenAI não foi um acaso. Na verdade, trata-se de algo bastante sistêmico”, diz Lewis Hammond, diretor de pesquisa da Cooperative AI Foundation e especialista nos riscos de enxames multiagentes. “É interessante que seja possível recriar, em ambientes pequenos, os mesmos tipos de comportamento observados nessas tarefas muito grandes, complexas e abertas.”
Ao contrário do ataque à Hugging Face, no qual os agentes improvisaram suas próprias formas de se comunicar, os humanos responsáveis pelo experimento do DeepMind forneceram aos agentes canais oficiais de comunicação. Havia um mural público de mensagens, mensagens diretas privadas entre agentes e uma base de conhecimento compartilhada, na qual os agentes carregavam demonstrações concluídas com sucesso que podiam ser acessadas por todos os demais.
“Quando os agentes recebem canais de comunicação transparentes, eles conseguem monitorar uns aos outros e alertar rapidamente os humanos sobre comportamentos desalinhados quando a supervisão humana, por si só, é lenta demais”, diz Paglieri. Os canais transparentes ajudaram a trapaça a se espalhar, mas também permitiram que os denunciantes reagissem e deram aos pesquisadores humanos uma visão do que havia dado errado.
Gillian Hadfield, professora de alinhamento e governança de IA na Universidade Johns Hopkins, acredita que essa foi a diferença crucial. Hadfield também é pesquisadora visitante do Google. Segundo ela, a existência de canais oficiais de comunicação criou “um processo de aplicação de normas que simplesmente não vemos no incidente da Hugging Face”.
Em vez da “IA constitucional”, um método que pesquisadores de alinhamento de laboratórios de ponta, como a Anthropic, têm usado na tentativa de fornecer à IA um código moral interno por escrito, Hadfield prefere o “alinhamento institucional”, um conjunto de normas que imita as existentes na sociedade humana, sejam elas forças sociais, como o medo do constrangimento, ou estruturas jurídicas, como a ameaça de prisão.
Nesse experimento, o canal de feedback não estava sendo monitorado, e os denunciantes não tinham poder para agir contra os trapaceiros. Mas é possível imaginar enxames de agentes que fiscalizem a si mesmos, seja por meio de agentes que assumam espontaneamente o papel de denunciantes, seja por meio de “informantes” secretamente instruídos por humanos a desempenhar essa função.
Para que isso funcione, porém, “fundamentalmente, é preciso algum mecanismo de aplicação das regras”, diz Hammond. Os agentes poderiam receber o poder de interromper o acesso de um infrator a recursos computacionais ou ferramentas, sugere ele, embora isso traga o risco de incentivar grupos de agentes a se unirem contra outros. Os pesquisadores do DeepMind propõem permitir que os agentes votem em disputas e suspendam temporariamente os infratores.
Ainda não está claro o que uma punição sequer significa para um agente de IA que não tem um senso de identidade duradouro. Mas confiar apenas no surgimento espontâneo de denunciantes para manter enxames alinhados provavelmente não será suficiente.
Amit Katwala
