A Google DeepMind está financiando pesquisas sobre os potenciais perigos de situações em que milhões de diferentes agentes de IA interagem entre si online.
Segundo Rohin Shah, que dirige as pesquisas de segurança e alinhamento de AGI da empresa, a chegada ao mercado de massa de agentes capazes de realizar tarefas sem supervisão humana e seguir instruções dadas a eles por outros agentes cria uma classe totalmente nova de risco.
Em um esforço para enfrentar isso, a Google DeepMind, que fez das ferramentas baseadas em agentes uma peça central do Google I/O no mês passado, uniu-se a várias outras organizações para anunciar um fundo de US$ 10 milhões para pesquisadores estudarem o comportamento de sistemas multiagentes e desenvolverem formas de evitar cenários inseguros. Juntam-se à Google DeepMind a Schmidt Sciences, uma fundação filantrópica criada por Eric e Wendy Schmidt; a ARIA, agência de projetos ambiciosos do governo do Reino Unido; a Cooperative AI Foundation, organização de pesquisa sem fins lucrativos sediada no Reino Unido; e o braço beneficente do Google, Google.org.
Perguntei a Shah e James Fox, que lidera o programa Ciência da IA Confiável na Schmidt Sciences, o que eles esperam alcançar com esses US$ 10 milhões. Não é uma quantia pequena, mas é ofuscada pelos orçamentos comandados pelas próprias equipes de pesquisa da Google DeepMind.
O objetivo é dar o pontapé inicial em pesquisas fora das empresas de tecnologia, diz Shah: “A força da academia é que ela consegue olhar para um futuro realmente bastante distante e fazer o tipo de trabalho que não está no centro das atenções nos laboratórios da indústria”.
“O principal problema é que ainda não existe realmente um campo de pesquisa para a segurança multiagente”, acrescenta. “E gostaríamos que existisse.”
A preocupação é que, à medida que mais e mais agentes de IA sejam implantados e comecem a trabalhar juntos, possamos chegar a um ponto de inflexão em que cenários imaginados se tornem reais. “Também vemos isso na humanidade”, diz Shah. “Nossas instituições conseguem realizar coisas que nenhum ser humano individual consegue.”
Shah acredita que ainda faltam alguns meses para que agentes sejam implantados em toda a economia em números que tornem os potenciais riscos uma preocupação real. Ele quer se antecipar a esse momento.
Negócio arriscado
De que riscos estamos falando, exatamente? As possibilidades que Shah e Fox têm em mente se resumem, em grande parte, a versões turbinadas de coisas ruins que já acontecem na internet: golpes, injeções de prompt, nas quais um agente de IA recebe instruções maliciosas, transformando-se em uma peça de malware autoguiada, e outras formas de ciberataque. Observamos o que os humanos fazem hoje e nos perguntamos qual seria a versão disso com agentes, diz Shah.
“Temos este espaço comum digital que é essencial para o funcionamento da sociedade, e é realmente preciso garantir que isso não descambe para uma anarquia absoluta”, diz Fox.
(Perguntei a Shah se eles estavam considerando algum cenário de pior caso mais no extremo catastrofista do espectro, como um colapso econômico generalizado. “Certamente não se estivermos falando até o fim do ano”, disse ele. Faltam só seis meses! Ele riu. “Certo, algum tempo depois disso.”)
Shah e Fox acreditam que a única forma de entender o que pode acontecer quando grandes números de sistemas multiagentes interagem entre si é realizar simulações realistas. Eles querem que pesquisadores coloquem agentes de IA em sandboxes e estudem o que eles fazem.
Não é possível prever o que vai acontecer estudando agentes individuais, ou mesmo pequenos grupos de agentes, isoladamente. Não se pode presumir que agentes de IA sustentados por LLMs sempre agirão de forma racional, diz Fox. E a complexidade vem do fato de haver enormes quantidades de interações acontecendo ao mesmo tempo.
Alguns pesquisadores, incluindo uma equipe da Google DeepMind, argumentaram que a inteligência artificial geral, caso seja de fato possível, poderia surgir não de um único modelo superinteligente, mas de uma espécie de mente coletiva de agentes, em que as capacidades do todo somam mais do que a soma de suas partes.
Falta de confiança
A Google DeepMind não é a única grande empresa de IA a alertar sobre os riscos da tecnologia que está construindo. Há algumas semanas, a Anthropic publicou diretrizes para a implantação de agentes de IA com base em uma abordagem de cibersegurança conhecida como confiança zero, que parte do pressuposto de que um sistema computacional é vulnerável, um agente é um invasor e uma violação vai acontecer.
Refael Angel, cofundador e diretor de tecnologia da Akeyless, uma empresa de cibersegurança sediada em Tel Aviv, concorda que compreender os novos riscos introduzidos por sistemas baseados em agentes é crucial.
Toda abordagem de segurança no passado partia do pressuposto de que a máquina em questão era um software escrito por um humano, fazendo coisas fixas em caminhos fixos, diz Angel: “Um agente rompe todas essas premissas. Ele raciocina, improvisa e pode ser sequestrado por uma única frase escondida em um documento que foi solicitado a ler.”
Angel vê com bons olhos esse novo financiamento. “Nenhum laboratório isolado deveria definir os padrões de segurança em que todos os outros terão de confiar”, diz ele. Mas ele alerta que pesquisadores de segurança podem ignorar problemas tediosos que já estão aqui em favor de problemas hipotéticos mais exóticos.
Ainda assim, observa Fox, riscos que eram hipotéticos alguns anos atrás agora são muito reais: “O futuro chegou mais rápido do que talvez se esperasse.”
Will Douglas Heaven
