Recentemente, Dario Amodei, CEO da Anthropic, publicou um ensaio defendendo um freio no ritmo de desenvolvimento dos LLMs. Amodei cita os perigos iminentes que enxerga na tecnologia, desde o uso em ciberataques e bioterrorismo até seu potencial de devastar a economia. Os líderes dos outros três principais laboratórios de IA dos Estados Unidos, Sam Altman, CEO da OpenAI; Demis Hassabis, presidente do Google DeepMind; e Elon Musk, CEO da SpaceXAI, manifestaram apoio. “Dario está certo”, escreveu Musk no X.
Pense por um momento em como esse acordo é surreal. Há apenas alguns meses, Musk e Altman estavam em um tribunal atacando a reputação um do outro em uma ação judicial (fracassada) movida por Musk contra o ex-colega da OpenAI. Ao menos no papel, ela era sobre Altman ser ou não um administrador confiável de uma tecnologia tão perigosa.
O rompimento de Amodei com a OpenAI é ainda mais profundo. A Anthropic foi fundada em 2021 porque Amodei não achava que Altman levava os riscos da tecnologia que estavam construindo a sério o suficiente. Anthropic e OpenAI têm competido em uma corrida em que o vencedor leva tudo desde então. Hassabis ficou fora do drama, mas sua empresa continua sendo uma concorrente.
Agora, ao que parece, todos estão de acordo: a geração mais recente de LLMs não é segura e todos precisam descobrir o que fazer a respeito. A comunicação pública dos principais laboratórios de IA adotou um tom mais apocalíptico.
É fácil ser cínico. Não está nem um pouco claro o que qualquer um deles quer dizer com desaceleração ou como isso funcionaria. Essas empresas também se preocupam muito com a forma como são percebidas. Com IPOs de trilhões de dólares no horizonte, OpenAI e Anthropic precisam tranquilizar investidores de que são os adultos na sala, ao mesmo tempo em que insinuam o poder dos monstros que criaram e pretendem domar. Pedir uma desaceleração faz as duas coisas.
Ainda assim, o clima no topo dessas empresas realmente parece ter mudado. A publicação mais recente de Amodei veio seis dias depois de a OpenAI publicar um ensaio de Jakub Pachocki, cientista-chefe da empresa, no qual ele também explicou por que está preocupado com o que acontecerá se o ritmo de desenvolvimento dos LLMs continuar sem controle. Em resumo, Pachocki teme que a capacidade da OpenAI de construir modelos poderosos esteja muito à frente de sua capacidade de monitorá-los e controlá-los.
Amodei e Pachocki citam, como um alerta, o ciberataque contra a empresa de IA Hugging Face, realizado por um grupo de agentes da OpenAI em julho. Por sinal, foi um ataque que a OpenAI sequer percebeu que havia ocorrido até dias depois de seu fim.
Mas é difícil definir exatamente qual é a posição deles. Pachocki defende tanto uma desaceleração quanto a necessidade urgente de permanecer à frente: “O argumento mais forte que vejo para continuar treinando modelos muito mais inteligentes e rapidamente é a necessidade de construir sistemas defensivos contra os perigos apresentados por outras IAs”, escreveu ele. Da forma como Pachocki apresenta a questão, as empresas de IA estão presas em uma corrida armamentista literal. Desacelerar é bom, vencer é melhor.
Não se esqueça: a OpenAI acabou de gastar milhões de dólares e uma quantidade impressionante de poder computacional para lançar às pressas um resultado matemático controverso alguns dias antes da Anthropic.
Mas vamos supor que uma desaceleração aconteça. Os principais laboratórios concordam em gastar mais tempo e recursos encontrando maneiras de monitorar e controlar os modelos existentes, em vez de criar modelos ainda mais capazes. Eles convidam auditores externos para ajudar a avaliar esses modelos.
O que esse esforço coordenado poderia realmente alcançar? Considere novamente o ataque à Hugging Face. A OpenAI afirmou que o modelo que conduziu a maior parte dos agentes fora de controle era um modelo de próxima geração “altamente persistente” que estava sendo testado internamente. A implicação é que a OpenAI criou um modelo tão bom que ele se tornou perigoso.
Mas, se você ler os relatórios sobre o ataque à Hugging Face publicados pela OpenAI e pela METR, uma empresa terceirizada contratada pela OpenAI para ajudar a entender o que aconteceu, a impressão que fica não é a de um modelo poderoso demais para que a OpenAI conseguisse acompanhar, mas, sim, de um modelo defeituoso que a OpenAI não conseguiu treinar adequadamente.
Os agentes fizeram o que fizeram, incluindo deixar mensagens uns para os outros, delegar trabalho a outros agentes e vasculhar o ambiente em busca de qualquer meio possível para concluir as tarefas, porque foram recompensados, durante o treinamento, por fazer exatamente essas coisas. Também houve erros na configuração do treinamento, como tarefas impossíveis de serem concluídas, que levaram os modelos a encontrar soluções alternativas inesperadas, que também eram recompensadas. Na época, muitos desses problemas passaram despercebidos ou não foram divulgados.
A OpenAI afirma que interrompeu o treinamento desse novo modelo e o colocou sob controle. Isso faz parecer que ela colocou uma fera perigosa em uma jaula. Na realidade, a OpenAI arquivou um produto defeituoso.
Isso não significa que um produto defeituoso não possa ser perigoso. Softwares com falhas já chegaram a matar pessoas no passado. Mas, à medida que a discussão sobre uma desaceleração ganha força, vale lembrar que tudo isso foi provocado pelas próprias empresas. Uma desaceleração pode ter alguns efeitos positivos do ponto de vista altruísta, mas ela dará, principalmente a esses titãs da tecnologia, uma oportunidade de limpar a bagunça nas próprias linhas de produção.
A transparência desses laboratórios de fronteira será fundamental para qualquer esforço significativo de reformar, restringir ou regulamentar a IA. Caso contrário, o restante de nós continuará tendo apenas a palavra deles sobre exatamente o que construíram e sobre o quão seguro isso é, independentemente do ritmo em que avancem.
Will Douglas Heaven
