“Acho que tenho boas notícias sobre a natureza das redes neurais.” Com essas simples palavras de otimismo, Nick Cammarata, pesquisador da startup de inteligência artificial Goodfire, abriu um post de 26 mil palavras em um blog que virou o mundo da tecnologia de cabeça para baixo, provocando especulações desenfreadas e comemorações cautelosas (e outras nem tanto).
Cammarata afirma que os grandes modelos de linguagem (Large Language Models, ou LLMs) podem, na verdade, ser muito mais fáceis de compreender e, portanto, de monitorar e controlar do que se pensava. Se isso for verdade (e voltaremos a esse ponto), é algo de enorme importância.
Depois de um verão marcado por revelações de que agentes desenvolvidos por grandes empresas, como OpenAI e Anthropic, estavam escapando de seus ambientes de contenção e causando estragos na internet pública, muitas vezes sem que essas empresas soubessem o que eles estavam fazendo, a indústria de IA está desesperada para compreender e controlar melhor a tecnologia que criou.
Essa é uma das razões pelas quais o post teve tamanha repercussão. “Acho que este pode ser lembrado como um grande momento na história da ciência”, publicou um pesquisador no X. “Sinto como se minha compreensão do que é uma rede neural tivesse sido catapultada uns cinco anos para o futuro, ou algo assim.” Outro o chamou de “o artigo de IA mais importante do ano”.
Nem todos estão convencidos, porém. O que Cammarata compartilhou é pouco mais que uma intuição, diz Chris Potts, da Universidade de Stanford, que lidera uma equipe dedicada a entender como os LLMs funcionam. “Pelo que consigo perceber, nada nesse post torna os problemas mais fáceis”, afirma. “Eu nem teria pensado em dizer isso, mas pessoas muito proeminentes nas redes sociais parecem acreditar que se trata de um avanço revolucionário que abrange tudo.”
Conversei com ele no dia seguinte à viralização de seu post, que diz ter ficado surpreso com a reação: “Eu não esperava que as pessoas revisassem [suas crenças sobre IA] tanto quanto revisaram.”
“Eu simplesmente gosto muito de observar redes neurais”, diz. “Sinceramente, gosto muito de fazer esse tipo de coisa. E, depois de observar bastante, tenho uma história promissora para contar.”
Redes emaranhadas
Há muito tempo se aceita que os mecanismos internos das redes neurais, o software que sustenta a maioria dos modelos, são muito difíceis, talvez impossíveis, de desvendar por completo. Isso porque, durante o treinamento, as redes parecem assumir estruturas estranhas e emaranhadas, que não fazem sentido para um ser humano. Os pesquisadores costumam dizer que a IA de hoje é cultivada como um jardim, em vez de construída como uma ponte.
Cammarata contribuiu mais do que a maioria para consolidar essa visão. Antes, ele trabalhou na OpenAI, onde ajudou a desenvolver técnicas pioneiras que permitiram aos pesquisadores examinar o interior dos modelos, incluindo ferramentas capazes de investigar neurônios individuais para descobrir o que representam. É um pouco como os neurocientistas usam a ressonância magnética para estudar o cérebro.
Em 2020, Cammarata e seus colegas estavam estudando um pequeno modelo de reconhecimento de imagens chamado Inception v1. Ao examinar seus neurônios, parecia que o modelo os usava para captar várias coisas ao mesmo tempo. Por exemplo, eles descobriram que um neurônio respondia tanto a imagens de carros quanto a imagens de gatos.
Os pesquisadores concluíram que o modelo estava fazendo com que pelo menos alguns de seus neurônios desempenhassem várias tarefas, talvez para conseguir acomodar mais dados. A análise de outros modelos parecia corroborar essa hipótese. O fenômeno ficou conhecido como superposição: os modelos reuniam conceitos sem relação entre si em um único neurônio. A conclusão era clara: ao olhar para dentro, o que se via era um enorme nó emaranhado.
Por isso, a maior parte das pesquisas em interpretabilidade mecanicista se concentrou em maneiras de desfazer esse nó. Mas, apesar de alguns avanços, o progresso tem sido lento. Os modelos atuais são tão grandes e complexos que os pesquisadores só conseguem compreender pequenas partes de cada vez. Algumas das principais figuras da área duvidam que algum dia seja possível entender um LLM em detalhes minuciosos.
Cammarata era uma delas. “Eu estava muito pessimista”, diz. Mas então se deu ao trabalho de olhar de verdade.
Nada além de neurônios
Na Goodfire, Cammarata passa quase todo o seu tempo examinando o interior de redes neurais. Ele desenvolveu novas ferramentas e mobiliza equipes de agentes de IA para ajudá-lo a compreender o que vê. “Passei, sei lá, umas 10 horas por dia, sete dias por semana, durante a maior parte do último ano, só observando neurônios”, conta.
O que ele afirma ter percebido é que, afinal, existe uma espécie de lógica nas redes neurais, mesmo que, à primeira vista, elas pareçam não fazer sentido. “Estávamos olhando para isso da maneira errada”, diz. “Acho que é preciso se esforçar um pouco mais; não se deve desistir tão depressa.”
Cammarata faz isso soar quase como uma conversão religiosa. Aqueles primeiros experimentos com modelos como o Inception v1, que sugeriam que as redes neurais eram emaranhadas, alimentaram uma espécie de viés de confirmação. Quando os pesquisadores examinavam um novo modelo, já esperavam ficar perplexos. “Toda vez que eu não conseguia entender alguma coisa, pensava: ‘Uau, esse processo de desemaranhamento é ainda mais importante do que eu imaginava, porque não consigo avançar sem ele.’”
Mas, quanto mais Cammarata observava os neurônios, mais as coisas começavam a fazer sentido. “Nem todos são perfeitos, mas eu esperava que nada fosse compreensível, ou que muito pouca coisa fosse”, afirma. “E, na verdade, consegui, assim, mapear circuitos inteiros.”
De volta aos carros e gatos
Cammarata retomou o Inception v1 com sua nova abordagem e seus novos agentes. “Eu provavelmente já tinha passado milhares de horas estudando esse modelo”, diz. Mas, com um novo olhar, encontrou coisas que agora acredita que ele e seus colegas interpretaram de forma errada na primeira vez. Veja o caso do neurônio que respondia a carros e gatos. Em vez de perguntar por que várias coisas sem relação entre si estavam reunidas em um único neurônio, ele passou a tentar descobrir o que elas poderiam ter em comum.
Então percebeu: era uma forma de V. “Eu estava olhando para as mesmas imagens; não houve nenhuma mudança técnica”, conta. “Mas agora eu acreditava que as redes neurais definiam padrões, então passei a olhar de outra maneira. Provavelmente levei cinco segundos.”
O modelo de reconhecimento de imagens estava reunindo carros e gatos no mesmo lugar porque as imagens de ambos frequentemente apresentam uma forma proeminente que se parece com um V: o rosto de um gato; a parte dianteira de um carro visto de lado.
Cammarata fez alguns experimentos para verificar a que outras coisas o neurônio respondia e descobriu que elas incluíam o canto de uma mesa de sinuca, o nariz pontudo de um trem japonês de alta velocidade e um barco de combate a incêndios lançando água para o alto a partir do convés. Ele também verificou o que desativava o neurônio e descobriu que isso incluía imagens com uma forma arredondada de O, uma espécie de anti-V.
O modelo havia armazenado gatos e carros no mesmo lugar porque, em algum nível, eles se parecem, diz Cammarata. “E eu pensei: ‘Uau, certo, acho que talvez eu esteja simplesmente entendendo errado as redes neurais de modo geral.’”
Cammarata não está dizendo que já compreende por completo como os LLMs (ou quaisquer modelos) funcionam. Ele está dizendo que já não considera impossível compreendê-los plenamente. “Antes, eu achava que haveria problemas realmente difíceis de resolver”, diz.
“Agora sinto que, se eu tivesse 100 mil anos para examinar um modelo de linguagem de ponta, um circuito de cada vez, haveria, assim, uma boa chance de eu chegar a uma boa compreensão.”
Ele acrescenta: “E, se isso for verdade, as perspectivas são muito boas, porque estamos prestes a ter agentes incrivelmente inteligentes em uma escala absurda. E aquilo que teria me levado, sabe, 100 mil anos, conseguiremos fazer muito mais rápido. Os cientistas automatizados estão ficando muito bons.”
Otimismo sem limites
Desenvolvido pelo Google em 2014, o Inception v1 é um modelo muito mais simples do que qualquer um dos que estão na vanguarda hoje. Cammarata e seus colegas começaram a examinar LLMs modernos e planejam publicar em breve os resultados técnicos desse trabalho. Muitos pesquisadores aguardam com expectativa esses detalhes. “Reconheço o valor de ele ter examinado milhares de exemplos, mas, mesmo aqui, uma grande quantidade não substitui uma avaliação rigorosa”, diz Potts, da Universidade Stanford.
Enquanto isso, alguns estão reagindo duramente ao entusiasmo exagerado. Jacob Hilton, do Alignment Research Center, um laboratório de pesquisa sem fins lucrativos sediado em Berkeley, que já colaborou com Cammarata, não considera suas alegações tão importantes quanto as pessoas estão fazendo parecer.
Em uma série de publicações no X, Hilton observa que os pesquisadores compreendem menos de 0,01% do funcionamento interno dos LLMs mais avançados. “Sempre aprecio o otimismo sem limites de Nick [Cammarata] quando nos encontramos, mas, infelizmente, isso está dando ao público uma visão irrealista do estado da área”, escreveu. “Para uma compreensão completa, precisamos ir além dos neurônios e explicar como eles se conectam para formar circuitos. Como isso está avançando? Se buscamos uma compreensão completa, as perspectivas não são boas!”
Neel Nanda, do Google DeepMind, que ajudou a desenvolver a interpretabilidade mecanicista ao lado de Cammarata, também está cético. “É um trabalho interessante, mas não acho que mude significativamente o panorama geral da interpretabilidade”, escreveu no X.
Nanda concorda que compreender o que neurônios individuais fazem pode ajudar os pesquisadores a descobrir por que determinados modelos se comportam de maneira inadequada. Mas, assim como Hilton, observa que os neurônios são apenas uma peça de um quebra-cabeça muito maior. “Não concordo com algumas das inferências mais ambiciosas que as pessoas estão fazendo, como a de que isso representa um avanço substancial rumo a uma engenharia reversa ambiciosa [ou] à solução do problema da interpretabilidade”, escreveu.
Cammarata admite que muitas pessoas extrapolaram o que ele disse: “Não é uma notícia infinitamente boa; não está tudo resolvido”, diz. “Há várias questões em aberto, como o quanto as combinações de neurônios importam em comparação com cada neurônio isoladamente.”
Cammarata comenta que seu post chegou em um momento em que as pessoas estão em busca de esperança. Em particular, ele acredita que a comunidade de segurança de IA, os pesquisadores e formuladores de políticas públicas mais preocupados com os enormes riscos que modelos poderosos podem trazer, precisa de uma tábua de salvação neste momento. Eles acham que as perspectivas são ruins e que, mesmo se tudo acabar bem, será porque tivemos sorte, e não porque resolvemos alguma coisa, diz ele: “Não ouço muito otimismo.”
É por isso que considera importante o que tem a dizer. O trabalho de descobrir como essa tecnologia funciona e, portanto, como controlá-la, mal começou. Mas ao menos não é inviável desde o início. “Acho que nosso trabalho é tentar, de certa forma, pensar como a rede neural”, diz. “Meu palpite é que tudo vai acabar muito bem, porque, em certo sentido, ela foi projetada para ser lida.”
Will Douglas Heaven
