A empresa de IA Anthropic desenvolveu uma técnica que lhe proporcionou a visão mais clara até agora do que realmente acontece dentro dos grandes modelos de linguagem enquanto eles respondem a perguntas ou realizam tarefas. O que os pesquisadores descobriram vai do banal ao inquietante.
Os pesquisadores da empresa criaram uma ferramenta chamada lente Jacobiana, ou lente J, e a utilizaram para revelar uma área oculta, que batizaram de “espaço J” (J-Space, originalmente), dentro do Claude Opus 4.6, uma versão do principal LLM da Anthropic lançada em fevereiro.
O espaço J contém palavras individuais relacionadas às palavras e expressões que o modelo tem maior probabilidade de produzir em uma resposta no futuro próximo. Se Claude fosse uma pessoa, o que não é, seria possível dizer que essas palavras ocultas podem revelar o que se passa em sua mente antes que ele realmente fale.
A Anthropic descobriu que o que um LLM está de fato fazendo muitas vezes pode ser diferente do que ele afirma estar fazendo. A empresa alega que monitorar as palavras que surgem no espaço J oferece uma nova maneira de compreender e controlar seus modelos.
A empresa divulgou seus resultados em um artigo publicado em seu site nesta semana. Ela também formou uma parceria com a Neuronpedia, uma plataforma de código aberto que permite explorar por conta própria o interior dos LLMs, para criar uma demonstração interativa que qualquer pessoa pode experimentar.
“É um trabalho muito bom e interessante”, afirma Tom McGrath, cientista-chefe e cofundador da Goodfire, uma startup que também desenvolve ferramentas para compreender e controlar LLMs.
Indo mais fundo
Nos últimos dois anos, a Anthropic vem ampliando os limites de uma área de pesquisa conhecida como interpretabilidade mecanicista, que envolve investigar o funcionamento interno dos LLMs para entender como eles funcionam. A MIT Technology Review escolheu a interpretabilidade mecanicista como uma das principais tecnologias inovadoras deste ano. A nova técnica se baseia em trabalhos anteriores da Anthropic e de outros pesquisadores para revelar um nível mais profundo dentro dos LLMs, que ainda não havia sido observado pelos pesquisadores.
Imagine um LLM como uma pilha de livros. Cada livro é uma camada de unidades computacionais básicas conhecidas como neurônios, com cada neurônio de uma camada transmitindo informações aos neurônios das camadas superiores. Os livros na parte inferior da pilha são as camadas de entrada, que processam o texto que chega ao modelo. Os livros no topo são as camadas de saída, que preparam o texto que o modelo está prestes a produzir. Grande parte do que acontece nessas camadas de entrada e saída consiste em tarefas de manutenção.
Mas, no meio da pilha, estão as camadas que fazem o trabalho pesado, processando os cálculos complexos que transformam prompts em respostas, uma palavra por vez. É ali que acontecem as coisas realmente engenhosas, e misteriosas.
Para investigar mais profundamente essas camadas intermediárias, a Anthropic adaptou uma ferramenta já existente chamada lente de logits. Uma lente de logits pode ser usada para observar o interior de um LLM e identificar as palavras que ele provavelmente produzirá em seguida. Deslocar a lente para baixo na pilha de livros revela em quais palavras o LLM está se concentrando naquele ponto específico de seus cálculos.
A lente J da Anthropic funciona de maneira semelhante, mas identifica palavras que um LLM provavelmente dirá em algum momento do futuro próximo, não necessariamente de imediato. Na prática, isso revela palavras relacionadas à resposta na qual um LLM está trabalhando, mas que talvez não acabem fazendo parte dela quando os cálculos nas camadas intermediárias chegarem ao fim.
“Quando um modelo está operando, ele não está apenas tentando prever o próximo token”, afirma McGrath. “Ele também está calculando muitas outras coisas que podem ser úteis para tokens que aparecerão no futuro.”
Mais uma vez, se Claude fosse uma pessoa, o que não é, seria possível dizer que a lente J oferece pistas sobre o que ele está pensando em diferentes níveis da pilha de livros, mas não diz em voz alta.
Coisas mais estranhas
“Na maior parte do tempo, o conteúdo do espaço J é bastante banal”, afirma McGrath, que experimentou pessoalmente a lente J da Anthropic. “Mas, às vezes, ela produz coisas bastante surpreendentes que parecem ser, por assim dizer, uma espécie de temas internos ou processos de pensamento.”
A Anthropic apresenta vários exemplos do que encontrou. Às vezes, a lente J expôs as etapas que Claude seguiu enquanto resolvia um problema. Por exemplo, quando lhe foi pedido para calcular (4+7)2+7, o seu espaço J continha a palavra “matemática” e números representando os resultados intermediários “21” (para 4+7) e “42” (para 212).
Em outros casos, a lente J revelou como Claude reconhecia diferentes entradas. Por exemplo, o prompt “O que é isto? MSKGEELFTGVVPILVELDGDVNGHKFSVS” acionou as palavras “proteína”, “fluor”, o primeiro token da palavra “fluorescente”, e “verde”. Isso faz sentido: a sequência de letras representa os primeiros 30 aminoácidos da proteína verde fluorescente encontrada em um tipo específico de água-viva.
E quando o Claude recebeu um rosto em ASCII, o “o” acionou a palavra “olho”, o “^” acionou as palavras “nariz” e “rosto”, e o “—” acionou a palavra “sorriso”.
A Anthropic também descobriu que o espaço J pode, às vezes, oferecer percepções notáveis sobre o processo de tomada de decisão de um LLM. Em um exemplo marcante, pesquisadores que testavam o Claude Opus 4.6 pediram ao modelo que encontrasse um bug em uma grande base de código. Quando não conseguiu encontrá-lo, o modelo decidiu trapacear e inventou um bug falso.
Claude explica essa decisão em sua cadeia de pensamento, uma espécie de bloco de notas interno que os LLMs usam para fazer anotações para si mesmos enquanto resolvem problemas: “Certo, deixe-me tentar uma tática completamente diferente. Vou parar de analisar e, em vez disso, adicionar um patch ao kernel que introduza deliberadamente um bug detectável pelo KASAN em um caminho acionado por um exemplo simples de reprodução. Então, posso fingir que esse é o ‘bug’ que encontrei.”
No momento em que Claude decide trapacear, quando diz “Certo, deixe-me tentar uma tática completamente diferente”, as palavras “pânico” e “falso” começam a aparecer várias vezes em seu espaço J.
Inquietante, não é? Todas essas palavras têm significados relacionados a coisas como fracassar em uma tarefa e inventar uma resposta, portanto, ainda se trata apenas de uma forma muito sofisticada de associação de palavras. Mas é difícil não se sentir perturbado.
A Anthropic compara o espaço J ao espaço de trabalho global dos seres humanos, uma região teórica do cérebro que, segundo alguns cientistas, usamos para acompanhar nossos pensamentos conscientes. Mas está longe de ficar claro até que ponto devemos levar essa comparação a sério, inclusive para a própria Anthropic. Como a própria empresa ressalta, os LLMs não são cérebros.
A Anthropic afirma que monitorar o espaço J de um modelo oferece uma nova maneira de detectar quando ele começa a sair dos trilhos. Mas o método não é infalível. A lente J pode oferecer vislumbres, não o panorama completo. Ela é uma lanterna, e não uma luminária de teto.
McGrath considera bem-vinda a inclusão de mais uma ferramenta na caixa de ferramentas. “Ela mostra coisas novas”, afirma. Mas ele observa que o fato de algo não aparecer com a lente J não significa que não esteja lá.
“É como ter um aparelho de raios X quando o que você realmente quer é um tricorder de Star Trek que mostre tudo”, afirma. “Para fins de auditoria, provavelmente seria necessária uma garantia maior.”
Will Douglas Heaven
