Lá no verão de 2017, pesquisadores de IA do Google publicaram um artigo chamado “Atenção é tudo de que você precisa”, no qual descreveram um novo tipo de rede neural chamado transformer. Ele se mostrou muito eficiente no processamento de longas sequências de dados, especialmente textos.
Nove anos depois, os transformers são os motores por trás de todos os principais modelos de linguagem de grande porte (LLMs) disponíveis no mercado. “Toda a indústria de IA é construída sobre transformers”, afirma Justin Dangel, cofundador e CEO da startup de IA Subquadratic. “Eles são uma das inovações mais importantes da história da ciência da computação e mudaram o mundo.”
Mas os transformers estão começando a mostrar a idade. Muitos dos avanços recentes LLMs, como o desenvolvimento dos chamados modelos de raciocínio e a capacidade deles de lidar com grandes volumes de informação de entrada de uma só vez, não são extensões naturais dessa tecnologia central, mas soluções alternativas que tentam contornar algumas falhas fundamentais.
Um número crescente de cientistas e engenheiros, agora, se pergunta o que virá em seguida. Os LLMs não vão desaparecer, mas a maneira como eles são construídos está em aberto (na lista que a MIT Technology Review fez, este ano, sobre dez coisas que importam em IA, esses modelos foram batizados de “LLMs+”).
É nesse cenário que surge uma onda de startups que esperam ampliar os limites dessa tecnologia em plena expansão. Algumas delas, sem dúvida, fracassarão, mas têm tudo a conquistar e muito menos a perder do que as empresas que hoje lideram essa corrida.
A força dos números
Mas, primeiro, o problema. A principal força dos transformers está em um mecanismo chamado atenção densa, que codifica o significado de um bloco de texto em uma série de números. O processo envolve comparar cada palavra, ou parte de uma palavra (conhecida como token), desse texto com todas as outras palavras por meio de uma forma de multiplicação.
A atenção densa consegue capturar o significado do texto com uma precisão extraordinária. Mas, à medida que o tamanho desse texto aumenta, a quantidade de cálculos necessários para processá-lo cresce rapidamente. Um documento com 10 mil palavras pode exigir que um transformer realize 50 milhões de multiplicações. Essa é a principal razão pela qual os LLMs consomem tanta energia.
Os custos são enormes. A OpenAI deve gastar US$ 50 bilhões em computação neste ano, segundo o presidente da empresa, Greg Brockman. E a Agência Internacional de Energia prevê que a quantidade total de eletricidade consumida por data centers dobrará até 2030.
Além disso, os transformers têm dificuldades justamente com aquilo que muitos dos modelos mais recentes foram projetados para fazer. Por causa da maneira como processam o texto, palavra por palavra, os transformers não são muito bons em acompanhar uma grande quantidade de informações ao mesmo tempo. Em outras palavras, o que se conhece como janela de contexto não pode ficar grande demais. No entanto, para que os LLMs realizem tarefas mais difíceis, eles precisarão absorver volumes maiores de dados, uma biblioteca inteira de documentos, uma base de código completa ou, no caso de agentes, resultados produzidos por outros LLMs.
Quanto aos modelos de raciocínio, eles funcionam escrevendo anotações para si mesmos, em uma espécie de rascunho conhecido como cadeia de pensamento e, depois, relendo essas anotações, o que novamente aumenta a quantidade de dados que precisam ser acompanhados.
À medida que os LLMs ficam maiores e melhores, os transformers se tornam um gargalo. A principal força da tecnologia agora é também uma limitação.
A seguir, apresentamos quatro novas ideias para resolver o problema dos transformers, inovações que podem transformar os LLMs de forma definitiva, tornando-os mais rápidos, muito mais eficientes e, talvez, até mais inteligentes.
01- Repensando a atenção
Uma maneira óbvia de tornar os LLMs mais rápidos e baratos é atacar o problema diretamente e mudar a forma como a atenção funciona. Substituir a atenção densa por um mecanismo chamado atenção esparsa, que realiza cálculos apenas sobre alguns pares de palavras em um bloco de texto, em vez de sobre todos eles, pode reduzir radicalmente a quantidade de processamento que os LLMs precisam realizar.
Ao longo dos anos, pesquisadores desenvolveram diversos mecanismos de atenção esparsa. O problema é que nenhum deles era tão bom quanto a atenção densa na captura de significado.
Isso pode ter mudado. A Subquadratic, startup sediada em Miami, afirma ter inventado o primeiro mecanismo de atenção esparsa capaz de rivalizar com os principais LLMs convencionais em algumas tarefas, entre elas busca e programação. É uma afirmação ambiciosa, e algumas pessoas do setor continuam céticas.
A Subquadratic diz que seu modelo, o SubQ, funciona determinando dinamicamente, para cada trecho de texto recebido, quais palavras importam e quais não. A empresa também afirma que milhares de pessoas se inscreveram na lista de espera e planeja disponibilizar o modelo amplamente em breve.
Enquanto isso, a Manifest AI, startup sediada em São Francisco, está abordando o problema por outro ângulo. Em vez de mudar a forma como a atenção funciona, ela está substituindo esse mecanismo por outra coisa.
A empresa desenvolveu um mecanismo batizado de power retention, que armazena apenas as informações mais relevantes para determinada tarefa e garante que a quantidade de dados que um LLM precisa acompanhar não cresça descontroladamente.
Os mecanismos de atenção obrigam os LLMs a acompanhar tudo o que está em sua janela de contexto. Um modelo de atenção esparsa, como o SubQ, descarta muitas das palavras individuais, mas ainda mantém uma visão aproximada de tudo o que já encontrou. Em contraste, o power retention funciona fornecendo ao modelo um resumo continuamente atualizado de sua janela de contexto. À medida que novas informações são adicionadas, informações menos relevantes são descartadas.
O princípio básico da retenção existe há uma década. A Manifest AI afirma ter atualizado essas técnicas para construir modelos que, pela primeira vez, conseguem competir com LLMs baseados em transformers.
A empresa diz que é possível adaptar um modelo transformer para transformá-lo em um modelo de power retention com um mínimo de retreinamento. Para demonstrar isso, transformou um LLM de código aberto existente voltado à programação, chamado StarCoder, em uma versão que utiliza power retention, chamada PowerCoder. Também lançou um modelo chamado Brumby, que, segundo a empresa, rivaliza com algumas versões do popular modelo de código aberto Qwen, da Alibaba.
Carles Gelada, cofundador da Manifest AI, afirmou, em um vídeo no qual anunciou a tecnologia da empresa, em 2025, que há muitas aplicações úteis: desde analisar vídeos com várias horas de duração até construir agentes capazes de permanecer concentrados em uma tarefa durante semanas.
02- Tornando os modelos menores e mais flexíveis
A Liquid AI, empresa derivada do MIT, sediada em Cambridge, Massachusetts, não modificou nem abandonou completamente os transformers, mas os combina com sua própria tecnologia, as redes neurais líquidas, para construir o que o cofundador e CEO Ramin Hasani chama de LFMs, modelos fundamentais líquidos (liquid foundation models).
Os modelos da Liquid AI são muito menores e consomem menos energia do que a maioria dos LLMs. A empresa desenvolve modelos para fabricantes de automóveis, entre eles a Mercedes, que rodam nos pequenos chips instalados dentro dos veículos. Seus modelos mais recentes podem funcionar em um Raspberry Pi, um computador de baixo consumo voltado a entusiastas, que custa US$ 50.
Seus modelos são disponibilizados gratuitamente para qualquer organização com receita anual inferior a US$ 10 milhões. E eles se mostraram populares: a empresa já acumulou quase 34 milhões de downloads, segundo Hasani.
As redes neurais líquidas foram inspiradas no cérebro de vermes. Elas são uma extensão de outro tipo de rede neural anterior aos transformers, chamada rede convolucional. A principal inovação é um mecanismo que permite que um modelo adapte seu comportamento a novas informações, de modo que possa aprender à medida que opera. Isso não é possível com transformers: depois que um modelo é treinado, seu comportamento fica fixo.
Os primeiros modelos da Liquid AI eram bastante básicos, mas conseguiam pilotar drones ou dirigir veículos. Com os LFMs, a empresa tenta ampliar sua tecnologia para competir com os LLMs convencionais. Seus novos modelos alcançam desempenho equivalente ao de concorrentes quatro vezes maiores, incluindo versões do Qwen, da Alibaba, e do LLM de código aberto Gemma, do Google.
Um LLM típico é construído a partir de uma pilha de transformers conectados entre si. Os LFMs recentes da Liquid AI são modelos híbridos compostos por 20% de transformers e 80% de redes neurais líquidas.
Essa proporção foi encontrada por outro sistema de IA desenvolvido pela Liquid AI, que a empresa usa para ajudar a projetar todos os modelos. “Essa é a tecnologia central da nossa empresa neste momento”, afirma Hasani. Essa IA projetista examina diversas combinações de redes neurais (líquidas, convolucionais e outras), além de transformers, e cria arquiteturas que conectam diferentes tipos para atingir um ponto ideal entre desempenho e eficiência.
Hasani acredita que os transformers foram apenas o começo: “Seu cérebro é um sistema de Inteligência Artificial Geral (AGI) e funciona com 20 watts de potência. Como isso é possível? Podemos inovar muito mais.”
03- Gerando texto de uma só vez
Quase todos os LLMs produzem sua resposta uma palavra por vez. Isso faz sentido, porque é assim que as pessoas falam e escrevem. Mas, para computadores, é algo muito ineficiente.
É mais rápido e barato para os LLMs gerarem texto de uma só vez, produzindo frases ou parágrafos inteiros em uma única etapa. Essa é a abordagem adotada pela Inception, startup sediada em Palo Alto, Califórnia, que está construindo LLMs com uma técnica chamada difusão.
A difusão é mais conhecida como a tecnologia que impulsiona a maioria dos modelos de geração de imagens e vídeos. Modelos de difusão são treinados para pegar uma grade aleatória de pixels, semelhante à estática de uma televisão antiga, e transformá-la em uma imagem. Eles fazem isso trabalhando em todos os pixels ao mesmo tempo, identificando quais precisam ser alterados para que a estática passe a se parecer mais com uma fotografia em alta definição.
Acontece que esse processo também funciona com texto. A Inception treinou seus LLMs para pegar uma sequência aleatória de palavras e transformá-la em frases que façam sentido. Os LLMs de difusão ainda usam transformers para codificar significado, mas, ao produzir blocos inteiros de texto de uma só vez, fazem com que os transformers entreguem mais com menos. “Você ainda usa um grande modelo transformer, mas pode prever muitos tokens ao mesmo tempo”, afirma Stefano Ermon, cofundador e CEO da Inception. “É por isso que esses modelos são muito mais rápidos e eficientes em termos de custo em comparação com aquilo que a maioria das outras pessoas está construindo atualmente.”
O desafio foi pegar uma tecnologia desenvolvida para geração de imagens e aplicá-la a textos. Com imagens, se você precisa mudar um pixel azul para vermelho, pode passar gradualmente por cores intermediárias, explica Ermon. Isso não funciona com texto: “Quando você tem ‘gato’ e ‘cachorro’, não existe realmente algo entre os dois.”
Ermon também é pesquisador da Universidade Stanford. Em 2024, ele e dois colegas de Stanford descobriram a matemática necessária para fazer modelos de difusão funcionarem com texto. Eles treinaram um modelo de difusão que igualou o desempenho do GPT-2, um LLM que a OpenAI desenvolveu em 2019, mas era dez vezes mais rápido. Foi o bastante para Ermon transformar a tecnologia em uma empresa.
Hoje, ele está mirando a elite do setor. A Inception afirma que seu modelo mais recente, o Mercury 2, tem desempenho equivalente ao de alguns modelos GPT-4 da OpenAI, lançados em 2023, mas, novamente, é dez vezes mais rápido. “Estamos muito confiantes nessa abordagem porque é ela que vai ganhar escala”, afirma Ermon.
As únicas coisas que importam são velocidade e custo, acrescenta ele: “No fim das contas, a moeda será inteligência por dólar.”
A Inception não é a única empresa apostando em difusão. O Google também está experimentando essa abordagem e construiu um protótipo de LLM chamado Diffusion Gemma. Mas Ermon não está preocupado com a concorrência. “Acho que isso valida nossa abordagem”, afirma. “Esse é o futuro.”
04- Indo além das palavras
A Pathway, outra startup sediada em Palo Alto, talvez seja a mais radical desse novo grupo. Ela quer libertar os LLMs das limitações da linguagem.
A empresa construiu um tipo de LLM chamado Dragon Hatchling, nome inspirado nos dragões do romance A Cor da Magia, de Terry Pratchett, que se materializam se você pensar neles com intensidade suficiente. Seu resultado de maior destaque até agora é uma pontuação elevada em um teste de referência que coloca LLMs diante de mais de 250 mil quebra-cabeças de sudoku extremamente difíceis. O Dragon Hatchling resolveu mais de 97% dos quebra-cabeças. Vários dos principais LLMs dos maiores laboratórios não conseguiram resolver nenhum.
O argumento que a Pathway quer demonstrar é que, apesar do sucesso extraordinário dos LLMs em muitas tarefas diferentes, ainda existem classes cruciais de problemas nas quais eles fracassam. Sudoku é apenas um exemplo. Se quisermos que os LLMs encontrem soluções genuínas e inéditas para problemas reais, precisamos ir além dos transformers, afirma Zuzanna Stamirowska, cofundadora e CEO da Pathway.
Isso acontece porque os transformers obrigam os LLMs a fazer tudo por meio de texto. Mas a linguagem não é a melhor ferramenta para determinados tipos de raciocínio. “É muito difícil representar um tabuleiro de sudoku palavra por palavra”, afirma Stamirowska.
A solução da Pathway é alterar a matemática por trás do transformer, substituindo o mecanismo de atenção por uma estrutura matemática chamada espaço de estados. Em vez de codificar informações palavra por palavra, os espaços de estados as comprimem em uma representação mais abstrata. Usando essa técnica, o Dragon Hatchling ainda consegue processar e produzir texto, mas também pode imitar formas de raciocínio que não envolvem sequências de palavras. Isso não apenas torna o modelo da Pathway mais eficiente, como, em teoria, permite que ele enfrente tarefas que outros LLMs não conseguem realizar.
Pense em xadrez ou matemática: esses tipos de quebra-cabeça não são mantidos na sua mente como uma frase longa, afirma Stamirowska: “O momento de eureca que surge no seu cérebro não está necessariamente na linguagem. Nós argumentaríamos que, se você precisa raciocinar por meio da linguagem, está, de alguma forma, limitado.”
Stamirowska admite que um LLM convencional poderia ler um livro sobre como resolver sudoku e, depois, escrever um código para fazer isso. Mas queremos construir modelos com mais do que conhecimento adquirido em livros, afirma: “A esperança para a IA não é resolver sudoku, é curar o câncer. Não existe um livro para isso.”
“Os transformers são uma conveniência de engenharia na qual acabamos caindo”, acrescenta ela. “Isso deu origem a uma religião, mas é absurdo pensar que um novo avanço não acontecerá.
Will Douglas Heaven