Uma startup afirma ter superado um gargalo que está travando a IA

Download

A Subquadratic, startup de Inteligência Artificial sediada em Miami, saiu do modo stealth (no contexto de tecnologia, significa ter atuação discreta) no mês passado com uma alegação importante. Ela anunciou que havia resolvido um gargalo matemático que vinha travando grandes modelos de linguagem (large language models, LLMs) havia quase uma década.

Os detalhes eram escassos e muita gente não se convenceu, mas a Subquadratic começou a apresentar provas, compartilhando os resultados de uma avaliação independente da nova tecnologia. E, com base no que foi mostrado, talvez valha a pena prestar atenção nas alegações da empresa.

De acordo com a Subquadratic, ela desenvolveu um novo tipo de LLM, chamado SubQ, que é mais rápido, mais barato e usa muito menos energia do que qualquer outro modelo no mercado. A empresa também afirma que o SubQ é capaz de processar, de uma só vez, até 12 vezes mais texto do que a maioria dos outros modelos, o que lhe permite executar uma série de tarefas que exigem muitos dados, como analisar centenas de documentos ou bases inteiras de código.

Além disso, a startup afirma que o SubQ faz isso enquanto praticamente iguala o desempenho em tarefas-chave, como programação, ao dos melhores modelos lançados pelo Google DeepMind, pela OpenAI e pela Anthropic.

O problema foi que, inicialmente, a empresa forneceu poucas evidências para suas alegações, além de um punhado de pontuações em testes autopublicados. E ela ainda não disponibilizou amplamente o SubQ para que as pessoas possam testá-lo por conta própria.

Portanto, não surpreende que as alegações da Subquadratic tenham sido recebidas com ceticismo. Dan McAteer, engenheiro de Inteligência Artificial, resumiu a reação geral no X: “Ou o SubQ é a maior inovação desde o Transformer, ou é a Theranos da IA” (O Transformer é uma arquitetura que impulsionou grandes modelos de linguagem modernos, enquanto a Theranos foi uma startup de saúde que ficou com má reputação no Vale do Silício).

Um mês depois, a empresa publicou mais informações sobre o modelo, incluindo os resultados de testes independentes adicionais realizados pela firma terceirizada Appen.

“Esperávamos um ceticismo saudável”, diz Alex Whedon, cofundador e diretor de tecnologia da Subquadratic. “Em retrospectiva, divulgar os testes de desempenho de terceiros junto com o anúncio inicial teria evitado grande parte do ceticismo, por isso estamos dedicando tempo para garantir que quaisquer resultados futuros sejam totalmente verificados antes de publicá-los.”

A Subquadratic pediu à Appen, que avalia modelos de outras empresas, que realizasse testes no SubQ. Os resultados parecem sustentar muitas das alegações da Subquadratic. “Isso foi realmente empolgante para mim, validou a arquitetura deles”, diz Jeanine Sinanan-Singh, diretora de pesquisa em IA generativa da Appen.

“Eu pensei: ‘uau, isso pode mudar o jogo!’, porque os modelos têm dificuldade com velocidade e ineficiência”, acrescenta ela. “Mas quando você tem resultados meio chocantes, não é tão crível quando é você mesmo quem diz.”

O SubQ não vai substituir os principais modelos existentes de modo geral, mas pode oferecer enormes aumentos de velocidade por uma fração do custo típico em certas tarefas. Porém, a Subquadratic insiste que, no longo prazo, a descoberta pode mudar a forma como os LLMs são construídos. “Esperamos que estejamos inaugurando uma nova era de eficiência”, diz Justin Dangel, cofundador e CEO da empresa. “Não achamos que alguém estará construindo com transformers daqui a alguns anos.”

Atenção!

Para entender por que as alegações da Subquadratic são importantes, vamos examinar como a maioria dos LLMs funciona. O principal mecanismo dentro de um LLM é um tipo de rede neural chamada transformer, que executa um processo conhecido como atenção densa. Os LLMs atuais normalmente encadeiam vários transformers. O artigo fundamental da era dos LLMs, publicado por pesquisadores do Google em 2017, tinha o título “Attention Is All You Need” (“Atenção é tudo o que você precisa”, em livre tradução).

A atenção densa funciona assim: quando um transformer processa um trecho de texto, primeiro codifica cada palavra, ou parte de uma palavra (conhecida como token), com um número. Para capturar o significado do texto completo, ele, então, multiplica cada um desses números por todos os outros números daquele texto. Por exemplo, um trecho de texto com 10 mil palavras daria início a quase 50 milhões de multiplicações individuais. É muito cálculo e esse é o principal motivo pelo qual os LLMs são conhecidos por consumir muita energia.

“Se você quiser resumir o romance ‘O Grande Gatsby’, precisa olhar para a primeira palavra e a última palavra juntas, e, depois, precisa olhar para todas as outras combinações”, diz Dangel.

À medida que o comprimento do texto aumenta, o número de cálculos dispara. Isso acontece porque cada número adicional deve ser multiplicado por todos os números anteriores. Dobre o número de palavras e você, aproximadamente, quadruplica o número de cálculos, uma taxa de aumento conhecida como expansão quadrática.

Você pode visualizar isso por conta própria: desenhe um círculo e marque pontos ao redor da borda. Cada ponto é um token. Depois, desenhe linhas entre pares de pontos para representar a multiplicação desses dois tokens. Um círculo com cinco pontos terá 10 linhas cruzando-o. Faça com 10 pontos e você terá 45 linhas; com 20 pontos, terá 190 linhas; e assim por diante.

Cortando custos

A solução da Subquadratic é abandonar a atenção densa, a operação central de um transformer, em favor do que se conhece como atenção esparsa, que reduz drasticamente o número de cálculos necessários. Em vez de multiplicar o número atribuído a cada token por todos os outros números, a atenção esparsa seleciona apenas alguns dos números para multiplicar. A ideia é que nem todas as relações entre palavras em um trecho de texto importam.

“A atenção esparsa diz que nem todas essas relações são importantes, porque não são”, afirma Whedon. “Se você está lendo um livro, não vai olhar para a primeira e a segunda palavras, a primeira e a terceira, isso é insano.”

É uma abordagem simples e a Subquadratic não é a primeira a tentar. “Praticamente tudo sob o sol já foi tentado”, diz Will Depue, pesquisador independente de IA que trabalhou anteriormente na OpenAI. “Não é impossível, mas é comparável a correr uma milha (1,609 km) em quatro minutos.”

Técnicas anteriores para selecionar quais números multiplicar e quais ignorar não produziram um mecanismo capaz de capturar o significado de um documento tão bem quanto a atenção densa.

A Subquadratic afirma ter finalmente resolvido o problema. Ela apresenta o SubQ como o primeiro LLM de atenção esparsa que rivaliza, em desempenho, com os modelos tradicionais de atenção densa.

“Historicamente, a maioria dos mecanismos usou padrões fixos, como comparar sempre a primeira palavra com a quinta”, diz Whedon. “Isso é bastante limitante. A linguagem é sofisticada demais para isso. E uma das coisas que tornam nosso mecanismo único é que selecionamos dinamicamente quais são importantes.”

A empresa não dirá exatamente como o SubQ escolhe em quais palavras se concentrar, mas a seleção é calculada em tempo real e varia para cada trecho de texto fornecido ao modelo. “É mais ou menos aí que está o segredo”, diz Whedon.

Testando, testando

O resultado é que, para certas tarefas, o SubQ pode ser mais rápido e mais barato de executar do que a maioria dos outros modelos. A Appen avaliou o SubQ em um conjunto de testes-padrão. Em um teste direto de velocidade, que estabelece uma linha de base para medir quão rápido um modelo pode operar em teoria, em vez de avaliar o que um modelo de fato consegue fazer, a Appen constatou que o SubQ foi 56 vezes mais rápido do que modelos que usam FlashAttention, uma técnica anterior de atenção esparsa.

No LiveCodeBench, um teste que avalia o desempenho dos modelos em problemas de programação competitiva retirados de competições reais, o SubQ obteve 89,7%, colocando-o no mesmo patamar de outros modelos avançados para programação. “Este modelo continua oferecendo desempenho de ponta”, diz Sinanan-Singh, da Appen.

As alegações da Subquadratic sobre custo são mais difíceis de verificar, porque o SubQ ainda não está amplamente disponível. Segundo Justin Dangel, ao custo de US$ 2.600, executa-se o LLM Opus 4.6, da Anthropic, no RULER 128, um teste desenvolvido pela Nvidia para avaliar a capacidade de um modelo de recuperar informações em grandes conjuntos de dados. E o SubQ? “Custou-nos oito dólares”, diz ele.

O SubQ, de fato, parece ser capaz de lidar com muito texto de uma só vez. O modelo tem uma janela de contexto, algo semelhante a uma memória de trabalho, de até 12 milhões de tokens. A maioria dos principais modelos atuais tem janelas de contexto de um milhão de tokens. Em uma demonstração que Whedon fez para mim, ele pediu ao SubQ que executasse uma tarefa que exigia raciocinar sobre informações contidas em 400 documentos e a resposta veio em segundos. Quando deu a mesma tarefa ao Perplexity, um popular mecanismo de busca baseado em LLM, o sistema não conseguiu carregar os 400 documentos.

A Appen submeteu o SubQ ao teste Needle-in-a-Haystack, que, assim como o RULER, avalia quão bem um modelo recupera informações específicas escondidas em um grande conjunto de dados. No relatório, a empresa afirma que o modelo da Subquadratic obteve 98% com janelas de contexto de seis milhões e 12 milhões de tokens, “mantendo uma recuperação de longo contexto quase perfeita em escalas nas quais poucos modelos são testados”.

Bom demais para ser verdade?

Apesar das pontuações altas, testes de desempenho oferecem um retrato incompleto do que um modelo consegue ou não fazer. Testar sob condições muito específicas não substitui executar em uma ampla variedade de tarefas reais.

A Subquadratic está oferecendo o SubQ como um modelo adaptado à programação e à busca em conjuntos de dados muito grandes. A startup diz que dezenas de milhares de potenciais usuários já se inscreveram para acesso antecipado, incluindo mais de 500 clientes corporativos, mas há uma longa lista de espera e a empresa concedeu acesso a pouquíssimas pessoas até agora. A resposta da Subquadratic é que ela é uma empresa nova, pequena, com recursos limitados e não consegue atender gente demais ao mesmo tempo.

Até que mais pessoas tenham acesso ao modelo e o testem por conta própria, algum ceticismo é justificado. Uma questão incômoda é que, para inicializar o SubQ, a Subquadratic reutilizou os pesos (valores definidos dentro de um modelo durante o treinamento e que determinam como ele se comportará) de uma versão do modelo chinês de código aberto Qwen, em vez de treinar do zero. Essa é uma abordagem comum entre criadores de modelos, mas entra em choque com a alegação da Subquadratic de que reinventou completamente a forma como os LLMs funcionam.

“Eles podem ter construído algo real e útil”, diz Depue. “Mas as evidências públicas ainda não justificam a alegação mais forte de que eles resolveram o gargalo da atenção quadrática.”

Enquanto isso, o cofundador da Subquadratic, Whedon, insiste que fazer algo diferente era sua única opção. Se você quer criar um modelo competitivo, precisa ter novas ideias, diz ele: “Estamos mais pressionados do que a OpenAI.”