Uma startup chamada Exa está propondo uma nova abordagem para a busca generativa. Ela utiliza a tecnologia por trás dos modelos de linguagem de grande escala para retornar listas de resultados que afirma serem mais precisas do que as de seus concorrentes, incluindo Google e OpenAI. O objetivo é transformar o emaranhado caótico de páginas da internet em uma espécie de diretório, com resultados específicos e precisos.
A Exa já fornece seu motor de busca como um serviço de back-end para empresas que desejam construir suas próprias aplicações sobre ele. Hoje, está lançando a primeira versão para consumidores desse motor de busca, chamada Websets.
“A web é uma coleção de dados, mas é uma bagunça”, diz Will Bryk, cofundador e CEO da Exa. “Há um vídeo do Joe Rogan aqui, um artigo do Atlantic ali. Não há organização. Mas o sonho é que a web pareça um banco de dados.”
O Websets é direcionado a usuários avançados que precisam buscar coisas que outros motores de busca não são bons em encontrar, como tipos de pessoas ou empresas. Pergunte por “startups que fazem hardware futurista” e você obtém uma lista de centenas de empresas específicas, em vez de links aleatórios para páginas da web que mencionam esses termos. O Google não consegue fazer isso, diz Bryk: “Há muitos casos de uso valiosos para investidores, recrutadores ou, realmente, qualquer pessoa que queira qualquer tipo de conjunto de dados da web.”
As coisas evoluíram rapidamente desde que a MIT Technology Review revelou em 2021 que pesquisadores do Google estavam explorando o uso de modelos de linguagem de grande escala em um novo tipo de motor de busca. A ideia logo atraiu críticas ferozes. Mas as empresas de tecnologia deram pouca atenção. Três anos depois, gigantes como Google e Microsoft disputam espaço com uma série de novatos promissores como Perplexity e OpenAI, que lançou o ChatGPT Search em outubro, em busca de uma fatia dessa nova tendência quente.
A Exa ainda não está tentando superar nenhuma dessas empresas. Em vez disso, está propondo algo novo. A maioria das outras empresas de busca envolve os modelos de linguagem de grande escala em torno de motores de busca existentes, usando os modelos para analisar a consulta do usuário e, em seguida, resumir os resultados. Mas os motores de busca em si não mudaram muito. O Perplexity, por exemplo, ainda direciona suas consultas para o Google Search ou Bing. Pense nos motores de busca de IA de hoje como um sanduíche com pão fresco, mas recheio velho.
Mais do que palavras-chave
A Exa fornece aos usuários listas familiares de links, mas utiliza a tecnologia por trás dos modelos de linguagem de grande escala para reinventar como a busca em si é feita. Aqui está a ideia básica: o Google funciona rastreando a web e construindo um vasto índice de palavras-chave que são então correspondidas às consultas dos usuários. A Exa rastreia a web e codifica o conteúdo das páginas em um formato conhecido como embeddings, que podem ser processados por modelos de linguagem de grande escala.
Embeddings transformam palavras em números de tal forma que palavras com significados semelhantes se tornam números com valores semelhantes. Na prática, isso permite que a Exa capture o significado do texto nas páginas da web, não apenas as palavras-chave.
Os modelos de linguagem de grande escala usam embeddings para prever as próximas palavras em uma frase. O motor de busca da Exa prevê o próximo link. Digite “startups que fazem hardware futurista” e o modelo apresentará (links reais) que podem seguir essa frase.
No entanto, a abordagem da Exa tem um custo. Codificar páginas, em vez de indexar palavras-chave, é lento e caro. A Exa codificou cerca de um bilhão de páginas da web, diz Bryk. Isso é minúsculo comparado ao Google, que indexou cerca de um trilhão. Mas Bryk não vê isso como um problema: “Você não precisa codificar toda a web para ser útil”, diz ele. (Curiosidade: “exa” significa um 1 seguido por 18 zeros, e “googol” significa um 1 seguido por 100 zeros).
O Websets é muito lento para retornar resultados. Uma busca às vezes pode levar vários minutos. Mas Bryk afirma que vale a pena. “Muitos de nossos clientes começaram a pedir, tipo, milhares de resultados ou dezenas de milhares”, diz ele. “E eles estavam bem com ir pegar um café e voltar para uma lista enorme.”
“Eu acho a Exa mais útil quando não sei exatamente o que estou procurando”, diz Andrew Gao, estudante de ciência da computação da Universidade de Stanford que usou o motor de busca. “Por exemplo, a consulta ‘um post de blog interessante sobre LLMs em finanças’ funciona melhor na Exa do que no Perplexity.” Mas eles são bons em coisas diferentes, ele diz: “Eu uso ambos para diferentes propósitos.”
“Eu acho que embeddings são uma ótima forma de representar entidades como pessoas reais, lugares e coisas”, diz Mike Tung, CEO da Diffbot, uma empresa que usa gráficos de conhecimento para construir outro tipo de motor de busca. Mas ele observa que você perde muita informação se tentar codificar frases ou páginas inteiras de texto: “Representar Guerra e Paz como um único embedding perderia quase todos os eventos específicos que aconteceram na história, deixando apenas um senso geral de seu gênero e período.”
Bryk reconhece que a Exa está em desenvolvimento. Ele aponta outras limitações também. A Exa não é tão boa quanto motores de busca rivais se você quiser apenas procurar uma única peça de informação, como o nome do namorado da Taylor Swift ou quem é Will Bryk: “Ela vai dar muitas pessoas com nomes que soam poloneses, porque meu sobrenome é polonês e embeddings são ruins em corresponder palavras-chave exatas”, diz ele.
Por enquanto, a Exa contorna isso jogando palavras-chave de volta na mistura quando necessário. Mas Bryk está confiante: “Estamos cobrindo as lacunas no método de embedding até que ele fique tão bom que não precisaremos mais cobrir as lacunas.”
Por:Will Douglas Heaven
Will é editor sênior de IA na MIT Technology Review, cobrindo assuntos sobre novas pesquisas, tendências e pessoas por trás dela
Will Douglas Heaven
