Em 1998, alguns alunos de graduação de Stanford publicaram um artigo descrevendo um novo tipo de mecanismo de busca: “Apresentamos o Google, um protótipo de um mecanismo de busca em grande escala que faz uso intenso da estrutura presente no hipertexto. O Google foi projetado para rastrear e indexar a web de forma eficiente e produzir resultados de pesquisa muito mais satisfatórios do que os sistemas existentes”.
A principal inovação foi um algoritmo chamado PageRank (PR), que classificou os resultados de pesquisa calculando a relevância deles para a consulta de um usuário com base em seus links para outras páginas na web. Graças ao PageRank, o Google se tornou a porta de entrada para a internet, e Sergey Brin e Larry Page construíram uma das maiores empresas do mundo.
Agora, uma equipe de pesquisadores do Google publicou uma proposta para um redesenho radical que descarta a abordagem de classificação e a substitui por um único grande modelo de linguagem de Inteligência Artificial (IA) — uma versão futura do BERT ou GPT-3. A ideia é que, em vez de buscar informações em uma vasta lista de páginas da web, os usuários façam perguntas e tenham um modelo de linguagem treinado nessas extensões de páginas que respondam as dúvidas diretamente. A abordagem pode mudar não apenas a forma como os mecanismos de pesquisa funcionam, mas como interagimos com eles.
Muitos problemas com os modelos de linguagem existentes precisarão ser corrigidos primeiro. Para começar, essas IAs às vezes podem gerar respostas tendenciosas e tóxicas a questões — um problema que pesquisadores do Google e de outros lugares apontaram.
Repensando o PageRank (PR)
Os mecanismos de pesquisa tornaram-se mais rápidos e precisos, mesmo com a explosão de tamanho da web. A IA agora é usada para classificar os resultados, e o Google usa o BERT para entender melhor as consultas de pesquisa. No entanto, por trás desses ajustes, todos os principais mecanismos de pesquisa ainda funcionam da mesma forma que funcionavam há 20 anos: as páginas da web são indexadas por rastreadores (software que lê a web sem parar e mantém uma lista de tudo o que encontra), os resultados que correspondem à consulta do usuário são coletados a partir deste índice e são então classificados.
“Este projeto de índice recupere-e-depois-classifique resistiu ao teste do tempo e raramente foi desafiado ou seriamente repensado”, escreveram Donald Metzler e seus colegas do Google Research. (Metzler recusou um pedido de comentário.)
O problema é que mesmo os melhores motores de busca hoje ainda respondem com uma lista de documentos que incluem as informações solicitadas, e não com as informações em si. Os mecanismos de pesquisa também não são bons em responder a perguntas que exigem respostas provenientes de fontes múltiplas. É como se você pedisse conselho ao seu médico e recebesse uma lista de artigos para ler em vez de uma resposta direta.
Metzler e seus colegas estão interessados em um mecanismo de busca que se comporte como um especialista humano. Deve produzir respostas em linguagem natural, sintetizadas a partir de mais de um documento, e respaldar suas respostas com referências a evidências de apoio, como os artigos da Wikipedia fazem.
Grandes modelos de linguagem percorrem um longo caminho até lá. Treinado na maior parte da web e em centenas de livros, a GPT-3 extrai informações de várias fontes para responder a perguntas em linguagem natural. O problema é que ela não controla essas fontes e não pode fornecer evidências para suas respostas. Não há como saber se a GPT-3 está repetindo informações confiáveis ou desinformadas — ou simplesmente vomitando tolices de sua própria autoria.
Metzler e seus colegas se referem aos modelos de linguagem como diletantes — “Eles parecem que sabem muito, mas seu conhecimento é superficial”. A solução, eles afirmam, é construir e treinar futuros BERTs e GPT-3s para manter históricos de onde suas palavras vêm. Nenhum desses modelos ainda é capaz de fazer isso, mas é possível em princípio, e há trabalhos iniciais nessa direção.
Houve décadas de progresso em diferentes áreas de buscas, desde responder a perguntas até resumir documentos e estruturar informações, diz Ziqi Zhang, da Universidade de Sheffield, no Reino Unido, que estuda a recuperação de informações na web. Mas nenhuma dessas tecnologias revisava as pesquisas porque cada uma delas trata de problemas específicos e não são generalizáveis. A premissa instigante deste artigo é que grandes modelos de linguagem são capazes de fazer todas essas coisas ao mesmo tempo, diz ele.
Ainda assim, Zhang observa que os modelos de linguagem não funcionam bem com assuntos técnicos ou especializados porque há menos exemplos no texto em que são treinados. “Provavelmente, existem centenas de vezes mais dados sobre e-commerce na web do que dados sobre mecânica quântica”, diz ele. Os modelos linguísticos atuais também estão voltados para o inglês, o que não atenderia partes da web que não estivessem nessa língua.
Hanna Hajishirzi, que estuda processamento de linguagem natural na Universidade de Washington, gosta bastante dessa nova abordagem, mas adverte que ela teria problemas na prática. “Acredito que grandes modelos de linguagem são muito importantes e têm potencial para se tornarem o futuro dos mecanismos de busca, mas eles requerem grande memória e recursos computacionais”, diz ela. “Não acho que eles iriam substituir a indexação”.
Ainda assim, Zhang está animado com as possibilidades. “Isso não era possível no passado, porque os grandes modelos de linguagem só ganharam fama recentemente”, diz ele. “Se isso funciona, eles iriam transformar nossa experiência de busca”.
Atualização: alteramos o texto para representar mais claramente os problemas com os grandes modelos de linguagem existentes.
MIT Technology Review