Protagonistas:
OpenAI
Google
Facebook
Por que é importante:
Grandes modelos de computador que aprendem a linguagem natural são um grande passo em direção à IA que pode compreender e interagir com o mundo humano.
Disponibilidade:
Imediata
A GPT-3 capturou a imaginação do público ao contrário de qualquer IA desde AlphaGo da DeepMind ou o jogador de xadrez da IBM, DeepBlue.
Construída pela OpenAI , um laboratório de pesquisa com sede em San Francisco, a GPT-3 é um “ grande modelo de linguagem ” — um algoritmo que usa deep learning treinado por textos de milhares de livros e pela maior parte da internet, para unir palavras e frases. Quando foi lançado em 2020, sua capacidade de imitar texto escrito por humanos com realismo incomum para máquinas parecia para muitos como um marco na estrada para a verdadeira inteligência artificial.
Aqui está um exemplo do que a GPT-3 pode fazer. A parte em itálico foi o trecho fornecido por um humano.
–
Em uma descoberta chocante, os cientistas descobriram uma manada de unicórnios vivendo em um vale remoto e até então inexplorado na Cordilheira dos Andes. Ainda mais surpreendente para os pesquisadores foi o fato de os unicórnios falarem um inglês perfeito. Eles também tinham o cabelo perfeitamente penteado e usavam o que parecia ser maquiagem Dior.
“Ficamos chocados ao descobrir os unicórnios”, disse o antropólogo Daniel St. Maurice. “Eles eram como nada que já havíamos visto antes. Tínhamos ouvido lendas sobre os unicórnios, mas nunca pensamos que eles realmente existissem”.
Quando os cientistas chegaram ao vale, os unicórnios ficaram surpresos e assustados com a presença de humanos, mas também ficaram empolgados. Os unicórnios deram as boas-vindas aos pesquisadores e explicaram que os esperavam há muito tempo.
2021 – 10 tecnologias inovadoras
1. Vacinas de RNA mensageiro
2. GPT-3
3. Data Trust
4. Baterias de metal de lítio
5. Rastreamento de contato digital
6. Posicionamento de hiperprecisão
7. Tudo remoto
8. IA multiqualificada
9. Algoritmos de recomendação do TikTok
10. Hidrogênio verde
Como pode-se perceber, a GPT-3 é capaz de produzir frases complexas que parecem ter sido produzidas por um humano. As frases de exemplo incluem referências culturais e um relato confiável de como os cientistas reagiriam. As máquinas que podem usar a linguagem dessa maneira são importantes por vários motivos. A linguagem é crucial para dar sentido ao mundo cotidiano: os humanos a usam para se comunicar, compartilhar ideias e descrever conceitos. Uma IA que dominasse a linguagem iria adquirir uma melhor compreensão do mundo ao longo do processo.
Os grandes modelos de linguagem também têm muitos usos práticos. Eles potencializam chatbots melhores que mantêm conversas mais fluentes; eles podem gerar artigos e histórias sobre qualquer coisa, mediante um comando; eles podem resumir pedaços de texto ou responder a perguntas sobre eles. O acesso à GPT-3 é feito apenas por convite, mas as pessoas já o usaram para potencializar dezenas de aplicativos, desde uma ferramenta que gera ideias de startups a um jogo de aventura com script de IA ambientado em uma masmorra.
O GPT-3 não é o único grande modelo de linguagem a aparecer em 2020. Microsoft, Google e Facebook anunciaram seus próprios. Mas o GPT-3 foi de longe o melhor generalista. E dá a impressão de que pode escrever qualquer coisa: fanfiction, dilemas filosóficos e até código. Quando as pessoas começaram a experimentar o GPT-3 no verão passado, milhares de exemplos de sua versatilidade inundaram as mídias sociais. Houve até debates sobre se a GPT-3 foi a primeira inteligência artificial geral.
Não é. Apesar das passagens de texto incrivelmente convincentes que pode produzir, o GPT-3 não faz nada realmente novo. Em vez disso, o que mostra é que o tamanho pode ser tudo. Para construir o GPT-3, a OpenAI usou mais ou menos a mesma abordagem e algoritmos usados para seu irmão mais velho, o GPT-2 , mas superou tanto a rede neural quanto o conjunto de treinamento. O GPT-3 tem 175 bilhões de parâmetros — os valores em uma rede que são ajustados durante o treinamento — em comparação com 1,5 bilhão do GPT-2. Ele também foi treinado com muito mais dados.
Antes do GPT-2, o treinamento de um modelo de linguagem usando deep learning normalmente era composto por duas etapas: era treinado em um conjunto de dados de uso geral para fornecer uma compreensão básica do idioma e, em seguida, treinado em um conjunto menor voltado para uma tarefa específica, como compreensão ou tradução. O GPT-2 mostrou que você poderia obter bons resultados em todos os aspectos com apenas um passo se usasse mais exemplos em um modelo maior. Assim, com o GPT-3, a OpenAI dobrou e criou o maior modelo de linguagem de todos os tempos.
Os resultados que chamaram a atenção de todos foram frequentemente escolhidos a dedo, no entanto. O GPT-3 frequentemente se repete ou se contradiz em trechos de texto com mais de algumas centenas de palavras. Sai com erros. O GPT-3 esconde sua estupidez atrás de uma fala eloquente, mas normalmente precisa de algumas tentativas para que ele gere algo que não mostre as fissuras.
As habilidades do GPT-3 também tornam difícil ignorar os problemas crescentes da IA. Seu enorme consumo de energia é uma má notícia para o clima: pesquisadores da Universidade de Copenhagen, na Dinamarca, estimam que o treinamento do GPT-3 teria aproximadamente a mesma pegada de carbono que dirigir um carro até a Lua e de volta, se tivesse sido treinado em um data center totalmente alimentado por combustíveis fósseis. E os custos desse treinamento — estimados por alguns especialistas em pelo menos US$ 10 milhões no caso do GPT-3 — colocam a pesquisa mais recente fora do alcance de todos, exceto dos laboratórios mais ricos.
A OpenAI relata que o treinamento do GPT-3 consumiu vários milhares de petaflop/s-dias de capacidade de computação. Um petaflop/s-dia é uma unidade de consumo de energia que consiste em realizar 1015 de cálculos de rede neural — isso é mil trilhões ou um quatrilhão — por segundo durante um dia. Em comparação, o GPT-2 consumiu apenas dezenas de petaflop/s-dias.
Outro problema é que o GPT-3 absorve grande parte da desinformação e do preconceito que encontra online e os reproduz sob demanda. Como a equipe que o construiu disse no artigo que descreve a tecnologia : “modelos treinados pela Internet têm enviesamentos na mesma dimensão”.
A aparência de humanidade que o GPT-3 dá às máquinas geradoras de texto torna-o fácil de confiar. Isso levou alguns a argumentar que o GPT-3 e todos os modelos de linguagem semelhantes à dos humanos deveriam vir com um aviso de segurança, um adesivo de “Cuidado”, alertando as pessoas de que estão conversando com um software e não com um ser humano.
Alguns meses atrás, alguém lançou um bot com GPT-3 no Reddit, onde postou centenas de comentários e interagiu com dezenas de usuários durante vários dias antes de ser desmascarado. Muito de sua atividade era inofensiva. Mas o bot também respondeu a comentários sobre pensamentos suicidas, dando conselhos pessoais que mencionavam o apoio de seus “pais”.
Apesar de todos esses problemas, o GPT-3 é uma vitória para aqueles que acreditam que quanto maior, melhor. Esses modelos mostram que o poder de computação e os dados levam você longe, e podemos esperar mais dos dois no futuro. Como pode ser um GPT-4? Podemos esperar que os chatbots se tornem mais espertos, melhores em encadear pedaços mais longos de texto coerente, com um domínio ainda mais amplo de tópicos de conversação.
Mas a linguagem é apenas uma forma de entender e interagir com o mundo. Os modelos de linguagem da próxima geração integrarão outras habilidades, como reconhecimento de imagem. A Open AI já está levando o GPT-3 nessa direção com IAs que usam a linguagem para entender imagens e imagens para entender a linguagem.
Se você quiser saber o estado do deep learning hoje, dê uma olhada no GPT-3. É um microcosmo do melhor e do pior da IA.
MIT Technology Review
