Empresas de Inteligência Artificial, como Anthropic e OpenAI, publicam regularmente relatórios sobre como as pessoas estão usando produtos como Claude e ChatGPT, mas divulgam apenas os dados que querem que vejamos, afirmam pesquisadores de IA.
“Não há nenhuma fonte independente que possa confirmar isso”, diz Anka Reuel, doutoranda em Ciência da Computação no Stanford Trustworthy AI Research (STAIR) Lab, um laboratório de pesquisa sobre aprendizado de máquina confiável, da Universidade de Stanford.
Reuel é colíder de um novo projeto de pesquisa, chamado AI Observatory (Observatório de Inteligência Artificial), que busca preencher essa lacuna. Trata-se de uma plataforma pública que agregou e analisou conversas reais com modelos populares de IA, como Claude e Gemini, coletadas com o consentimento dos usuários por meio de sete conjuntos de dados existentes. O objetivo é fornecer fontes independentes de informação que possam ajudar pesquisadores e formuladores de políticas públicas a avaliar como as pessoas estão usando a IA generativa. Atualmente, decisões de grandes consequências sobre os benefícios e riscos da IA estão sendo tomadas com base em dados muito limitados, diz Reuel.
O AI Observatory constatou que o uso da IA varia significativamente entre os modelos e mudou ao longo do tempo. A pesquisa do projeto mostra muito mais comportamentos sensíveis do que os registrados em relatórios das principais empresas de IA, que, segundo os pesquisadores, se concentram mais no trabalho do que no uso pessoal.
O Anthropic Economic Index é uma das fontes de dados sobre uso de IA mais conhecidas e amplamente citadas, mas tem pontos cegos. Como o nome sugere, se concentra nos usos do Claude AI relacionados ao trabalho e à produtividade, filtrando conversas que não têm relação com esses usos.
Quando os pesquisadores do AI Observatory aplicaram os métodos da Anthropic ao próprio conjunto de dados, descobriram que quase metade das conversas (48%) teria sido filtrada. Essas conversas não relacionadas ao trabalho tinham maior probabilidade de envolver saúde e relacionamentos (44,2% contra 31,2% na análise da Anthropic), temas adultos ou ilícitos (7,9% contra 2,1%), assédio e ódio (27,5% contra 5,66%) e conteúdo sexual (6,7% contra 2,4%). De modo semelhante, o relatório de 2025 da OpenAI sobre o ChatGPT constatou que apenas 30% do uso por consumidores estava relacionado ao trabalho.
Em seu blog, a Anthropic publicou separadamente textos sobre como as pessoas usam o Claude para apoio ou companhia e até mesmo para gerar material sobre abuso e exploração sexual infantil, mas “ter a análise panorâmica do AI Observatory”, em vez de deixar essas informações “separadas em um relatório à parte”, ajuda os pesquisadores a entender os diferentes usos de forma mais consistente, diz David Widder, professor assistente da Universidade do Texas em Austin. Ele pesquisa como as pessoas interagem com sistemas de IA e não está envolvido com o AI Observatory.
Os conjuntos de dados analisados pelo AI Observatory incluem conversas ocorridas entre 2023 e 2025, e o projeto encontrou diferenças tanto na maneira como as pessoas usavam a IA quanto na forma como diferentes plataformas de IA respondiam.
As conversas do WildChat, um dos maiores e mais detalhados conjuntos de dados incluídos no estudo do AI Observatory, ficaram mais longas e elaboradas ao longo do tempo, como indica o aumento do número de tokens nos prompts, de tokens nas respostas e de turnos de conversa.
Também houve um aumento significativo de conversas informais. Isso sugere que o uso da IA como companhia estava crescendo, enquanto a autorrevelação dos assistentes de IA, ou seja, admitir que eram chatbots, diminuiu.
Além disso, as interações classificadas pelos pesquisadores como sensíveis, isto é, aquelas com conteúdo potencialmente prejudicial ou restrito, incluindo assédio sexual e discurso de ódio, tornaram-se menos frequentes. Isso pode sugerir que, de modo geral, as plataformas estavam implementando salvaguardas mais eficazes.
O AI Observatory também constatou que os temas, os estilos de interação, as estruturas das conversas e a probabilidade e o tipo de casos de uso sensíveis variavam de um modelo para outro.
Por exemplo, os pesquisadores descobriram que as pessoas usavam Grok e Gemini com mais frequência para buscar informações. O Grok, em particular, era especialmente popular para informações sobre notícias e política, mas também era onde a desinformação tendia a se concentrar. Isso está de acordo com outras pesquisas que mostraram como a desinformação se dissemina facilmente no Grok. A xAI não respondeu a um pedido de comentário.
Enquanto isso, as pessoas tinham maior probabilidade de recorrer à Anthropic para programação, ao Gemini para usos sociais e de interpretação de papéis, e ao ChatGPT para ajuda com tarefas escolares.
Havia diferenças até mesmo entre versões distintas do mesmo modelo. Os pesquisadores constataram que as pessoas tinham conversas mais curtas com o ChatGPT quando ele era alimentado pelo GPT-3.5 e conversas mais longas e iterativas com o GPT-4o, o que faz sentido, já que essa versão ficou conhecida por levar à dependência emocional.
Os relatórios das empresas, porém, não costumavam captar essas nuances entre os modelos, nem mesmo entre diferentes versões dos próprios modelos. “Nenhum relatório de uma única empresa conta a história toda”, diz Shayne Longpre, recém-doutor pelo MIT Media Lab e colíder da pesquisa ao lado de Reuel.
Para criar o AI Observatory, Anka Reuel e pesquisadores do MIT, de Stanford, da Data Provenance Initiative (grupo formado por mais de 50 pesquisadores da academia e da indústria) e de outras instituições agregaram 85.633 turnos de conversa, isto é, o prompt do usuário e a resposta correspondente da IA. Para isso, usaram 24.521 conversas provenientes de sete conjuntos de dados do mundo real coletados em pesquisas anteriores. Essas conversas vieram de 5 mil usuários interagindo com 52 modelos diferentes, incluindo ChatGPT, Gemini, Claude e Grok, entre 2023 e 2025.
Mas essas conversas são uma gota no oceano em comparação com os dados aos quais os próprios grandes laboratórios têm acesso. O mais recente Anthropic Economic Index, por exemplo, baseia-se na análise de 1 milhão de conversas com o Claude, enquanto o relatório da OpenAI sobre como as pessoas estão usando o ChatGPT analisou 1,5 milhão de conversas.
Um representante da Anthropic afirmou que as pesquisas publicadas pela empresa refletem as perguntas e os interesses específicos de suas equipes de pesquisa e que é importante apoiar pesquisas externas e independentes. A OpenAI não respondeu aos pedidos de comentário.
O fato de o conjunto de dados do AI Observatory ser formado por fontes fornecidas voluntariamente significa que ele provavelmente sub-representa usos sensíveis, porque as pessoas podem ter menos disposição para compartilhar. Por isso, os pesquisadores alertam que as descobertas não são representativas de todo o uso de IA.
O trabalho do projeto, porém, amplia o acesso da comunidade de pesquisa. As empresas de IA normalmente não compartilham dados de conversas para análise, o que significa que os relatórios tendem a se concentrar nas descobertas que as retratam da maneira mais favorável, afirmam pesquisadores independentes como Reuel e Widder.
“Quando queremos perguntar, por exemplo: o sistema de IA de propósito geral da Anthropic […] é usado principalmente para o bem ou principalmente para o mal […] não temos como responder a essa pergunta, porque essas informações são de propriedade da empresa”, explica Widder.
Os dados do AI Observatory ficarão disponíveis para análise por pesquisadores e a equipe espera ampliar seus conjuntos de dados ao longo do tempo. Idealmente, diz Reuel, as empresas de IA compartilhariam seus dados com pesquisadores independentes, de maneiras que protegessem a privacidade dos usuários, é claro. Mas, do modo como as coisas estão atualmente, afirma ela, qualquer pessoa que tome decisões com base em dados sobre o uso de IA corre o risco de “operar completamente às cegas e tomar decisões de consequências realmente significativas, sem saber o que de fato está acontecendo para além das narrativas dessas empresas”.
Eileen Guo
