Em 23 de setembro, a Anthropic anunciou que havia inaugurado, no início deste ano, um laboratório de biologia molecular no qual agentes do Claude leem e formulam hipóteses sobre problemas complexos da biologia, enquanto cientistas humanos realizam experimentos com base no que eles relatam. E esse laboratório apoiado por Inteligência Artificial, afirmou a empresa, havia feito sua primeira descoberta.
Para entender o que a Anthropic diz que seu sistema fez, imagine que você está consultando uma biblioteca com milhões de sequências de DNA, reunidas à medida que cientistas sequenciam uma parcela cada vez maior do mundo vivo. Um passo em direção a uma descoberta importante poderia ser, por exemplo, encontrar uma sequência peculiar que codifique uma enzima interessante. Depois, seria preciso descobrir o que essa enzima faz e, por fim, como manipulá-la para realizar algo útil.
O que a Anthropic afirma que seu sistema de 950 agentes encontrou após 21 horas não foi uma sequência inteiramente nova. Os agentes identificaram, na verdade, um padrão repetitivo ao redor de uma sequência que codifica uma enzima conhecida. Segundo a empresa, esse padrão específico ainda não havia sido catalogado. Mas, ao ler o anúncio da Anthropic, que descreve o padrão como “semelhante” ao que levou à tecnologia de edição genética CRISPR, que “já transformou a ciência e a medicina”, fica a impressão de que esse exército de agentes encontrou algo realmente relevante.
Essas alegações irritaram alguns biólogos. Uma publicação de um deles que viralizou, posteriormente endossada pelo presidente do conselho e CEO da farmacêutica Eli Lilly, afirmava que “encontrar um agrupamento estranho de genes e sequências repetidas costuma ser a parte fácil. A parte difícil, e de onde vêm as verdadeiras descobertas, é entender o que o sistema realmente faz”. Em outras palavras, os agentes ajudaram em parte do trabalho braçal do laboratório. Mas isso não constitui uma descoberta.
O episódio serve de lembrete de que, mesmo quando a IA faz algo impressionante, como encontrar um padrão em uma massa de dados biológicos que seria difícil perceber apenas com olhos humanos, o resultado em si pode não representar um avanço científico significativo. O que é novo para a IA pode ser rotineiro, previsível ou simplesmente pouco relevante para um biólogo.
Para tornar a questão ainda mais nebulosa, Mario Rodríguez Mestre, biólogo da Universidade de Copenhague, afirmou no fim de semana que sua equipe já havia descoberto esse padrão específico, segundo o New York Times. Mestre, que conversava regularmente com o Claude em seu trabalho, questionou se a equipe da Anthropic teria obtido essa informação a partir de suas conversas. A Anthropic nega, mas Mestre diz que, de qualquer forma, deixará de usar o Claude por completo.
Parte do problema é que as empresas de IA não estão apresentando seus sistemas simplesmente como ferramentas que os cientistas podem usar, como microscópios ou supercomputadores. Elas insistem que os próprios sistemas de IA estão fazendo descobertas. Para alguns, essa abordagem é incompatível com a forma como a ciência realmente funciona, na qual novos conhecimentos costumam surgir da colaboração e de um arsenal cada vez maior de ferramentas.
Isso também aumenta o ceticismo diante de avanços reais quando eles acontecem. Reduzir 200 mil candidatos a alguns poucos que mereçam ser investigados não é pouca coisa; é um trabalho científico legítimo. O fato de um chatbot de uso geral conseguir realizar esse trabalho é digno de nota, mesmo que humanos tenham ajudado a orientá-lo e, ao final, conduzido os experimentos. Mas, quando o critério passa a ser se o próprio Claude fez uma descoberta, tudo isso vira argumento para um lado ou outro de um debate que só admite duas respostas: um grande avanço ou um fracasso.
Quando julgamos a IA com base em ter feito ou não uma descoberta, também é tentador mudar os critérios de avaliação mesmo depois de ela aparentemente alcançar um resultado positivo. No início deste mês, a OpenAI afirmou que sua própria equipe de agentes havia resolvido um problema matemático com um prêmio de um milhão de dólares. Mas, algumas semanas depois, quase todos os céticos em relação à IA no meu feed compartilhavam um artigo que questionava se aquele era o problema matemático que realmente importava.
Para deixar claro, o artigo não argumentava que a solução da OpenAI estava errada. Em vez disso, defendia que aquele resultado específico talvez não fosse o que mais interessa aos matemáticos. Some-se a isso a acusação de um matemático de que os modelos podem ter usado parte de seu trabalho sem lhe dar crédito, e as pessoas ficam com a impressão de que a OpenAI trapaceou ou de que a solução, de qualquer forma, não era importante. Ou as duas coisas.
Isso é parte do que preocupa Lucas Harrington, o biólogo que escreveu a publicação criticando o anúncio da Anthropic. Ele encerrou com uma sugestão: as empresas de IA deveriam “estabelecer um padrão elevado desde já, para que, quando uma IA realmente descobrir um mecanismo biológico fundamentalmente novo, todos reconheçam a dimensão dessa conquista”. Mas, enquanto Sam Altman, da OpenAI, e Dario Amodei, da Anthropic, disputam quem supera o outro, elevar o padrão para os avanços científicos feitos por IA talvez seja a última coisa em que estejam pensando.
James O'Donnell
