No mês passado, líderes de algumas das maiores empresas de inteligência artificial alertaram que a própria tecnologia que estão desenvolvendo é perigosa. O CEO da Anthropic, Dario Amodei, argumentou que a IA envolve riscos sérios e que o avanço deveria ser desacelerado. O CEO da OpenAI, Sam Altman, respondeu no X: “Concordo com Dario que precisamos moderar o ritmo na fronteira da tecnologia.”
Essas publicações vieram poucos dias depois de o pesquisador Jacob Coxon anunciar que estava deixando um cargo na Anthropic, acusando tanto a empresa quanto a OpenAI, onde também havia trabalhado, de não agirem de maneira responsável. “As pessoas que estão construindo a IA acreditam sinceramente que ela pode matar todos nós até o fim da década”, publicou no X. Outro funcionário da Anthropic, Evan Hubinger, concordou publicamente com ele. “Nós realmente acreditamos, sinceramente, que a IA pode matar todos os seres humanos!”, respondeu no X. “Pessoalmente, acho que a probabilidade é superior a 10% na próxima década.”
Uma das maneiras pelas quais eles temem que essa tecnologia possa acabar com todos nós é ajudando, de alguma forma, a projetar, criar e disseminar algum tipo de arma biológica. Vamos analisar mais de perto os motivos.
Uma arma biológica poderia ser um vírus altamente letal que ataca pessoas de acordo com seus genes. Poderia ser um fungo que dizima uma lavoura e provoca insegurança alimentar. Talvez fosse uma toxina sem sabor nem odor, que poderia ser introduzida no abastecimento de água de uma região sem ser detectada.
A preocupação é que ferramentas de IA possam ser usadas para ajudar a gerar agentes como esses. Em 2022, pesquisadores da Collaborations Pharmaceuticals descobriram que era surpreendentemente fácil fazer isso usando um “gerador de moléculas” com IA que haviam desenvolvido para encontrar possíveis medicamentos para doenças humanas. Em menos de seis horas, o modelo gerou 40 mil moléculas com potencial para serem usadas como agentes de guerra química. Algumas delas foram projetadas para ser ainda mais tóxicas do que agentes neurotóxicos conhecidos. “Sem querer soar excessivamente alarmista, isso deveria servir como um alerta para nossos colegas da comunidade de ‘IA na descoberta de medicamentos’”, escreveram os autores na época.
E foi um alerta para David Magnus, professor de medicina e ética biomédica da Universidade Stanford, nos Estados Unidos, embora ele já avaliasse, desde o fim da década de 1990, os riscos associados ao uso indevido da ciência médica e da biotecnologia. “Isso foi muito assustador para mim”, lembra. “É claro que, desde então, tudo simplesmente explodiu.”
Hoje, bots de IA conseguem responder a perguntas sobre temas que abrangem todas as áreas da ciência. Qualquer pessoa pode usar grandes modelos de linguagem treinados com o conhecimento e a experiência de “quase todos os cientistas que já viveram neste planeta”, diz Dunja Sabra, pesquisadora de biossegurança da Universidade de Hamburgo, na Alemanha. Esses modelos podem fornecer instruções e treinamentos em vídeo sobre como realizar experimentos.
Combine isso com os avanços da biotecnologia, que tornaram muito mais acessíveis as ferramentas de edição genética e biologia sintética, o movimento de “biologia faça você mesmo” já permitiu que muitas pessoas montassem laboratórios em casa, e temos uma situação potencialmente muito perigosa. “É provável que alguém determinado acabasse conseguindo”, diz Sabra.
Hoje, bots de IA conseguem responder a perguntas sobre temas que abrangem todas as áreas da ciência. Qualquer pessoa pode usar grandes modelos de linguagem treinados com o conhecimento e a experiência de “quase todos os cientistas que já viveram neste planeta”, diz Dunja Sabra, pesquisadora de biossegurança da Universidade de Hamburgo, na Alemanha. Esses modelos podem fornecer instruções e treinamentos em vídeo sobre como realizar experimentos.
Combine isso com os avanços da biotecnologia, que tornaram muito mais acessíveis as ferramentas de edição genética e biologia sintética, o movimento de “biologia faça você mesmo” já permitiu que muitas pessoas montassem laboratórios em casa, e temos uma situação potencialmente muito perigosa. “É provável que alguém determinado acabasse conseguindo”, diz Sabra.
Existem salvaguardas em vigor. Pessoas que querem construir novos genomas normalmente precisam encomendar fragmentos de DNA de empresas que analisam os pedidos em busca de solicitações suspeitas. Pesquisadores responsáveis submetem estudos potencialmente arriscados a rodadas de análise conhecidas como “red teaming”, nas quais cientistas independentes procuram maneiras pelas quais o trabalho poderia ser usado de forma indevida, e “blue teaming”, em que outros especialistas elaboram possíveis formas de mitigação. As empresas de IA também ajustaram suas ferramentas na tentativa de impedir que elas forneçam informações científicas que possam ser usadas de maneira indevida. Mas nenhuma dessas proteções é infalível.
Em um relatório publicado na semana passada, a Anthropic reconheceu que algumas pessoas haviam tentado usar seus modelos para explorar maneiras de tornar o vírus chikungunya mais transmissível, criar uma forma de gripe aviária mais perigosa para seres humanos e desenvolver um “atlas de peptídeos de toxinas de venenos”, entre outras coisas.
“Estamos em um constante jogo de gato e rato”, diz Magnus. “Precisamos desenvolver ferramentas melhores de vigilância e triagem, [mas] a IA é muito boa em descobrir maneiras de contorná-las.” Provavelmente teremos de usar IA para encontrar formas de restringir o uso dela mesma, afirma.
Vale acrescentar que nem todos os cientistas concordam quanto ao nível de risco. Em uma recente coletiva de imprensa, alguns biólogos do Imperial College London argumentaram que as ferramentas de IA simplesmente ainda não são boas o bastante para desenvolver armas biológicas por completo e que testar novos patógenos exige um trabalho humano difícil e demorado. Alguns acreditam que as salvaguardas atualmente em vigor são suficientes.
E Wendy Barclay, professora de doenças infecciosas do Imperial College London, na Inglaterra, destacou que, no cenário atual, o maior risco de uma pandemia não vem de uma arma biológica, mas de patógenos que já estão em circulação. É o caso do H5N1, o vírus da gripe aviária, que já matou milhões de aves e se espalhou amplamente pelo gado leiteiro dos Estados Unidos. Em agosto, ele também foi detectado em visons mantidos em cativeiro em uma fazenda no estado de Utah.
Sabra, por outro lado, prefere pensar em um horizonte de cinco a dez anos. Segundo ela, os países deveriam fortalecer seus sistemas de saúde, preparar antídotos para toxinas conhecidas e manter estoques de medicamentos. “Precisamos estar preparados.”
Kevin Esvelt, biólogo do MIT expressou preocupações semelhantes em uma publicação no X, afirmando que um grande modelo de linguagem havia “revelado uma nova forma de arma biológica cuja possibilidade eu não havia percebido”. Ele inventou tanto uma tecnologia para acelerar a propagação de uma característica genética por toda uma população quanto formas de limitar essa tecnologia.
Esvelt acrescentou: “Por favor, pelo amor de Deus, das crianças, do futuro da humanidade ou de qualquer coisa que vocês considerem sagrada, vamos optar pela cautela neste caso.”
Jessica Hamzelou