Uma equipe da Microsoft afirma ter usado Inteligência Artificial para descobrir uma vulnerabilidade como um “dia zero” (termo que se refere a uma ameaça recém-descoberta) nos sistemas de biossegurança usados para evitar o uso indevido de DNA.
Esses sistemas de triagem são projetados para impedir que pessoas comprem sequências genéticas que possam ser usadas para criar toxinas ou patógenos mortais. Mas, agora, pesquisadores liderados pelo cientista-chefe da Microsoft, Eric Horvitz, dizem ter descoberto uma maneira de contornar essas proteções de uma forma até então desconhecida pelos defensores.
A equipe descreveu seu trabalho hoje na revista Science.
Horvitz e sua equipe concentraram-se em algoritmos de IA generativa que propõem novas formas de proteínas. Esses tipos de programas já estão impulsionando a busca por novos medicamentos em startups bem financiadas, como a Generate Biomedicines e a Isomorphic Labs, uma empresa derivada do Google.
O problema é que tais sistemas são potencialmente de “duplo uso”. Eles podem utilizar seus conjuntos de treinamento para gerar tanto moléculas benéficas quanto prejudiciais.
A Microsoft afirma que iniciou, em 2023, um teste de red teaming (estratégia de simulação de ataques cibernéticos) do potencial de duplo uso da IA, a fim de determinar se o “projeto adversarial de proteínas por IA” poderia ajudar bioterroristas a fabricar proteínas nocivas.
A salvaguarda que a Microsoft atacou é o que se conhece como software de triagem de biossegurança. Para fabricar uma proteína, os pesquisadores normalmente precisam encomendar uma sequência de DNA correspondente de um fornecedor comercial, que então pode ser inserida em uma célula. Esses fornecedores utilizam softwares de triagem para comparar os pedidos recebidos com toxinas ou patógenos conhecidos. Uma correspondência próxima aciona um alerta.
Para conceber seu ataque, a Microsoft usou vários modelos generativos de proteínas (incluindo o seu, chamado EvoDiff) para redesenhar toxinas, alterando sua estrutura de modo que elas escapassem ao software de triagem, mas que se previa manter sua função letal intacta.
Os pesquisadores afirmam que o exercício foi inteiramente digital e que nunca produziram proteínas tóxicas. Isso foi feito para evitar qualquer percepção de que a empresa estivesse desenvolvendo armas biológicas.
Antes de publicar os resultados, a empresa diz que alertou o governo dos EUA e os fabricantes de software, que já corrigiram seus sistemas, embora algumas moléculas desenhadas por IA ainda possam escapar à detecção.
“O patch é incompleto, e o estado da arte está mudando. Mas isto não é algo de uma só vez. É o início de testes ainda mais intensos”, diz Adam Clore, diretor de Pesquisa & Desenvolvimento em tecnologia da Integrated DNA Technologies, um grande fabricante de DNA, que é coautor do relatório da Microsoft. “Estamos, de certo modo, numa corrida armamentista.”
Para garantir que ninguém faça mau uso da pesquisa, dizem os autores, eles não divulgaram parte do seu código e não revelaram que proteínas tóxicas pediram à IA para redesenhar. No entanto, algumas proteínas perigosas são bem conhecidas, como a ricina, um veneno encontrado nas sementes de mamona, e os príons infecciosos que causam a doença da vaca louca.
“Essa descoberta, combinada com os rápidos avanços na modelagem biológica habilitada por IA, demonstra a clara e urgente necessidade de procedimentos de triagem de síntese de ácidos nucleicos reforçados, acompanhados por um mecanismo confiável de aplicabilidade e verificação”, afirma Dean Ball, bolsista da Foundation for American Innovation, um think tank (uma instituição de pesquisa) em São Francisco.
Ball observa que o governo dos EUA já considera a triagem de pedidos de DNA uma linha-chave de segurança. Em maio, num decreto executivo sobre segurança em pesquisa biológica, o presidente Trump pediu uma reformulação geral desse sistema, embora até agora a Casa Branca não tenha divulgado novas recomendações.
Outros duvidam que a síntese comercial de DNA seja o melhor ponto de defesa contra agentes mal-intencionados. Michael Cohen, pesquisador de segurança em IA na Universidade da Califórnia, Berkeley, acredita que sempre haverá maneiras de disfarçar sequências e que a Microsoft poderia ter tornado seu teste mais difícil.
“O desafio parece fraco e suas ferramentas corrigidas falham muito,” diz Cohen. “Parece haver uma relutância em admitir que em breve teremos de nos afastar desse suposto ponto de estrangulamento, por isso devemos começar a procurar um terreno que realmente possamos defender.”
Cohen afirma que a biossegurança provavelmente deveria ser incorporada aos próprios sistemas de IA, seja diretamente ou por meio de controles sobre que informações eles fornecem.
Mas Clore diz que monitorar a síntese de genes ainda é uma abordagem prática para detectar ameaças, já que a fabricação de DNA nos EUA é dominada por algumas empresas que trabalham em estreita colaboração com o governo. Em contraste, a tecnologia usada para construir e treinar modelos de IA é mais difundida. “Você não consegue recolocar esse gênio de volta na garrafa,” diz Clore. “Se você tem recursos para tentar nos enganar para que produzamos uma sequência de DNA, provavelmente também pode treinar um grande modelo de linguagem.”
Antonio Regalado
