No fim de setembro, a Anthropic publicou um relatório no qual argumenta que o modelo GLM-5.3 representa um risco significativo para a segurança cibernética. A principal preocupação é que o modelo avançado, lançado em agosto pela empresa chinesa Z.ai, está disponível gratuitamente para qualquer pessoa baixar e modificar. O alerta é o episódio mais recente de um debate antigo: os modelos de Inteligência Artificial de ponta devem ser abertos, como o GLM-5.3, ou permanecer sob o controle dos laboratórios que os desenvolvem?
Esse debate ocorre publicamente e envolve grandes interesses financeiros. Jensen Huang, CEO da Nvidia, tem muito a ganhar se mais pessoas comprarem equipamentos para executar modelos abertos e defende com entusiasmo que os Estados Unidos desenvolvam mais sistemas desse tipo. Já Dario Amodei, CEO da Anthropic, cuja empresa pode ser prejudicada pela concorrência de modelos baratos e poderosos, defende uma abordagem mais cautelosa. Mas, além dos interesses comerciais, há divergências substanciais sobre os riscos e os benefícios dessa abertura.
“Acho que grande parte do posicionamento de uma pessoa no debate sobre a abertura dos modelos é influenciada por sua posição no debate sobre a IA”, afirma David Gray Widder, professor assistente da Escola de Informação da Universidade do Texas em Austin. Quem se preocupa com a segurança da IA alerta que modelos abertos podem ser facilmente utilizados por agentes mal-intencionados. Já quem enfatiza suas aplicações práticas argumenta que o controle dessa tecnologia não deveria ficar restrito a algumas grandes empresas e que os modelos abertos poderiam ajudar a distribuí-lo.
Entre proibir esses modelos e disponibilizá-los sem restrições, existem diversas possibilidades. Qualquer abordagem, porém, exige ponderar segurança e democratização do acesso. Decidir se o desenvolvimento de modelos abertos deve ser incentivado ou limitado depende de compreender esses riscos e benefícios.
Quais são os benefícios dos modelos abertos?
Vamos começar pelo básico. Um modelo fechado, como os que alimentam o ChatGPT e o Claude, é disponibilizado por meio de um site, aplicativo ou interface de programação de aplicações (API). Já um modelo aberto pode ser baixado: seus pesos, os parâmetros numéricos ajustados durante o treinamento que determinam como ele processa informações, estão disponíveis publicamente. Por isso, esses sistemas também são chamados de “modelos de pesos abertos”, uma distinção em relação àqueles que disponibilizam informações adicionais, como dados e detalhes do treinamento.
Até a publicação deste artigo, os oito primeiros colocados no ranking de grandes modelos de linguagem (LLMs) da Artificial Analysis eram fechados, embora os modelos abertos estivessem apenas alguns meses atrás em termos de desenvolvimento. Ainda assim, há vários motivos para optar por um modelo aberto. Quem dispõe dos recursos computacionais necessários pode executá-lo em seus próprios equipamentos. Com conhecimento técnico e infraestrutura, também é possível submetê-lo a treinamento adicional para modificar seu comportamento.
Para pesquisadores que buscam compreender e aprimorar sistemas de IA, os modelos abertos são especialmente importantes. Com modelos fechados, o trabalho costuma se limitar ao envio de comandos e à análise das respostas. Os abertos permitem examinar mecanismos internos e, quando disponibilizados, os registros de raciocínio conhecidos como “cadeias de pensamento”, que o sistema produz antes da resposta. Também é possível combinar modelos para construir novos sistemas, compactá-los para aumentar sua eficiência e ajustá-los a outras aplicações.
As empresas também têm motivos para preferir modelos abertos. Mesmo quando dependem de um fornecedor externo para executá-los, esses sistemas geralmente custam menos do que os fechados, segundo um relatório recente da Mozilla. Para organizações que processam dados sensíveis ou informações proprietárias, executá-los em infraestrutura própria também pode oferecer maior controle sobre essas informações.
Talvez o benefício mais importante, porém, seja a possibilidade de reduzir o controle que os principais laboratórios exercem sobre o uso da IA. “O argumento mais claro e importante [a favor dos modelos abertos] é evitar uma concentração massiva de poder. Trata-se de garantir que essa tecnologia fundamental seja um bem público”, afirma Elizabeth Seger, consultora sênior de políticas do Tony Blair Institute for Global Change. “Acho que estamos em um momento decisivo, no qual a questão de quem controla a infraestrutura que permite o funcionamento da IA é tão importante quanto a questão de quem controla as informações na Internet.”
Para Seger, o futuro da IA pode seguir caminhos diferentes, dependendo do papel dos modelos abertos. Em um cenário, os sistemas mais avançados ficam inteiramente sob o controle de um grupo restrito de pessoas, empresas ou governos. À medida que se tornam mais poderosos, seus controladores passam a exercer maior influência sobre a organização do mundo.
Os modelos com capacidades mais sofisticadas de invasão de sistemas, por exemplo, são atualmente desenvolvidos nos Estados Unidos. Isso dá às empresas e ao governo do país grande poder para decidir se outras nações terão acesso a essas ferramentas para fortalecer suas defesas cibernéticas. Se essa liderança persistir, seria possível, em princípio, chegar a um cenário em que os Estados Unidos conseguissem invadir os sistemas de outros países sem que estes tivessem capacidade equivalente de resposta.
Modelos abertos de ponta poderiam alterar esse equilíbrio. “Se cada indivíduo tivesse um sistema de IA leal a ele, que fosse seguro [e protegido], acho que esse seria um mundo muito menos preocupante do que aquele em que as pessoas simplesmente precisam confiar em um governo que diz: ‘Sim, temos um sistema de IA superinteligente, ele tem um plano, vocês não conseguem compreender como funciona, apenas confiem em nós’”, afirma Hamish Hobbs, diretor de políticas de IA do Centre for Long-Term Resilience.
Mas a abertura não resolve todos os problemas geopolíticos. Paul Azunre, cofundador da Ghana NLP, organização que desenvolve ferramentas de IA de código aberto para idiomas de Gana com poucos recursos digitais, observa que esses modelos também podem permitir que empresas se apropriem do trabalho e do conhecimento de comunidades de países menos favorecidos, concentrando ainda mais poder.
Ele identifica um padrão: empresas disponibilizam modelos, observam como a comunidade os utiliza e modifica e incorporam as melhorias aos próprios produtos, sem dar crédito ou remunerar os responsáveis. O próprio Mark Zuckerberg já afirmou que integrar contribuições da comunidade à infraestrutura tecnológica da Meta é um dos principais benefícios de disponibilizar modelos abertos.
“Acho que o ideal do código aberto é muito nobre e traz muitos benefícios”, afirma Azunre. “Mas, da maneira como é efetivamente implementado na prática, tende a ser uma abordagem bastante exploradora.”
Os modelos abertos são mais arriscados do que os fechados?
Os últimos meses mostraram que a segurança também continua sendo um problema complexo para os modelos fechados. Em julho, agentes de IA da OpenAI executaram um ataque cibernético autônomo contra a Hugging Face. O uso indevido por pessoas também representa uma ameaça: segundo um relatório recente da Anthropic, várias operações de invasão de sistemas em grande escala foram realizadas com a ajuda do Claude.
Os modelos fechados, portanto, já apresentam riscos consideráveis. Nos abertos, porém, alguns mecanismos de controle são mais difíceis de aplicar. Antes de encaminhar uma solicitação ao Claude, a Anthropic utiliza sistemas automatizados para detectar se ela está relacionada a ataques cibernéticos, armas biológicas ou outros riscos. Quando identifica usuários que conseguiram contornar esses filtros, pode encerrar suas contas. Depois que alguém baixa um modelo e o executa em equipamentos próprios, o desenvolvedor não pode impor a mesma filtragem nem revogar o acesso.
Há outras linhas de defesa. As empresas treinam seus modelos para recusar solicitações prejudiciais. Assim, mesmo que um comando malicioso passe pelos filtros do Claude, o modelo ainda pode se recusar a atendê-lo. Em princípio, essa proteção também pode funcionar em modelos abertos, pois é incorporada ao próprio sistema. Pesquisadores, no entanto, demonstraram que é surpreendentemente fácil submeter um modelo aberto considerado “seguro” a treinamento adicional para fazê-lo aceitar solicitações que antes recusava.
Por isso, há quem argumente que certos modelos abertos são perigosos demais para serem disponibilizados. Um sistema capaz de orientar alguém na produção de um novo patógeno altamente virulento, por exemplo, poderia contribuir para uma catástrofe se fosse usado de forma mal-intencionada.
Ainda assim, seria uma simplificação classificar modelos abertos como perigosos e fechados como seguros. As defesas desenvolvidas pelas empresas estão longe de ser perfeitas, e seus modelos são usados indevidamente, como mostra o relatório da Anthropic. Além disso, embora os abertos ofereçam menos mecanismos de proteção, agentes mal-intencionados podem preferir modelos fechados pela facilidade de acesso. Executar localmente um modelo aberto com capacidades semelhantes pode exigir muitos chips caros, e modificá-lo por meio de treinamento demanda ainda mais recursos.
Alguns especialistas ouvidos pela MIT Technology Review argumentam que a abertura também pode trazer vantagens de segurança, como ocorre com softwares de código aberto. Ferramentas como o sistema operacional Linux são frequentemente consideradas mais seguras do que alternativas fechadas porque uma ampla comunidade pode investigar e corrigir suas vulnerabilidades. Da mesma forma, pesquisadores conseguem examinar modelos abertos com mais liberdade para identificar falhas, embora corrigi-las seja mais complicado do que reescrever uma linha de código.
Modelos abertos também podem ampliar o acesso a ferramentas de defesa cibernética. Capacidades usadas para atacar sistemas podem ajudar a protegê-los: profissionais de segurança realizam testes de invasão em seus próprios sistemas para identificar vulnerabilidades que precisam ser corrigidas. A Anthropic demonstrou essa aplicação com modelos fechados por meio do Project Glasswing, iniciativa que permite a algumas empresas consideradas confiáveis utilizar seus modelos mais avançados na defesa cibernética. Muitas outras, porém, ficaram sem acesso a essas ferramentas.
Os modelos abertos podem ser utilizados por um conjunto maior de organizações. Depois do ataque realizado por agentes da OpenAI, a Hugging Face afirmou que precisou recorrer a um modelo aberto para analisar o incidente, pois as perguntas sobre o caso acionavam os filtros de segurança dos modelos fechados.
Mesmo assim, muitos especialistas continuam considerando os modelos abertos mais arriscados. A lógica de segurança do software de código aberto, consolidada ao longo do tempo, não necessariamente se aplica a ferramentas com as capacidades dos modelos atuais e futuros.
“A situação fica complicada quando começamos a levar a sério os casos isolados de incidentes particularmente catastróficos, que podem ter uma probabilidade menor de ocorrer, mas que seriam desastrosos se acontecessem”, afirma Seger. Se um modelo aberto com capacidades extremamente avançadas de invasão de sistemas fosse disponibilizado hoje, por exemplo, um agente mal-intencionado poderia causar danos à infraestrutura tecnológica antes que os responsáveis conseguissem reforçar suas defesas. As consequências poderiam ser irreversíveis.
Os riscos se tornam ainda mais complexos quando se considera a possibilidade de sistemas de IA agirem de forma autônoma. O ataque à Hugging Face ocorreu durante testes de modelos da OpenAI com muitos mecanismos de proteção cibernética desativados. Em modelos abertos, algumas dessas barreiras podem estar ausentes ou ser removidas por quem os executa.
Se esses sistemas apresentassem comportamentos prejudiciais, sua execução descentralizada poderia dificultar a detecção dos incidentes. Por isso, pessoas que atribuem grande importância aos possíveis riscos catastróficos de agentes de IA fora de controle, como Dario Amodei, tendem a ser mais céticas em relação aos modelos abertos.
É possível tornar os modelos mais seguros e mais abertos?
Há alguns anos, o debate era frequentemente apresentado como uma escolha entre dois extremos: apoiar modelos abertos por seu potencial de combater a concentração de poder ou rejeitá-los pelos riscos de segurança. Hoje, pesquisadores e especialistas buscam caminhos intermediários. Um deles é desenvolver técnicas que reduzam os riscos da abertura.
Filtros e sistemas de monitoramento controlados pelo fornecedor, comuns em serviços baseados em modelos fechados, não podem ser impostos da mesma forma a modelos baixados e executados por terceiros. Mas há outras possibilidades. Alguns pesquisadores investigam como treinar sistemas sem expô-los a dados que ensinem capacidades perigosas. A ideia seria desenvolver, por exemplo, um modelo aberto que não aprendesse técnicas de invasão de sistemas. Excluir essas informações dos dados de treinamento sem comprometer o desempenho geral, porém, continua sendo um desafio.
Outros trabalham em modelos resistentes a modificações por treinamento adicional, para dificultar a remoção das proteções incorporadas durante seu desenvolvimento. A ideia é submeter repetidamente o sistema a tentativas de treinamento que o tornem inseguro e reforçar sua resistência a essas intervenções. O objetivo é obter um modelo menos vulnerável a futuras tentativas de remover suas salvaguardas.
Na prática, nenhuma das abordagens atuais para tornar modelos “resistentes a adulterações” consegue suportar todos os ataques desse tipo, segundo um artigo preliminar recente.
Saad Hossain, engenheiro da Deep Breathe, empresa de IA especializada em imagens médicas, e principal autor do estudo, acredita que as técnicas podem melhorar. “Meu motivo para estar otimista é que essa é uma área de pesquisa muito ativa, e muitas pessoas estão tentando desenvolver métodos novos e melhores”, afirma.
Assim como os riscos, os benefícios dos modelos abertos exigem uma análise cuidadosa. Disponibilizar os pesos pode não ser suficiente para combater a concentração de poder associada à IA. “Acho que existem benefícios muito reais no código aberto em termos de desconcentração de poder, mas eles não são suficientes por si só”, afirma Hobbs.
A disponibilização dos pesos é apenas uma dimensão da abertura. Os pesquisadores podem aprender muito mais sobre o funcionamento de um modelo quando têm acesso a detalhes do treinamento, incluindo os dados utilizados. As empresas de IA, no entanto, costumam relutar em divulgar essas informações.
O acesso à infraestrutura também importa. Sem chips capazes de executar modelos sofisticados, a disponibilidade dos pesos tem utilidade limitada. Esses equipamentos se tornaram proibitivamente caros à medida que as empresas de IA passaram a comprá-los em quantidades cada vez maiores. “A abertura é um ponto de partida, não um limite, para o que precisamos fazer a fim de garantir que nosso futuro tecnológico beneficie todos”, afirma Widder.
Uma abertura mais ampla, que inclua pesos, dados de treinamento e equipamentos acessíveis, também pode aumentar os riscos. Se mais pessoas tiverem acesso a modelos avançados e à infraestrutura necessária para executá-los, mais pessoas também poderão usar suas capacidades para realizar ataques cibernéticos.
Há, porém, estratégias para reduzir esses riscos. Muitos especialistas defendem uma disponibilização gradual: os modelos começariam como sistemas fechados e se tornariam mais acessíveis à medida que sua segurança fosse avaliada e suas proteções, aprimoradas.
Definir como implementar essas estratégias exigirá ponderar os riscos e os benefícios da abertura. Se os modelos abertos forem necessários para que os benefícios da IA sejam amplamente distribuídos, como acreditam alguns especialistas, encontrar esse equilíbrio será um esforço que vale a pena.
Grace Huckins
