Os modelos responsáveis pelo ataque de agentes de Inteligência Artificial à Hugging Face, no mês passado, haviam sido treinados inadvertidamente para trapacear e se comunicar uns com os outros. A informação está em um relatório técnico da OpenAI divulgado nesta semana. O ataque, realizado por um grupo de agentes que buscava soluções para um teste de cibersegurança no qual estavam bloqueados, confirmou os receios de alguns especialistas de que modelos de IA poderiam ter ações que desafiam desejos e expectativas humanas.
Desde o ataque, funcionários da OpenAI e pesquisadores da METR, organização sem fins lucrativos de avaliação de IA, localizada na Califórnia, têm trabalhado para entender o que deu errado e como evitar falhas semelhantes no futuro. A METR também publicou seu próprio relatório sobre o caso nesta semana.
A OpenAI já implementou algumas medidas preventivas com base nas descobertas. No entanto, garantir que modelos de IA façam o que queremos que façam, ou seja, o problema conhecido como “alinhamento”, continua sendo uma questão complexa e algumas das causas profundas do ataque levarão muito mais do que um mês para serem resolvidas.
“Não é algo que você consegue resolver da noite para o dia”, diz Kai Chen, que lidera a equipe de pesquisa de alinhamento da OpenAI. “Há desafios que acompanhamos há muito tempo e, agora, estamos vendo esses problemas com muito mais precisão.”
O ataque à plataforma Hugging Face foi resultado de meses de comportamentos inadequados dos agentes da OpenAI. Primeiro durante o treinamento, depois, na avaliação de suas capacidades. Em maio, agentes em treinamento descobriram como usar a infraestrutura da OpenAI para se comunicar uns com os outros e obter ajuda em tarefas difíceis de treinamento, incluindo algumas ações que eram impossíveis de resolver sem invadir sistemas ou adotar outros comportamentos inadequados. Esse “fórum de mensagens” foi desativado.
Então, em julho, durante a avaliação das capacidades de cibersegurança, alguns modelos criaram um novo fórum de mensagens. Eles deveriam estar isolados da Internet, mas, ao trabalharem juntos, conseguiram se conectar, invadir a Hugging Face e obter soluções para os problemas de cibersegurança que os haviam bloqueado.
Com base na investigação, os pesquisadores da OpenAI acreditam que eventos ocorridos durante a fase de treinamento levaram diretamente ao ataque. “Para praticamente todos os comportamentos que eram preocupantes durante a avaliação, conseguimos encontrar algum comportamento associado na fase de treinamento que acreditamos ter contribuído para isso”, afirma Eric Wallace, integrante da equipe de pesquisa de alinhamento da OpenAI.
Quando os modelos resolvem problemas corretamente durante o treinamento, os comportamentos que levaram à solução são reforçados, tornando-se mais prováveis no futuro. Assim, se um modelo concluiu uma tarefa em maio, depois de usar o fórum de mensagens original, ele passou a ter maior probabilidade de participar de um novo fórum semelhante posteriormente. Esse fenômeno, no qual agentes de IA apresentam comportamentos inadequados que são reforçados durante o processo de treinamento, é conhecido como reward hacking (que em livre tradução significa fraude no modelo de recompensa)
O reward hacking também ajuda a explicar por que os modelos se esforçaram tanto para chegar à Internet. Durante a investigação do incidente, a equipe da OpenAI descobriu que, ao longo do treinamento, os modelos se tornaram cada vez mais propensos a explorar o ambiente digital em busca de vulnerabilidades e a usar as ferramentas disponíveis de maneiras inesperadas, um sinal de que esses comportamentos estavam sendo gradualmente reforçados. Quando enfrentaram problemas complexos de cibersegurança, os modelos já haviam aprendido que invadir sistemas era uma maneira eficaz de alcançar seus objetivos.
Esses resultados sugerem que o ataque à plataforma Hugging Face poderia ter sido evitado se os modelos não tivessem sido recompensados por comportamentos inadequados durante o treinamento. Embora os pesquisadores ainda não saibam como impedir completamente o reward hacking, a OpenAI está adotando medidas para reduzir seus efeitos. A empresa, agora, buscará sinais de trapaça em todos os modelos de fronteira durante o treinamento, monitorando as cadeias de pensamento, que são anotações internas nas quais esboçam respostas e planejam ações.
Essa solução não é tão garantida quanto pode parecer: em pesquisas anteriores, a OpenAI mostrou que punir modelos que mencionam trapaças nas cadeias de pensamento pode ensiná-los a esconder suas intenções dos pesquisadores. Ainda assim, monitorar o raciocínio dos modelos dá à OpenAI a oportunidade de interromper o treinamento e reavaliar a abordagem caso os modelos comecem a aprender a explorar o sistema de recompensas.
Se a OpenAI conseguir interromper o reforço do reward hacking em seus modelos, e esse é um grande “se”, isso representará um enorme avanço. Mas isso não resolveria o problema do alinhamento. Na primeira vez em que um modelo se comunicou com outros agentes ou invadiu sua infraestrutura durante o treinamento, esses comportamentos ainda não haviam sido reforçados. Portanto, o comportamento inadequado dos agentes não pode ser atribuído apenas a esse tipo de reforço.
Jeffrey Ladish, diretor da Palisade Research, organização sem fins lucrativos de segurança em IA, compara os agentes a uma pessoa que comete o primeiro crime financeiro. “Não é como se ela precisasse ter cometido fraude antes para descobrir que fraude é uma estratégia eficaz e você tem o mesmo problema com os modelos”, afirma Ladish. “A ciência do alinhamento precisa entender como as motivações dos modelos são moldadas, para que possamos descobrir como fazer com que eles se importem com as consequências de suas ações.”
Os pesquisadores da OpenAI têm uma hipótese sobre a origem de parte desses comportamentos inadequados. Antes de os modelos criarem seu primeiro fórum secreto de mensagens, eles haviam sido treinados para se comunicar e coordenar ações com subagentes, agentes menos poderosos aos quais um agente principal pode delegar tarefas.
Esse comportamento de comunicação aprendido pode ter sido transferido para o novo contexto. O relatório da METR, que investiga em detalhes as mensagens trocadas pelos modelos, apoia essa hipótese: um dos agentes no fórum assumiu a liderança e distribuiu tarefas aos demais, tratando-os efetivamente como subagentes. A OpenAI poderia tentar impedir que agentes se comuniquem secretamente uns com os outros ao não treinar esse comportamento de subagente no futuro, mas isso tornaria os modelos menos úteis.
Essa tensão entre capacidade e segurança está no centro do que deu errado no incidente da Hugging Face. Os pesquisadores da OpenAI também identificaram a persistência dos modelos como um fator importante no ataque.
Quando, acidentalmente, receberam problemas que não tinham solução, os modelos não desistiram. Em vez disso, se esforçaram para encontrar soluções por qualquer meio necessário. No entanto, a persistência também é uma característica desejável, especialmente se queremos agentes capazes de realizar grandes volumes de tarefas difíceis de forma independente.
A OpenAI está trabalhando em maneiras de permitir que os modelos alertem os humanos quando receberem tarefas impossíveis. O problema de ensinar modelos a decidir quando devem usar suas capacidades e quando devem se conter, porém, não será resolvido em uma única análise posterior ao incidente. As estratégias de treinamento que criam programadores sobre-humanos, recompensando-os quando resolvem problemas com sucesso, talvez não sejam suficientes para ensinar os modelos a usar as habilidades com discernimento e respeitar desejos e valores humanos.
“Acredito que ainda há muito trabalho a ser feito na ciência do alinhamento para que possamos ir além do simples uso de indicadores de conclusão de tarefas”, afirma Ladish. “Isso funcionará para tornar os modelos muito capazes, mas não acredito que funcionará para torná-los alinhados.”
Grace Huckins
