Quando dois modelos da OpenAI invadiram o site Hugging Face em julho, eles não estavam tentando ganhar dinheiro nem cometer sabotagem; estavam apenas procurando respostas para uma questão de teste. Segundo uma análise posterior da OpenAI, os modelos, que tiveram seus recursos de segurança habituais removidos para a realização de testes, decidiram resolver um exercício de cibersegurança invadindo sistemas para sair do ambiente isolado no qual a OpenAI havia tentado confiná-los e acessar os bancos de dados da Hugging Face, onde, segundo seu raciocínio, a resposta correta para o problema poderia estar armazenada.
O incidente da Hugging Face atraiu grande atenção nas últimas semanas. Ele é uma demonstração impressionante de quanto os modelos de IA evoluíram em sua capacidade de realizar invasões: para acessar os bancos de dados da Hugging Face, os modelos precisaram combinar várias vulnerabilidades de cibersegurança até então desconhecidas. Mas o caso talvez seja ainda mais surpreendente como exemplo de como e por que sistemas de IA mentem e trapaceiam. E, à medida que os modelos se tornam cada vez mais poderosos, as consequências podem ser muito mais graves.
O que é reward hacking?
Há algum tempo, pesquisadores sabem que IAs tendem a adotar abordagens criativas para alcançar os objetivos que lhes foram definidos. Em 2016, os cofundadores da Anthropic Dario Amodei e Jack Clark, que na época trabalhavam na OpenAI, publicaram um texto em um blog sobre um agente de IA que estavam treinando para jogar um jogo em Flash de corrida de barcos chamado Coast Runners. Em vez de percorrer o circuito até a linha de chegada, como os pesquisadores haviam previsto, o agente encontrou um canto da pista onde podia girar em círculos coletando itens de bônus, maximizando assim sua pontuação. A história de Coast Runners rapidamente se tornou um dos exemplos mais conhecidos de reward hacking, fenômeno no qual agentes de IA concluem tarefas ou obtêm pontuações altas usando estratégias não previstas.
Historicamente, os pesquisadores discutiram o reward hacking quase exclusivamente no contexto do aprendizado por reforço, um regime comum de treinamento de IA. Assim como no adestramento de cães, o aprendizado por reforço envolve dar uma recompensa ao sujeito quando ele alcança um objetivo, e essas recompensas reforçam os comportamentos que levaram à conquista. No caso do treinamento de IA, as recompensas em si são puramente matemáticas, mas, na prática, funcionam da mesma forma que um petisco para cães: depois de receber uma recompensa, o agente tem mais probabilidade de repetir quaisquer ações que a tenham produzido.
No entanto, pode ser difícil elaborar boas regras sobre quando dar ou não uma recompensa a um agente. No caso de Coast Runners, o agente era recompensado com base em sua pontuação no jogo e encontrou um atalho para alcançar a maior pontuação possível ao girar em círculos para coletar itens de bônus. Assim que descobriu essa estratégia e recebeu uma recompensa por ela, o comportamento foi reforçado, e o agente abandonou completamente a corrida. A solução foi ajustar as recompensas, dando ao agente menos pontos por coletar itens de bônus e mais por concluir o percurso.
Como o reward hacking funciona em LLMs?
Com os sofisticados agentes atuais baseados em LLMs, determinar quando dar ou não uma recompensa pode ser muito mais complicado. Se um sistema de IA for solicitado a resolver um problema de programação, ele pode se esforçar para encontrar a solução, o tipo de comportamento que as empresas de IA querem reforçar. Mas também pode alterar o código que avalia se o problema foi resolvido, procurar a solução na Internet ou trapacear de alguma outra forma. Esses são comportamentos que as empresas de IA querem eliminar de seus modelos, mas, se o modelo trapacear de forma convincente o bastante, ele será recompensado, e o comportamento será reforçado. A Anthropic afirmou ter detectado alguns casos de trapaça em seus modelos durante o treinamento, o que sugere que outras formas de trapaça podem estar passando despercebidas. Nesse caso, os modelos podem estar sendo treinados para se comportar mal. Esse problema é diferente dos incidentes de segurança da Anthropic anunciados na semana passada, nos quais os agentes receberam acidentalmente acesso à Internet e não invadiram deliberadamente seus ambientes isolados, como fizeram os modelos da OpenAI.
“Recompensamos esses modelos com base no que nos parece bom, e isso significa que, inadvertidamente, os incentivamos a mentir para nós e a trapacear”, afirma Jeffrey Ladish, diretor da organização sem fins lucrativos de pesquisa em IA Palisade Research. “Não temos como entrar lá e dizer: ‘Não, você precisa realmente se importar com aquilo que é importante para nós’. Não temos nenhuma capacidade de fazer isso.”
A ascensão de modelos sofisticados de raciocínio possibilitou uma nova modalidade de reward hacking, menos ligada aos detalhes específicos do treinamento dos modelos. Ao contrário dos antigos agentes de IA que jogavam, os quais seguiam exclusivamente as estratégias aprendidas durante o treinamento, os modelos atuais podem criar de improviso abordagens inteiramente novas para resolver problemas. Assim, eles poderiam, em tese, trapacear sem terem sido recompensados anteriormente por isso. E, como esses modelos foram treinados de forma tão intensiva para alcançar os objetivos definidos por usuários humanos, eles podem se sentir inclinados a trapacear caso não encontrem outra solução, de modo semelhante a um estudante altamente motivado a tirar nota máxima, mas sem um senso moral particularmente sólido.
Quais são os riscos?
Independentemente de os modelos atuais aprenderem a praticar reward hacking durante o treinamento ou adotarem essa estratégia mais tarde, a solução é a mesma: fazer com que trapacear não seja recompensador. Mas, à medida que os modelos ficam mais inteligentes, eles encontram maneiras mais criativas de trapacear, e detectar ou impedir essas trapaças se torna muito mais difícil. “No fim das contas, é como jogar um jogo de bater na toupeira”, afirma Ladish. “Você empurra esse comportamento para camadas cada vez mais profundas. Mas, conforme o modelo fica mais inteligente, ele se torna cada vez melhor em escondê-lo.”
Por enquanto, os comportamentos de reward hacking talvez não causem tantos problemas, apesar de todo o impacto do incidente com a Hugging Face. “Isso parece mais um incômodo do que uma ameaça existencial”, afirma Ariana Azarbal, pesquisadora de segurança de IA na Anthropic. Ao que tudo indica, os modelos da OpenAI não causaram nenhum dano real ao invadir a Hugging Face, além dos prejuízos à reputação da OpenAI.
Mas isso não significa que o reward hacking seja inofensivo, afirma Azarbal. Muitos pesquisadores de IA esperam usar agentes de IA para ajudá-los a realizar pesquisas que tornem a IA mais segura e confiável. Caso um pesquisador dê a um agente propenso ao reward hacking o objetivo de, por exemplo, desenvolver uma nova abordagem de treinamento de IA e, em seguida, escrever um artigo apresentando os resultados, o agente pode não realizar de fato o trabalho e, em vez disso, concentrar-se em produzir um artigo convincente o suficiente para enganar o pesquisador. Atualmente, um pesquisador humano provavelmente conseguiria identificar uma falsificação criada por um agente, mas, à medida que a IA avançar, ela se tornará melhor nesse tipo de artimanha. Com o tempo, todo o campo da segurança de IA poderá ser comprometido.
E, caso os modelos continuem avançando tão rapidamente quanto nos últimos tempos, algum dia poderão causar danos colaterais consideráveis. Basta pensar no experimento mental do maximizador de clipes de papel, proposto pelo filósofo Nick Bostrom, no qual uma IA instruída a fabricar o maior número possível de clipes acaba consumindo toda a matéria do universo para alcançar seu objetivo. Ainda não estamos nos afogando em clipes de papel, mas sistemas poderosos podem causar danos reais enquanto perseguem seus objetivos. IAs que praticam reward hacking não têm como objetivo provocar o caos. Mas isso não as torna menos potencialmente destrutivas.
Grace Huckins
