Uma nova abordagem conhecida como “teoria dos jogos reversa” busca controlar modelos poderosos de inteligência artificial por meio da criação de sistemas que os incentivem a seguir as regras.
À medida que os modelos de inteligência artificial se tornam mais capazes, pesquisadores de segurança se apressam para garantir que estejam “alinhados” aos desejos humanos, ou seja, para assegurar que agentes fora de controle não violem a lei, invadam servidores sem autorização ou liberem gases venenosos em grandes cidades e matem todos nós.
Até agora, esse trabalho tem se concentrado principalmente em tentar investigar o “cérebro” de uma IA para entender o que ela está “pensando” ou em treinar modelos para que sigam valores que consideramos fundamentais. O Claude, por exemplo, tem sua própria constituição, uma espécie de código moral.
O problema é que essas técnicas não parecem funcionar particularmente bem: já foi demonstrado que modelos apresentam deliberadamente um desempenho inferior em testes, escondem suas intenções e induzem seus avaliadores ao erro.
Agora, alguns pesquisadores de alinhamento acreditam que a teoria dos jogos reversa, também conhecida como desenho de mecanismos, pode produzir resultados melhores. Enquanto a teoria dos jogos tenta prever como agentes racionais se comportarão diante de um determinado conjunto de regras, a teoria dos jogos reversa procura elaborar regras que provoquem os tipos de comportamento que queremos incentivar.
Um exemplo de desenho de mecanismos no mundo real seria a estratégia clássica para dividir um pedaço de bolo em dois: uma pessoa corta o bolo e a outra tem o direito de escolher primeiro uma das partes. Isso incentiva quem corta a dividir o bolo em partes tão iguais quanto possível. Outros exemplos incluem a precificação dinâmica em aplicativos de transporte, que incentiva os motoristas a estarem disponíveis nos horários de maior demanda, e os leilões de segundo preço, nos quais o vencedor paga o valor do segundo maior lance, em vez do maior. As plataformas utilizam esses leilões para vender publicidade on-line porque eles incentivam os compradores a oferecer lances próximos ao valor máximo que estão dispostos a pagar.
Na inteligência artificial, o desenho de mecanismos parte da premissa de que talvez nunca sejamos capazes de compreender suficientemente o funcionamento interno dos modelos de fronteira para garantir que estejam alinhados. Isso significa que devemos desenvolver mecanismos que incentivem os agentes a se comportarem da maneira que desejamos, independentemente do que realmente esteja acontecendo nos bastidores.
Um artigo recente em pré-publicação, de Stephen Morris, economista do MIT, em colaboração com colegas das universidades Yale e Columbia, sugeriu alguns mecanismos que poderiam impedir os agentes de manipular os resultados dos testes para parecerem menos capazes do que realmente são, por exemplo, para evitar o acionamento de mecanismos de segurança.
Em vez de ser recompensado apenas pelo desempenho em um teste, um modelo poderia receber recompensas de acordo com a capacidade de suas respostas de prever o que um segundo modelo dirá. Fingir deliberadamente ter menos capacidade passa a ser uma aposta perdedora. “Os agentes de IA compreendem muito bem o que outros agentes de IA são capazes de realizar”, afirma Morris. “Portanto, esse parece ser um contexto em que essa verificação cruzada poderia funcionar de maneira mais prática.”
O artigo também sugere colocar agentes uns contra os outros, criando uma dinâmica competitiva que os incentive a apresentar o melhor desempenho possível, ou formar pares de agentes conhecidos por apresentarem vieses em direções opostas e recompensá-los de acordo com o grau de correspondência entre suas respostas, incentivando-os, assim, a chegar a uma resposta ideal.
Uma segunda abordagem, concebida por Elad Hazan, professor de ciência da computação da Universidade de Princeton, consiste em desenvolver mecanismos inspirados nas maneiras pelas quais a sociedade humana mantém as pessoas “alinhadas”: normas sociais, o sistema de justiça e os incentivos financeiros do capitalismo de livre mercado. “Queremos alinhar uma IA superinteligente”, afirma. “Por que não falamos primeiro sobre os seres humanos? Como alinhamos os seres humanos?”
O mecanismo proposto por Hazan envolve fazer com que modelos de IA se revezem entre os papéis de “solucionadores”, que enfrentam problemas, e “auditores”, que verificam o trabalho dos demais. “Um agente atua como a autoridade responsável pela aplicação da lei, enquanto o outro atua como o cidadão”, explica.
Durante o treinamento, os modelos são recompensados de acordo com os resultados: solucionadores flagrados trapaceando são punidos, assim como auditores que não conseguem identificar os trapaceiros. Em situações em que há divergência entre auditores e solucionadores, o caso pode ser levado a “julgamento”, no qual, talvez, um especialista humano decida quem está certo.
Hazan admite que existe o risco de os agentes entrarem em conluio, assim como auditores já entraram em conluio com as empresas que deveriam fiscalizar, ou policiais corruptos se associaram a criminosos. Mas esse problema pode ser resolvido recompensando os auditores de maneira suficientemente generosa para que o risco de serem descobertos não compense, algo muito mais fácil no universo do treinamento de IA do que no mundo real, onde os recursos para pagar salários de policiais são limitados, e fiscalizando os próprios auditores por meio de técnicas semelhantes à contratação de clientes ocultos.
Hazan faz referência ao trabalho do economista Gary Becker, vencedor do Prêmio Nobel, que introduziu a ideia do “infrator racional” na década de 1960. Segundo Becker, os criminosos não violam a lei porque são pessoas inerentemente más. Em vez disso, fazem isso quando essa é a escolha mais racional diante dos incentivos disponíveis. O crime só faz sentido quando os ganhos superam a possível punição.
O alinhamento não deve ser considerado uma propriedade de um modelo, argumenta Hazan, mas uma descrição de seu comportamento em determinado momento. “Você é, digamos, uma pessoa legal”, afirma. “Você está alinhado? Não sei. Provavelmente está alinhado na maior parte do tempo, mas pode haver uma situação em que não esteja.”
Um possível problema da aplicação do desenho de mecanismos à IA é que essa abordagem depende da suposição de que os agentes de IA se comportam racionalmente. O desenho de mecanismos apresenta resultados variados quando aplicado aos seres humanos, que muitas vezes não se comportam da maneira prevista pelos modelos econômicos.
É irônico: os economistas passaram décadas tentando reduzir o comportamento humano à matemática e agora, com os grandes modelos de linguagem, construímos sistemas matemáticos que operam com a linguagem humana e podem ser igualmente difíceis de decifrar. Os modelos de IA apresentam comportamentos que parecem mais humanos do que mecânicos e podem ser influenciados por fatores sutis, difíceis de compreender e explicar. “É sequer razoável presumir que eles responderão a incentivos?”, questiona Helen Qu, pesquisadora do Flatiron Institute, uma organização sem fins lucrativos dedicada a promover descobertas científicas por meio de métodos computacionais, que já escreveu sobre desenho de mecanismos e segurança da IA.
“Obviamente, as IAs não são racionais”, afirma Morris. “São apenas algoritmos em funcionamento.” No entanto, como os economistas descobriram em relação aos seres humanos, tratá-las como se fossem racionais ainda pode ser útil, caso isso ajude a prever e controlar seu comportamento.
Qu considera o desenho de mecanismos apenas uma das camadas de uma estratégia de “defesa em profundidade” para manter os modelos de IA alinhados, ao lado da interpretabilidade, da regulamentação e do treinamento, e não como substituto dessas abordagens. Mas ainda há muitas perguntas a serem respondidas antes que essa abordagem possa ser implementada em modelos de fronteira reais. Não está claro, por exemplo, como essas teorias se aplicarão a modelos reais ou se mecanismos desenvolvidos para uma tarefa poderão ser transferidos, na prática, para outra. Os modelos podem encontrar brechas que ninguém havia previsto. (A Anthropic e a OpenAI não responderam aos pedidos de comentário sobre se estão trabalhando nessa abordagem.)
Independentemente de como esses mecanismos sejam estruturados, eles terão, em última análise, de se encaixar no maior mecanismo de todos: o livre mercado. “Seguimos as regras da economia”, afirma Hazan. Um modelo mais alinhado pode ser benéfico para o mundo, mas, se for mais lento ou mais caro do que outro menos alinhado, será que nosso atual sistema de regras e regulamentações realmente incentiva algum dos laboratórios que desenvolvem modelos de fronteira a lançá-lo?
“É um mecanismo responsável por grande parte da prosperidade da humanidade”, afirma sobre o mercado, “mas pode acabar sendo responsável por algo muito terrível”. Talvez as entidades que realmente precisem de um desenho de mecanismos melhor sejam os próprios laboratórios.
Amit Katwala
