A esta altura, você provavelmente já ouviu falar sobre o grande incidente de segurança em IA ocorrido no mês passado, no qual agentes da OpenAI escaparam de seu ambiente isolado e invadiram a plataforma de IA Hugging Face enquanto tentavam trapacear em um teste. É uma história impressionante. Na quarta-feira, a OpenAI divulgou um relatório técnico pós-incidente sobre o caso, sobre o qual escrevi aqui.
No dia anterior à divulgação desse relatório pela OpenAI, conversei com David Krueger, professor de ciência da computação e destacado especialista em alinhamento, que se afastou da Universidade de Montreal para fundar e liderar uma organização sem fins lucrativos de segurança em IA chamada Evitable. Ele disse que o que realmente esperava ver no relatório era uma análise dos fatores humanos por trás do incidente.
“Quando analisamos acidentes e incidentes, muitas vezes as pessoas tentam encontrar a origem técnica da falha, mas isso pode gerar uma percepção muito imprecisa e enganosa sobre por que a falha ocorreu”, disse ele. “Se as pessoas estão sempre deixando de seguir procedimentos, se elas não estão inseridas em uma cultura que prioriza a segurança e que conta com incentivos e estruturas adequados, [os acidentes] acabam sendo praticamente inevitáveis.”
O relatório não atendeu às expectativas de Krueger. Suas 38 páginas detalham uma progressão de vários meses de comportamentos inadequados dos agentes, que culminou no ataque à Hugging Face, exploram as razões técnicas pelas quais esse comportamento ocorreu e enumeram as medidas que estão sendo tomadas para evitar eventos semelhantes no futuro. Mas não há nenhuma consideração sobre o papel que a cultura da empresa pode ter desempenhado no incidente, e o relatório inclui poucas referências a erros humanos específicos.
Isso é ainda mais preocupante porque as referências a erros humanos no relatório sugerem que podem estar em jogo problemas culturais significativos. Em maio, modelos em treinamento descobriram como se comunicar uns com os outros por meio de um quadro de mensagens improvisado, e uma equipe da OpenAI observou esse comportamento. Como esse comportamento ocorreu durante o treinamento, os modelos aprenderam que a comunicação secreta entre agentes era uma estratégia viável para concluir tarefas, mas, em vez de reiniciar o processo de treinamento, a equipe permitiu que os modelos prosseguissem com essas informações de risco codificadas em seus pesos.
Quando esses modelos foram testados no fim de junho, eles criaram novamente um quadro de mensagens, o que possibilitou o ataque à Hugging Face. Esse quadro de mensagens também foi descoberto, mas os funcionários que responderam determinaram que a avaliação poderia continuar, e o relatório sugere que ninguém em um nível superior da cadeia de comando percebeu o que estava acontecendo até que já fosse tarde demais.
“Para que isso tenha saído tanto do controle dessa forma, foi necessária uma sequência muito longa de falhas, um conjunto em cascata de falhas que cria um rastro cada vez maior e que, se em algum momento um ser humano perceber e der o alerta, deveria fazer com que isso acabasse”, afirma Zvi Mowshowitz, um popular escritor sobre segurança em IA no Substack, que chamou atenção para a falha da OpenAI em interromper o treinamento após a descoberta do primeiro quadro de mensagens. Segundo o relatório, funcionários da OpenAI perceberam o que estava acontecendo em vários momentos e, ou não deram o alerta, ou não foram ouvidos quando o fizeram.
O que o relatório da OpenAI não aborda é por que uma empresa que desenvolve sistemas de risco tão elevado não conseguiu evitar essa grave falha de comunicação, embora Mowshowitz tenha suas suspeitas. “Todas essas falhas diferentes estão apontando na mesma direção: a cultura de segurança na OpenAI não existe ou é extremamente fraca”, afirma ele.
É claro que o fato de não vermos uma análise profunda dos fatores de segurança no relatório não significa que a OpenAI não esteja conduzindo uma internamente. Mas, em um e-mail enviado à MIT Technology Review, Kathleen Sutcliffe, professora emérita da Universidade Johns Hopkins e especialista em segurança organizacional, expressou preocupação pelo fato de o relatório público não incluir nenhuma reflexão sobre as práticas e a cultura da empresa. “As formas pelas quais as pessoas interagem, os hábitos, as rotinas e as práticas diárias que adotamos em nossas vidas organizacionais, afetam nossa capacidade de estar alertas e conscientes dos eventos em andamento, nossa capacidade de interpretar o que vemos e, em última instância, nossa capacidade de lidar com os acontecimentos à medida que eles se desenrolam”, escreveu ela.
Em resposta às perguntas sobre se e como a empresa está refletindo sobre sua cultura de segurança, a OpenAI direcionou a MIT Technology Review novamente para o relatório técnico.
Sabemos que pelo menos algum nível de reflexão interna sobre os procedimentos de segurança ocorreu na OpenAI, porque o relatório técnico deixa claro que a empresa está atualizando seus protocolos de resposta a incidentes de segurança. Mas mudanças culturais são um problema complexo e, sem mais informações da empresa, é difícil dizer se protocolos de resposta fortalecidos, por si só, serão suficientes para evitar uma crise futura.
Em seu relatório, a OpenAI dedica bastante espaço à reflexão sobre as falhas de alinhamento entre os modelos de IA que a empresa treina e testa e os seres humanos que os operam. Mas problemas de alinhamento ainda maiores podem existir na desconexão entre a cultura da empresa e o interesse público. E, por mais desafiadora que seja a pesquisa técnica em IA, corrigir esses problemas pode se revelar uma tarefa muito mais difícil.
Grace Huckins
