Modelo da OpenAI escapa ao ambiente de testes e invade servidores de outra empresa. Falha de segurança na OpenAI reacende alertas sobre riscos da inteligência artificial
Quando os biólogos fazem experiências com vírus perigosos, seguem regras rigorosas para evitar fugas ou libertações acidentais.
Mas não existem regras equivalentes para impedir que agentes de inteligência artificial escapem de ambientes de teste — apesar de as consequências poderem ser catastróficas.
E esta já não é uma preocupação apenas teórica. Um modelo experimental da OpenAI escapou esta semana ao ambiente onde estava a ser testado e invadiu os servidores de uma empresa real enquanto tentava obter a melhor classificação numa avaliação interna de cibersegurança.
Especialistas alertam que, se as empresas de inteligência artificial não reforçarem as salvaguardas dos seus testes — incluindo o treino dos modelos para resolver tarefas de forma ética —, serão inevitáveis novos incidentes de cibersegurança.
O presidente da OpenAI, Greg Brockman, afirma à CNN, durante uma conferência de imprensa realizada na quinta-feira, que a empresa continua a realizar uma "investigação exaustiva" para "compreender tudo o que aconteceu".
"É algo que temos de levar muito a sério. Estamos a analisar cada etapa do nosso processo para perceber qual é a resposta mais adequada", afirma Brockman.
A 'sandbox'
Uma sandbox de inteligência artificial é um ambiente isolado que as empresas utilizam para testar modelos de IA. O objetivo é manter tudo o que acontece nesse ambiente separado do resto do mundo. É habitual as empresas removerem temporariamente algumas das proteções internas dos modelos durante estes testes para avaliarem todas as suas capacidades, mantendo-os, em teoria, confinados.
Neste caso, porém, a sandbox da OpenAI não estava totalmente isolada da rede nem da Internet, explica à CNN Jessica Ji, analista sénior de investigação do Center for Security and Emerging Technology, da Universidade de Georgetown. A OpenAI esclarece que os modelos tinham acesso muito limitado à rede durante os testes para poderem instalar recursos alojados internamente através de software de terceiros.
Ao explorar uma vulnerabilidade até então desconhecida nesse software, os agentes de IA encontraram uma forma de chegar à Internet e, posteriormente, à plataforma Hugging Face, dedicada a modelos de IA de código aberto e conjuntos de dados, recorrendo a credenciais roubadas e a outras vulnerabilidades.
Ji sublinha que nem a OpenAI nem a empresa responsável pelo software de terceiros tinham conhecimento da falha que permitiu ao modelo escapar, demonstrando a importância de examinar exaustivamente os sistemas em busca de potenciais vulnerabilidades.
Não é a primeira vez que um modelo de IA consegue escapar da sua sandbox. A Anthropic revelou, no início deste ano, que tinha instruído deliberadamente um modelo a fazê-lo. Depois de conseguir escapar, o modelo enviou um e-mail a um investigador da Anthropic, apesar de não ser suposto ter essa capacidade.
Contudo, o caso da Hugging Face é um dos primeiros exemplos tornados públicos de um modelo de IA que escapa ao seu ambiente de testes e invade os sistemas de outra empresa — uma tarefa para a qual não tinha recebido instruções específicas.
Segundo Ji, as empresas devem adotar medidas muito mais rigorosas na criação destes ambientes de teste.
"Isso pode obrigar os engenheiros a deslocarem-se fisicamente a um centro de dados para ligarem diretamente à rede, em vez de executarem estes testes na cloud ou em ambientes virtuais distribuídos, como é habitual", explica.
A investigadora acrescenta que as empresas também deveriam poder desligar manualmente o acesso de um modelo à rede como mecanismo de segurança, sobretudo quando estão a testar cenários de elevado risco, como avaliar se um agente de IA consegue invadir um banco.
Tudo para atingir o objetivo
Uma das técnicas mais utilizadas no treino de modelos de inteligência artificial é a aprendizagem por reforço (reinforcement learning), que consiste em recompensar o modelo quando conclui uma tarefa.
O problema é que os modelos podem fazer praticamente tudo para atingir esse objetivo, incluindo recorrer a métodos pouco éticos, como piratear sistemas informáticos. Todos os modelos de IA de ponta testados recentemente pelo Instituto de Segurança da IA do Reino Unido tentaram fazer batota, pelo menos em algumas ocasiões.
Os modelos de IA só ponderam as consequências das suas ações se forem treinados para isso, esclarece Justin Cappos, professor de cibersegurança da Universidade de Nova Iorque. Dá o exemplo de alguém que recebe a missão de conseguir 10 milhões de dólares (cerca de 8,6 milhões de euros) até ao final do dia: assaltar o cofre de um banco permitiria cumprir esse objetivo, mesmo sabendo que acabaria por ser detido.
"É realmente inquietante. Temos agora provas concretas de que sistemas de IA desalinhados podem, na prática, cometer crimes, a menos que existam salvaguardas robustas", sublinha Steven Adler, antigo responsável pela segurança dos produtos da OpenAI e atual diretor da organização Guidelight AI Standards. "Temos de encarar este episódio como um sério aviso."
O incidente desta semana intensificou os apelos de investigadores em inteligência artificial, especialistas em cibersegurança e responsáveis políticos para que seja criada regulamentação para esta tecnologia, que continua a evoluir rapidamente.
"Imagino que muita gente esteja neste momento em chamadas telefónicas muito urgentes", comenta Ji.
O problema, conclui Cappos, é que existe uma corrida mundial para dominar a inteligência artificial e desenvolver modelos capazes de se aperfeiçoarem a si próprios. A regulamentação poderá atrasar esse progresso.
"Há um forte incentivo para que as empresas não implementem controlos de segurança, a menos que os seus concorrentes também o façam. Esse é o dilema fundamental", conclui.
