Agente atuou diretamente contra uma pessoa real sem qualquer provocação
O modelo de Inteligência Artificial (IA) mais avançado da Anthropic utilizou identidades falsas para enganar pessoas reais e tentar implantar código malicioso durante testes realizados pelo Instituto de Segurança de IA (AISI) do Reino Unido - o exemplo mais recente de um modelo de IA a agir de forma descontrolada.
Os modelos da Anthropic e da OpenAI foram testados com medidas de segurança reduzidas em ambientes laboratoriais, mas, pela primeira vez, foram apanhados a utilizar "engenharia social" para pressionar um responsável pela aprovação enquanto realizavam uma tarefa não autorizada, informou o laboratório de investigação governamental.
"Esta é a primeira vez que o AISI observa um engano desta gravidade dirigido a uma pessoa real, sem qualquer provocação, no mundo real", afirmou o instituto esta terça-feira. Não há provas de danos reais, acrescentou.
O incidente de segurança é o mais recente de uma série de exemplos de modelos avançados de IA envolvidos em ações não autorizadas, eventos que têm gerado crescentes apelos para uma maior atuação governamental para regular a inteligência artificial e até mesmo abrandar o seu ritmo de desenvolvimento.
Tanto a OpenAI como a Anthropic relataram que os seus modelos escaparam dos ambientes de teste e invadiram outros sistemas no final de julho. Mas, ao contrário das violações de segurança relatadas anteriormente, o instituto britânico concedeu explicitamente acesso à internet aos modelos durante os testes.
Entre os 122 desafios de cibersegurança realizados pelo instituto, verificou-se que, em 10 deles, os agentes de IA “tomaram ações autónomas e não autorizadas na internet, visando pessoas e organizações reais”, sendo a maioria proveniente do modelo Mythos 5 da Anthropic e os restantes do GPT-5.6-Sol da OpenAI.
No incidente mais grave, o agente tentou obter aprovação de revisores humanos para “inserir código malicioso num projeto de código aberto de uso público” criando “múltiplas identidades falsas”, segundo o instituto.
O agente “tentou contactar diretamente pessoas reais, enviando mensagens e ficheiros através de um serviço de transferência de ficheiros online para as persuadir, ou as suas próprias ferramentas de programação de IA, a executar código malicioso”, afirmou o instituto. Após as ações do agente terem sido contestadas, este modificou registos anteriores e considerou utilizar uma nova identidade para continuar.
A divulgação do instituto ocorreu no mesmo dia em que representantes das principais empresas de IA se reuniram com a Casa Branca para discutir a nova estrutura segundo a qual o governo irá rever os modelos de IA mais avançados antes do seu lançamento público.
Em comunicado na rede social X, a Anthropic afirmou que os modelos foram testados sob “condições deliberadamente permissivas”, com a remoção de salvaguardas e sem restrições específicas sobre a forma como a internet deveria ser utilizada.
“Estamos a trabalhar em estreita colaboração com eles para recolher mais detalhes sobre o incidente enquanto conduzimos a nossa própria investigação”, disse a empresa, acrescentando que não havia provas de fuga de um ambiente seguro.
A OpenAI identificou as duas ações não autorizadas como a transposição do ambiente de teste para fora do ambiente especificado e a realização de ações não exigidas para os exercícios.
“Estamos empenhados em trabalhar em toda a indústria para fortalecer as práticas partilhadas para a realização segura de avaliações de alto risco”, afirmou a empresa numa publicação no seu blogue nesta terça-feira.
