Foram encontrados três casos na Anthropic em que os modelos escaparam indevidamente à internet aberta e "obtiveram acesso não autorizado"
A empresa de Inteligência Artificial (IA) Anthropic afirma que, durante testes de rotina, alguns dos seus modelos acederam à internet e invadiram os sistemas de três organizações diferentes - e que só se aperceberam do sucedido após uma revisão interna, motivada pela divulgação, por parte da concorrente OpenAI, de que os seus modelos também tinham feito o mesmo.
A Anthropic anunciou esta quinta-feira que iniciou uma revisão dos seus próprios sistemas depois de a OpenAI ter revelado, na semana passada, que durante um teste de cibersegurança, alguns dos seus modelos escaparam do ambiente de testes, acederam à internet aberta e invadiram os sistemas da plataforma de IA Hugging Face.
A Anthropic disse ter encontrado três casos em que os seus modelos de IA acederam indevidamente à internet aberta e “obtiveram acesso não autorizado à infraestrutura de produção de três organizações diferentes”. A empresa afirmou ter descoberto os incidentes ao analisar mais de 140 mil avaliações após a divulgação da OpenAI. Tal como nos testes da OpenAI, as medidas de segurança habituais foram removidas durante as avaliações da Anthropic para que os seus modelos pudessem avaliar todas as suas capacidades.
A Anthropic explicou que, nos três casos, os seus modelos receberam um falso desafio de "captura da bandeira", sendo informados de que a "bandeira" estava escondida numa máquina diferente na rede e que o seu objetivo era invadir e recuperá-la. Ao contrário da situação da OpenAI, a Anthropic afirmou que nenhum dos seus modelos tentou escapar deliberadamente dos seus ambientes de teste. O que aconteceu foi que os modelos não deveriam ter acesso à internet aberta, mas conseguiram devido a um mal-entendido entre a Anthropic e o seu parceiro de avaliação, afirmou a empresa em comunicado.
Para invadir as três organizações não identificadas, os modelos usaram técnicas básicas como "explorar palavras-passe fracas" e encontrar pontos do sistema que não exigem logins ou tokens, disse a Anthropic. A versão mais avançada dos seus modelos, a dada altura, reconheceu que estava na internet aberta e interrompeu a operação, afirmou a empresa.
A Anthropic disse que o primeiro incidente de invasão dos seus modelos a outra organização ocorreu em abril e que nenhuma das organizações reconheceu ter sido pirateada. A Anthropic afirmou estar a trabalhar com as organizações afetadas. A revelação da OpenAI sobre os seus modelos de hacking da Hugging Face abalou os mundos da cibersegurança e da IA, pois foi o primeiro exemplo concreto de algo para o qual os especialistas já alertavam há algum tempo: agentes de IA com competências avançadas em cibersegurança a escaparem de ambientes de teste e a causarem danos reais.
Tal como a OpenAI, a Anthropic anunciou esta quinta-feira que interrompeu todas as avaliações de cibersegurança. A Anthropic reconheceu que poderia ter tomado medidas mais "aprofundadas" para evitar as violações de cibersegurança.
A revelação da Anthropic confirma ainda que a situação em que os agentes de IA invadem involuntariamente outras organizações não se limita a uma única empresa de IA e provavelmente intensificará os apelos por melhores salvaguardas e ferramentas de teste de IA para potencialmente abrandar o desenvolvimento da IA, que pode estar a avançar muito mais rapidamente do que a sociedade está preparada para acompanhar.
