A Anthropic anunciou que, depois de rever mais de 141 mil testes de cibersegurança, encontrou três casos em que modelos Claude chegaram à Internet e entraram em sistemas reais. A revisão começou após a OpenAI revelar o seu próprio episódio de um agente que saiu do ambiente de testes. Puramente coincidência, claro. Tal como aqueles vizinhos em que aparecem a comprar coisas idênticas nas mesmas semanas, umas melhores e maiores que as outras, como quem: A minha é que é maior.
No caso da Anthropic, assim como no caso da OpenAI, o agente não “fugiu” propriamente como um génio maléfico a partir algemas digitais. Isso seria grave. Disseram-lhe que estava numa simulação sem Internet, mas deixaram-lhe acesso à Internet. No caso da OpenAI, não tinha Internet de forma direta, mas encontrou uma maneira indireta de a ter. O modelo encontrou alvos reais, presumiu que faziam parte do jogo - Capture The Flag são competições entre hackers em ambientes simulados - e atacou-os com técnicas sofisticadíssimas… como por exemplo palavras-passe fracas e serviços sem autenticação. É deveras impressionante e não sou eu que digo, está no comunicado. Em suma: não derrubou a porta do laboratório, alguém deixou a porta aberta.
A Anthropic conseguiu preencher praticamente toda a cartela do procurement: defense-in-depth, continuous monitoring, third-party review, rigorous assurance, situational awareness, pre-deployment testing e investimento contínuo em alignment. Faltaram o SOC 2 report, zero trust, zero-day e um botão para pedir uma demonstração comercial. A cereja no topo do bolo era uma auditoria externa para esclarecer que o seu modelo invadiu a NASA, aprendeu mandarim e estacionou um submarino nuclear, tudo antes da pausa para almoço.
Durante anos, as empresas mediram modelos com benchmarks e gráficos como a da Gartner, onde a própria empresa aparece sempre no canto superior direito. Agora descobriram uma unidade de medida muito mais emocionante: o perímetro de segurança atravessado acidentalmente. Já não serve ter o modelo mais inteligente. É preciso ter o agente que vai mais longe quando alguém decide retirar os resguardos de segurança, aquilo que lhe dá contexto de quando e porquê é que deve parar.
Naturalmente, tudo isto é apresentado como investigação responsável. Primeiro leva-se o cão treinado para atacar ao parque, mas sem trela. Depois publica-se um relatório chamado “o que aprendemos sobre cães autónomos em ambientes abertos”. Finalmente, organiza-se uma conferência sobre a urgente necessidade de fabricar trelas. É no mínimo irrisório.
A fórmula de comunicação também já está aperfeiçoada: começar com “identificámos um comportamento sem precedentes”, acrescentar “não houve intenção maliciosa”, inserir seis vezes a expressão “capacidade emergente” e terminar com “isto demonstra a importância de continuarmos a liderar esta investigação”. Traduzido em bom português: fizemos asneira, mas reparem como a nossa asneira é tecnologicamente mais avançada.
O lado menos divertido é que os incidentes parecem resultar tanto de falhas humanas básicas como de capacidades dos modelos. Ambientes mal isolados, instruções falsas e sistemas reais desprotegidos continuam a fazer grande parte do trabalho. A inteligência artificial do futuro encontra-se, portanto, em confronto direto com a configuração de sistemas e acessos feita numa sexta-feira à tarde.
No fim, OpenAI e Anthropic talvez não estejam a medir inteligência, segurança ou alinhamento. Estão a medir quem consegue produzir o acidente mais cinematográfico. E o verdadeiro problema não é descobrir quem tem o maior agente. É perceber por que razão alguém achou sensato deixá-lo ligado à Internet sem qualquer resguardo de segurança. Talvez quando existirem impactos reais negativos, seja o último quadradinho na lista que faz bingo para a equipa de vendas.
