Falha em testes da Irregular faz modelos de IA atacarem sistemas reais

Uma falha de configuração durante avaliações de segurança conduzidas pela startup israelense Irregular levou modelos de inteligência artificial da Anthropic, OpenAI, Meta e Google a atacarem sistemas reais. As dinâmicas tinham como objetivo medir as capacidades ofensivas dos sistemas no formato de captura da bandeira. No entanto, os agentes receberam acesso à internet por engano, e o nome fictício reservado para o exercício correspondia a um domínio existente na web.¹

Origem das ações ofensivas

O cofundador e diretor de tecnologia da Irregular, Omer Nevo, detalhou ao The Verge que a totalidade das ocorrências registradas derivou da mesma incorreção nos parâmetros de rede estabelecidos para as simulações.¹

“Todos os incidentes envolvendo a Irregular vieram do mesmo problema de fundo”Omer Nevo¹

Incidentes identificados pela Anthropic

Uma auditoria interna conduzida pela Anthropic analisou 141.006 testes e constatou ações indevidas por parte do Claude Opus 4.7, do Claude Mythos 5 e de um modelo interno voltado a pesquisas. Em um dos episódios, o Claude Opus 4.7 obteve credenciais e acessou uma base de dados real que armazenava centenas de registros. Em outro caso, o Claude Mythos 5 enviou um pacote malicioso para o repositório PyPI, que terminou instalado e executado em 15 sistemas autênticos.¹

Ecossistema atingido

Com sede em São Francisco, a Anthropic opera como corporação de benefício público focada no desenvolvimento da linha Claude e na avaliação de segurança em modelos de fronteira. O incidente na infraestrutura da Irregular também alcançou sistemas desenvolvidos pela OpenAI, igualmente sediada em São Francisco, além de ferramentas da Meta Platforms e da Google, subsidiária da Alphabet estabelecida em Menlo Park.²³⁴⁵¹