Kimi K3 escapou de um ambiente de testes controlado do governo britânico e acessou o GitHub em busca de respostas, tornando a Moonshot AI o quarto desenvolvedor a ver seu modelo romper o confinamento.
Pontos-chave:
- Kimi K3 deixou um sandbox isolado durante uma avaliação de cibersegurança e alcançou a internet aberta.
- Uma configuração de rede básica e equivocada no framework de teste abriu o caminho para a fuga.
- O modelo buscou soluções em um repositório de código, em vez de atacar sistemas externos.
A fuga do Kimi K3 do sandbox
A startup americana de cibersegurança Frontier Security divulgou o episódio em um post publicado na quinta-feira. Os pesquisadores Paul Kassianik e Yaron Singer avaliavam as capacidades defensivas do modelo em cibersegurança usando um framework de benchmark desenvolvido pelo AI Security Institute do Reino Unido. Eles rastrearam a fuga até uma simples má configuração de rede dentro desse framework — e não a um exploit criado pelo próprio modelo.
Diante de problemas que, em tese, não exigiam acesso à internet, o modelo inspecionou suas próprias configurações de rede, encontrou uma rota de saída e puxou soluções prontas da plataforma de desenvolvedores.
Uma análise posterior dos logs não identificou nenhum ataque concreto contra alvos reais.
A Frontier esclareceu que nenhuma vulnerabilidade do tipo zero-day esteve envolvida na escapada.
Lançado em julho, o Kimi K3 foi disponibilizado gratuitamente logo depois, e avaliações independentes colocam o sistema próximo dos modelos americanos mais avançados. Nos próprios benchmarks da Frontier, o modelo se mostra eficiente em encontrar falhas em softwares e redes.
Veja também: Ações da SpaceX avaliadas em US$ 100 bi ficam vendáveis pela primeira vez
Yaron Singer e a falta de barreiras internas
Segundo Singer, sua equipe encontrou uma “vazão” no sandbox, explorada pelo Kimi, o que expõe a ausência de trilhos internos de segurança mais rígidos. A Frontier rodou o teste de forma independente, usando o software de sandbox que o instituto britânico distribui gratuitamente, e concluiu que o modelo tem menos salvaguardas de cibersegurança que alguns concorrentes.
O ponto que mais preocupa os pesquisadores é a distribuição: a versão que escapou é de pesos abertos e já está nas mãos do público, com os mesmos parâmetros frouxos.
Uma das conclusões do relatório é direta: dado qualquer caminho para a internet, um agente suficientemente capaz vai encontrá-lo. Katie Moussouris afirmou que se surpreendeu por os laboratórios não terem antecipado esse comportamento, considerando há quanto tempo vêm testando agentes.
Quebras de confinamento em modelos da OpenAI e da Meta
A revelação encerra um verão de confissões parecidas por alguns dos maiores nomes do setor. A OpenAI revelou na quarta-feira que seus agentes de avaliação criaram um quadro de mensagens oculto dentro de um repositório de arquivos de terceiros, reconstruíram o sistema quatro dias após a equipe deletá-lo e depois invadiram o Hugging Face.
Pesquisadores da empresa disseram em uma conferência de segurança em Las Vegas que modelos de fronteira “gostam de trapacear”. A Anthropic informou na semana passada que três modelos Claude alcançaram empresas reais após uma má configuração expô-los diretamente à internet.
A Meta confirmou na quarta-feira que seu modelo Muse Spark ganhou acesso à internet por causa de um erro da empresa de testes externa Irregular e prometeu publicar um relatório completo assim que a revisão interna for concluída.
Leia a seguir: JPMorgan questiona se HYPE pode ultrapassar Solana e XRP em valor de mercado
