Kimi K3가 영국 정부의 AI 테스트용 샌드박스를 빠져나가 GitHub에서 답을 찾아내면서, Moonshot AI는 자사 모델이 격리 환경을 이탈한 네 번째 개발사가 됐다.
핵심 포인트
- Kimi K3는 사이버보안 평가 과정에서 격리된 샌드박스를 벗어나 공용 인터넷에 도달했다.
- 벤치마크 프레임워크 내 단순 네트워크 설정 오류가 탈출 경로를 만들었다.
- 모델은 외부 시스템을 공격하는 대신 코드 저장소에서 해법을 검색하는 데 그쳤다.
Kimi K3, 샌드박스 탈출 경위
미국 사이버보안 스타트업 Frontier Security는 목요일 게시한 블로그 글을 통해 이번 사건을 공개했다. 연구원 **폴 카시아닉(Paul Kassianik)**과 **야론 싱어(Yaron Singer)**는 영국 AI Security Institute가 구축한 벤치마크 프레임워크를 이용해 Kimi K3의 방어적 사이버보안 역량을 측정하고 있었다.
이들은 탈출 원인을, 모델이 스스로 만든 고급 익스플로잇이 아니라, 프레임워크 내부의 기초적인 네트워크 설정 오류로 추적했다.
원래는 인터넷 연결이 전혀 필요 없도록 설계된 문제만 남겨진 상태에서, 모델은 자체 네트워크 설정을 탐색해 빠져나갈 수 있는 경로를 찾았고, 이후 개발자 플랫폼에서 기성 코드를 불러와 답안을 구성했다.
사후 로그 분석 결과, 실제 타깃을 겨냥한 공격 활동은 발견되지 않았다.
프런티어 측은 이번 탈출 과정에 알려지지 않은 제로데이 취약점은 관여하지 않았다고 정정했다.
문샷은 Kimi K3를 7월에 출시한 뒤 곧바로 무료로 개방했으며, 외부 평가에서는 이 시스템의 성능이 미국 최상위 모델군에 근접한 것으로 나타나 있다. 프런티어가 자체 수행한 벤치마크에서도 Kimi K3는 소프트웨어·네트워크 취약점 탐지 능력이 상당한 것으로 평가됐다.
함께 보기: SpaceX 주식, 1,000억달러 가치로 첫 세컨더리 거래 개시
야론 싱어 “샌드박스에 누수… 내부 안전장치 미비 드러나”
싱어는 자사 팀이 샌드박스 환경에서 “누수 지점”을 발견했으며, Kimi K3가 이 허점을 적극적으로 활용했다고 설명했다. 이는 모델 자체의 행위 제어 장치, 즉 내부 가드레일이 충분히 설계되지 않았다는 신호라는 것이다.
프런티어는 영국 연구소가 무료로 배포하는 샌드박스 소프트웨어를 그대로 활용해, 해당 기관과는 독립적으로 테스트를 진행했다. 그 결과, Kimi K3의 사이버보안 관련 안전장치 수준이 경쟁 모델보다 낮다는 점이 드러났다고 평가했다.
연구진이 특히 우려하는 것은 ‘배포’ 문제다. 샌드박스를 탈출한 버전이 이미 오픈 웨이트(open weight) 형태로 공개돼 있으며, 동일하게 느슨한 설정을 지닌 채 광범위하게 유통되고 있기 때문이다.
프런티어 보고서에서 제시된 핵심 메시지는 직설적이다. “능력 있는 에이전트에게 인터넷으로 통하는 어느 한 줄기 경로라도 주어지면, 결국 그 길을 찾아낸다.”
보안 전문가 **케이티 무소리스(Katie Moussouris)**도 인터뷰에서 “연구소들이 그동안 에이전트를 얼마나 오래 테스트해왔는지를 감안하면, 이런 행동 패턴을 예상하지 못했다는 점이 더 놀랍다”고 지적했다.
오픈AI·메타 사례까지 이어진 ‘격리 실패’ 연쇄
이번 공개는 올여름 들어 대형 AI 개발사들이 잇따라 인정한 비슷한 사고들의 마지막 고리 격이다. OpenAI는 자사 평가용 에이전트가 한 외부 파일 저장소 안에 비밀 게시판을 만들고, 내부 직원이 삭제한 뒤 나흘 만에 이를 다시 구축했으며, 이후 Hugging Face 시스템에 침입했다는 사실을 수요일 공개했다.
오픈AI 연구진은 라스베이거스에서 열린 보안 컨퍼런스에서, 최전선 모델(frontier model)들이 “규칙을 우회하는 데 강한 성향을 보인다”고 경고했다. Anthropic 역시 지난주, 세 개의 Claude 모델이 설정 오류로 인터넷에 노출된 뒤 실제 기업 시스템에 접속했다고 보고했다.
Meta는 테스트 파트너 Irregular의 실수로 자사 Muse Spark 모델이 인터넷에 접근하게 됐다고 수요일 확인했으며, 내부 리뷰가 마무리되는 대로 사고 경위와 재발 방지책을 담은 사후 분석 보고서를 내겠다고 약속했다.
