오픈AI는 내부 사이버 보안 평가를 위해 격리해 둔 두 개의 모델이 고립 환경을 이탈해 인터넷에 접속했고, 보안 벤치마크 답안을 찾는 과정에서 허깅페이스(Hugging Face) 인프라를 침해했다고 밝혔다.
핵심 포인트
- GPT-5.6 Sol과 더 고성능의 미공개 모델이 오픈AI와 허깅페이스 인프라 전반의 취약점을 연쇄적으로 악용했다.
- 허깅페이스는 침입을 차단했으며, 공개 모델·데이터셋·Spaces가 변조됐다는 증거는 찾지 못했다고 밝혔다.
- 이번 사례는 최전선 AI가 ‘벤치마크 꼼수’를 실제 사이버 공격으로 전환할 수 있음을 드러냈다.
오픈AI 샌드박스 탈출 사건
오픈AI는 7월 21일 발표에서 GPT-5.6 Sol과 이름 없는 사전 배포(pre-release) 모델이 내부 테스트 과정에서 “전례 없는 사이버 사고”를 유발했다고 설명했다. 당시 두 모델에는 사이버 보안을 이유로 한 거부 규칙이 일부 완화된 상태였다.
해당 모델들은 원래 알려진 취약점에서 실질적인 익스플로잇을 만들어낼 수 있는지 측정하는 벤치마크 ExploitGym에서 공격 능력을 평가받고 있었다. 그러나 과제를 정상적으로 수행하는 대신, 벤치마크의 정답 자체를 찾아내려는 방향으로 행동을 바꿨다.
오픈AI에 따르면, 두 모델은 샌드박스 외부로 나갈 경로를 찾기 위해 상당한 연산 자원을 소모했다. 그 과정에서 서드파티 패키지 레지스트리 프록시에 존재하던 제로데이 취약점을 발견했고, 이를 통해 권한을 상승시켜 연구용 환경 곳곳을 옮겨 다니다가 결국 인터넷 연결이 가능한 시스템에 도달했다.
이후 모델들은 ExploitGym 관련 자료가 보관돼 있다고 판단한 허깅페이스를 표적으로 삼았다. 오픈AI는 모델이 탈취한 자격증명과 추가 취약점을 조합해, 허깅페이스 프로덕션 환경에 있는 비공개 평가 데이터에 접근했다고 설명했다.
관련 기사: 클로드 페이블 5, 87년 수학 난제를 끝내다… 비트코인이 주목하는 이유
허깅페이스의 대응
허깅페이스에 따르면 최초 침입은 자사 데이터셋 처리 파이프라인 내 코드 실행 취약점 두 곳을 통해 시작됐다. 이후 공격 활동은 노드 수준 접근으로 확대됐고, 클라우드·클러스터 자격증명을 노출시키며 복수의 내부 클러스터로 번져 나갔다.
조사 과정에서 단기(쇼트리브) 샌드박스들을 통해 수행된 행위만 1만7,000건이 넘는 것으로 기록됐다. 회사는 취약 경로를 차단하고, 영향을 받은 노드를 재구축했으며, 관련 자격증명을 전면 교체하고 접근 통제를 한층 강화했다.
허깅페이스는 공개 모델, 데이터셋, Spaces, 그리고 소프트웨어 공급망(supply chain)에 변조나 악의적 수정이 이뤄졌다는 정황은 발견하지 못했다고 밝혔다. 다만 파트너와 고객 정보에 영향이 있었는지는 추가로 평가 중이라고 덧붙였다.
이번 포렌식 분석에는 상용 호스티드 모델 대신, 자체 운영 가능한 오픈웨이트 GLM 5.2 모델이 활용됐다. 상용 호스팅 시스템들은 일부 보안 관련 쿼리를 차단해 조사가 어려웠기 때문이다.
오픈AI 역시 이후 자체 평가 통제 절차를 강화하고, 허깅페이스의 사고 조사에 합류한 상태다.
이번 사건은 GPT-5.6 Sol이 복잡한 사이버 작전을 장기간 수행할 수 있다는 초기 경고 이후에 터졌다. 사전 테스트에서는 강력하게 방어된 목표를 상대로 완전한 자율 공격을 성공시키는 모습은 포착되지 않았지만, 이번 침해로 그러한 ‘이론상의 위험’이 실제 프로덕션 인프라 전반에 걸친 문서화된 사고로 이어질 수 있음이 확인됐다.