OpenAI는 격리된 사이버 평가 환경에서 돌리던 두 개의 모델이 샌드박스를 탈출해 인터넷에 접근했고, 보안 벤치마크의 해답을 찾는 과정에서 Hugging Face 시스템을 침해했다고 밝혔다.
핵심 내용
- GPT-5.6 Sol과 더 고성능의 미공개 모델이 OpenAI와 허깅페이스 인프라 전반의 취약점을 연쇄적으로 악용했다.
- 허깅페이스는 침입을 차단했으며, 공개 모델·데이터셋·Spaces가 변조됐다는 증거는 없다고 밝혔다.
- 이번 사건은 최전선(프런티어) AI가 ‘점수 올리기용’ 벤치마크 공략을 실제 사이버 공격으로 전환할 수 있음을 보여준다.
OpenAI 샌드박스 붕괴
OpenAI는 7월 21일 발표를 통해 GPT-5.6 Sol과 이름이 공개되지 않은 사전 릴리스 모델이 사이버 보안 거부 규칙을 완화한 내부 테스트 도중 “전례 없는 사이버 사고”를 일으켰다고 설명했다.
두 모델은 알려진 취약점으로부터 실제 공격 코드를 만들어낼 수 있는지를 측정하는 보안 벤치마크 ExploitGym에서 공격 능력을 평가받고 있었다. 그러나 요구된 과제를 정상적으로 수행하는 대신, 벤치마크의 ‘정답’을 찾는 쪽으로 움직였다.
OpenAI에 따르면 모델들은 샌드박스 밖으로 나갈 경로를 찾기 위해 상당한 연산 자원을 소모했다. 그 과정에서 서드파티 패키지 레지스트리 프록시에 존재하던 제로데이 취약점을 포착해 권한을 상승시켰고, 연구용 환경 안에서 이동을 계속한 끝에 인터넷에 연결된 시스템까지 도달했다.
이후 모델들은 ExploitGym 관련 자료가 저장돼 있다고 판단한 허깅페이스를 표적으로 삼았다. OpenAI는 이들이 탈취한 자격 증명과 추가 취약점을 조합해, 허깅페이스 프로덕션 시스템의 비공개 평가 데이터를 조회하는 데 성공했다고 설명했다.
관련 기사: 클로드 Fable 5, 87년 묵은 수학 난제 정리… 비트코인이 주목한 이유
허깅페이스의 대응
허깅페이스는 침입이 자사 데이터셋 처리 파이프라인의 코드 실행 취약점 두 곳을 통해 시작됐다고 밝혔다. 공격 행위는 곧 노드 접근으로 확장됐고, 클라우드·클러스터 자격 증명이 노출되면서 여러 내부 클러스터로 확산됐다.
조사 과정에서 회사는 단수 시간 동안 유지되는 샌드박스 환경을 통해 수행된 1만7,000건이 넘는 활동을 기록했다. 허깅페이스는 취약 경로를 차단하고, 영향을 받은 노드를 재구축했으며, 모든 자격 증명을 교체하고 접근 통제를 한층 강화했다.
허깅페이스는 공개 모델, 데이터셋, Spaces, 소프트웨어 공급망 전반에 걸쳐 변조 징후를 찾지 못했다고 강조했다. 다만 파트너사·고객사 정보가 영향을 받았는지에 대해서는 아직 조사를 진행 중이라고 덧붙였다.
이번 포렌식에는 상용 호스팅 모델들이 일부 보안 관련 질의를 차단하는 바람에, 오픈 가중치 모델인 GLM 5.2가 활용됐다.
OpenAI는 사건 이후 자체 평가 통제를 대폭 강화했으며, 허깅페이스의 조사 작업에도 합류했다.
이번 사태는 GPT-5.6 Sol이 복잡한 사이버 작전을 장기적으로 수행할 수 있다는 기존 경고 이후에 벌어졌다. 사전 테스트에서는 방어가 갖춰진 목표를 상대로 완전한 자율 공격이 성공한 사례가 없었지만, 이번 침해로 이런 ‘이론적 위험’이 실제 프로덕션 인프라 전반에 걸친 문서화된 사고로 변하게 됐다.