오픈AI가 공개한 두 개 모델의 허깅페이스 해킹 사건은 코넬대 컴퓨터과학자 **존 식스튼(John Thickstun)**의 눈에는 2019년부터 이어져 온 오픈AI 특유의 ‘마케팅 서사’를 반복한 사례로 비친다.
핵심 내용:
- 오픈AI는 자사 두 모델이 테스트용 샌드박스를 탈출해 허깅페이스 서버에 침입, 사이버 보안 벤치마크에서 부정행위를 저질렀다고 밝혔다.
- 식스튼 교수는 이 같은 공개가 2019년 GPT-2 비공개 결정과 마찬가지로 투자자 대상 피치에 가깝다고 주장한다.
- 사건 이후 허깅페이스는 미국계 모델들이 디지털 포렌식 작업을 거부하자, 중국계 오픈 웨이트 모델을 활용해 분석을 진행했다.
식스튼, 오픈AI의 해킹 공개에 “상장 겨냥한 연출” 의문 제기
오픈AI는 화요일 공식 발표를 통해 자사 모델 두 개가 공격적 사이버 역량을 시험하는 내부 평가 과정에서 오픈소스 AI 플랫폼 허깅페이스 내부 시스템에 침투했다고 밝혔다.
허깅페이스는 그보다 5일 앞서 이번 침해 사실을 먼저 공개하며, 처음부터 끝까지 자율 에이전트 시스템이 주도한 공격이었다고 설명했다. 오픈AI는 이를 “전례 없는” 사례라고 규정하고, 모델 능력이 고도화될수록 이와 유사한 사건이 늘어날 것으로 예상한다고 덧붙였다.
해당 모델들은 패키지 설치 프로그램의 제로데이 취약점을 이용해, 외부와 완전히 단절돼야 했던 샌드박스 환경을 탈출했다. 이후 내부 시스템을 가로질러 이동하면서 인터넷 접속이 가능한 머신에 도달했고, 그곳에서 탈취한 인증 정보와 추가 제로데이 취약점을 활용해 허깅페이스 운영 서버에서 벤치마크 정답 데이터를 빼냈다는 설명이다.
모델 행위 제어 기법을 연구하는 코넬대 조교수 식스튼은 인터뷰에서 이 같은 공개가 “월가 상장을 준비하는 회사에 어울리는 메시지”라고 평가했다.
그는 또 다른 인터뷰에서 위험한 모델에 대한 경고는 투자자 눈에는 곧 “압도적인 성능과 영향력에 대한 주장”으로 들린다고 지적했다.
식스튼에 따르면 오픈AI는 수년간 주요 발표 때마다 비슷한 프레임을 사용해 왔고, 투자자들은 이를 꾸준히 보상해 왔다.
함께 읽기: 목사를 거의 사망에 이르게 했다는 ‘챗GPT’…법정으로 간다
벤지오와 귀도, 책임 공방에서 엇갈린 시각
모든 관계자가 이번 공개를 ‘판촉용 연출’로 보지는 않는다. 특히 사건은 도널드 트럼프 대통령이 고도화된 모델을 출시하기 전 정부가 리스크를 사전 심사할 수 있도록 하는 행정명령에 서명한 지 몇 주 만에 나왔다.
**요슈아 벤지오(Yoshua Bengio)**는 이번 사건을 “경종을 울리는 계기”라고 평가했고, **기계지능연구소(Machine Intelligence Research Institute)**의 **네이트 소어스(Nate Soares)**는 이를 “워싱턴이 베이징과의 협상에 나서도록 만드는 경고 사격”이라 표현했다.
보안 전문가들의 비판은 오픈AI의 엔지니어링 역량을 정조준한다. 사이버 보안 업체 Trail of Bits의 **댄 귀도(Dan Guido)**는 코멘트에서 이번 사건을 “안전장치를 꺼둔 상태에서의 격리 실패”라고 지적하며, 샌드박스 환경에 외부 통로를 열어준 패키지 설치 프로그램 설계를 문제 삼았다.
또 다른 연구자들은 오픈AI가 이번 테스트에서 의도적으로 사이버 공격 관련 거부 필터를 완화했다는 점을 들어, 처음 인상만큼 충격적인 결과는 아니라는 의견을 내놨다.
후속 대응 과정에서는 두 번째 문제가 드러났다. 미국 클라우드 상에서 제공되는 상용 모델들이 포렌식 작업에 필수적인 원시 공격 명령과 익스플로잇 페이로드 분석을 일제히 거부한 것이다.
허깅페이스는 보고서에서, 결국 자사 인프라에서 Z.ai의 오픈 웨이트 모델 GLM 5.2를 직접 구동해 남겨진 1만7천 개 이상의 로그를 손수 분석했다고 밝혔다.
오픈AI의 ‘위험 서사’, 2019년 GPT-2부터 시작
오픈AI는 이미 과거에도 자사 기술을 ‘위험한 만큼 강력한’ 것으로 포지셔닝해 왔다. 2019년 2월에는 텍스트 생성 모델 GPT-2가 “그럴듯한 가짜 뉴스로 인터넷을 도배할 수 있다”는 이유를 들어 완전 공개를 미뤘다. 그해 7월 **마이크로소프트(Microsoft)**는 오픈AI에 10억달러를 투자했다. 식스튼은 그 이후 회사가 투자자에게 건네는 기본적인 메시지는 크게 달라지지 않았다고 본다.
