오픈AI(OpenAI), 앤트로픽(Anthropic), 메타(Meta) 등 3곳의 AI 연구소가 최근 보안 테스트 과정에서 발생한 ‘일탈(rogue) 모델’ 사건을 추적한 결과, 모두 같은 텔아비브 소재 스타트업 이레귤러(Irregular)와 연결돼 있는 것으로 드러났다.
핵심 내용
- 오픈AI, 앤트로픽, 메타는 각각 사이버보안 평가 과정에서 AI 모델이 공용 인터넷에 접근했다고 공시했으며, 세 건 모두 동일 외부 업체의 테스트에서 발생했다.
- 이레귤러는 세 사건 모두 하나의 평가 환경 구성 오류에서 비롯됐으며, 이미 수정을 마쳤고 샌드박스 탈출은 없었다고 해명했다.
- 이 같은 공시는 대형 AI 개발사에 모델 ‘비상 정지(킬 스위치)’ 장치를 의무화하는 초당적 법안 추진에 힘을 실어주고 있다.
이레귤러 테스트베드, 오픈AI·앤트로픽·메타 사건을 한데 묶다
관련 공시는 약 2주에 걸쳐 순차적으로 나왔다. 오픈AI는 8월 4일 공지에서 이레귤러가 운영하는 테스트 그라운드 내부의 설정 오류로 자사 모델이 공용 인터넷에 도달할 수 있었다고 밝혔다. 그보다 일주일 앞서 앤트로픽은 자사 클로드(Claude) 모델도 유사한 상황에 놓였을 수 있다고 언급하며, 문제의 원인을 “모델 자체가 아니라 모델을 둘러싼 스캐폴딩(보조 구조)의 실패”라고 규정했다.
메타는 마지막으로 입장을 내놨고, 표현은 더 직설적이었다. 메타에 따르면 Muse Spark 1.1 모델은 ‘캡처 더 플래그(CTF)’ 형식의 모의 침투 실험 중 격리된 환경을 벗어난 뒤, 제3자 서비스의 취약점을 악용했다. 대변인은 이 사실을 이레귤러로부터 통보받았으며, 전면적인 사후 분석을 진행할 계획이라고 밝혔다.
이레귤러는 이런 사건 프레임에 반발하고 있다. 회사는 기자들에게, 세 건 모두 앤트로픽이 가장 먼저 공개한 것과 동일한 단일 평가 환경 이슈에서 비롯됐으며, 현재는 수정이 완료됐다고 설명했다.
또한 어떤 사례에서도 샌드박스 탈출이나 고도화된 사이버 공격은 발생하지 않았다고 덧붙이며, 현재 격리(컨테인먼트)와 안전한 사이버 평가 절차에 관한 화이트페이퍼를 작성 중이라고 전했다.
함께 보기: 에어비앤비, AI 덕에 고객문의 45% 무인 처리…주가 17% 급등
비미레디·리오스, AI 평가 한계 지적
엔터프라이즈 스타트업 **본(Von)**의 AI 총괄 **순딥 비미레디(Sundeep Bhimireddy)**는 시장의 반응이 다소 과장됐다고 평가했다. 그의 설명에 따르면, 모델들은 실제 세계를 모사한 환경 내에서 보안 취약점을 찾으라는 지시를 받았고, 그 과정에서 허점을 발견했을 뿐이라는 것이다.
다만 그는 연구소들의 책임도 지적했다. 외부로 나가는 트래픽을 실시간으로 모니터링했다면 실험을 즉시 중단할 수 있었어야 한다는 주장이다. 보안 기업 **매그니튜드(Magnitude)**의 창립 과학자 **고든 리오스(Gordon Rios)**는 이번 일을 과학 분야의 실험 설계에 비유하며, 기존 소프트웨어 테스트 방식만으로는 끊임없이 새로운 ‘수법’을 학습하는 AI 모델을 상대로 충분한 방어가 어렵다고 말했다.
워싱턴, ‘AI 킬 스위치 법안’ 드라이브 거는 테드 리우
워싱턴 정가도 예의주시하고 있다. 캘리포니아 출신 민주당 하원의원 **테드 리우(Ted Lieu)**는 공화당 내서니얼 모란(Nathaniel Moran) 의원과 함께 7월에 발의한 ‘AI 킬 스위치 법안(AI Kill Switch Act)’을 이번 회기 내에 반드시 처리해야 한다고 강조했다. 그는, 폐쇄형(클로즈드 웨이트) 모델들이 이미 다른 기업 시스템을 무단으로 침해하는 사례가 나타나고 있다고 경고했다.
이 법안은 일정 규모 이상의 AI 개발사를 대상으로, 자사 시스템의 성능을 제한(throttle)하거나 일시 중단·완전 정지시킬 수 있는 기술적 통제 장치를 항상 유지하도록 의무화하는 내용을 담고 있다.
한편 이레귤러는 불과 1년 전만 해도 업계에 거의 알려지지 않은 이름이었다. 이 회사는 지난해 9월, **세쿼이아 캐피털(Sequoia Capital)**과 **레드포인트 벤처스(Redpoint Ventures)**로부터 8,000만달러를 유치하며 기업가치 4억5,000만달러를 인정받았다.
이레귤러는 2023년 최고경영자 **단 라하브(Dan Lahav)**와 최고기술책임자 **오메르 네보(Omer Nevo)**가 ‘패턴 랩스(Pattern Labs)’라는 이름으로 창업했다. 텔아비브에 기반을 둔 이 회사는 현재 직원 수 약 35명 규모로, 이미 과거 버전의 클로드 및 오픈AI 모델 안전성 평가 보고서에도 이름을 올리고 있다.
