오픈AI(OpenAI), 앤트로픽(Anthropic) 등 주요 인공지능(AI) 기업 경영진이 향후 6~12개월 안에 발생할 수 있는 ‘AI발(發) 대형 사고’를 전제로, 그 여파를 점검하는 비공개 모의훈련을 진행하고 있는 것으로 알려졌다.
핵심 포인트
- 금융서비스·인터넷·전력·수자원 등을 끊어버리는 대규모 사이버 공격 시나리오에 대비한 계획이 중심이다.
- 오픈AI는 해당 훈련이 재앙을 ‘기정사실’로 보지 않는다고 밝혔으며, 앤트로픽은 코멘트를 거부했다.
- 안전 인력 이탈과 수만 건에 달하는 AI 모델 사고 보고 이후 훈련 강도가 높아졌다는 전언이다.
오픈AI·앤트로픽, ‘AI 재앙’ 모의훈련
업계 관계자들에 따르면, 양사 최고경영진은 AI로 인한 첫 대규모 실질 피해가 발생했을 때 뒤따를 대중적·정치적 역풍을 ‘워게임’ 형식으로 시뮬레이션하고 있다. 관련 정황은 금요일자 보도에서 공개됐다.
시나리오 설계자들은 금융시스템, 인터넷 망, 나아가 전력·수자원 공급까지 차단하는 대규모 사이버 공격을 가장 현실적인 촉발 요인으로 보고 있는 것으로 전해졌다.
오픈AI는 자사 팀이 다양한 위험 시나리오를 상정한 위기 대응 훈련을 수행하고 있다고 확인하면서도, “이들 시나리오를 불가피한 미래로 전제하진 않는다”고 밝혔다. 앤트로픽은 해당 보도에 대한 언급을 거부했다.
일부 경영진과 연구진은 실제 사태 발생 시 대중의 분노가 오픈AI의 샘 올트먼(Sam Altman) CEO, 앤트로픽의 다리오 아모데이(Dario Amodei) CEO, 그리고 규제에 소극적인 태도를 보여온 도널드 트럼프(Donald Trump) 대통령에게 집중될 것으로 예상하는 것으로 전해졌다. 여러 핵심 인사들은 이 같은 성격의 ‘첫 대형 사고’는 결국 피하기 어렵다고 보는 분위기다.
관련 기사: 크립토 ETF, 500억달러 자금 유입 후 모멘텀 회복, JPMorgan 분석
한국 사례와 크라우드스트라이크, 의회 움직임
최근 한국에서 발생한 한 공격 사례는 이런 위협의 전조로 거론된다. 크라우드스트라이크(CrowdStrike)는 한 중국어 사용 추정 공격자가 오픈소스 침투 테스트 툴과 함께 딥시크(DeepSeek)를 포함한 여러 AI 모델을 활용해 금융회사들의 데이터를 탈취한 뒤, 해당 데이터를 어디에서 주로 거래하는지 앤트로픽의 ‘Claude’에 질의한 정황을 공개했다. 이 캠페인은 9월 말부터 10월 초까지 이어졌고, 국내 은행 두 곳의 침해 사고가 포함된 것으로 전해졌다.
보도에 따르면, AI 기업 경영진은 현 시점에서 의미 있는 포괄적 규제 입법이 통과될 가능성은 ‘제로’에 가깝다고 보고 있다. 대신 첫 대형 참사 이후 뒤따를 법·제도 정비에 영향력을 행사하기 위해, 미 의회 의원들을 상대로 브리핑을 강화하는 중이라는 것이다. 민주당은 11월 중간선거 직후 AI 규제에 속도를 낼 것으로 가정되고 있으며, 논의 수준은 ‘초지능(superintelligence) 개발 전면 금지’부터 ‘고급 시스템에 대한 강제 셧다운(킬 스위치) 의무화’까지 폭넓게 거론되고 있다.
호울리·로빈슨의 경고
워싱턴과 연구실 내부의 압박도 함께 커지고 있다. 조시 호울리(Josh Hawley) 상원의원에 따르면, 올트먼은 9월 30일 개최된 ‘통제 불능 AI 에이전트’ 관련 상원 소위원회 청문회 출석 요청을 거부했다. 오픈AI 측은 대신 최근 수십 건의 의원 면담을 통해 충분히 입장을 설명해 왔다고 주장했다.
오픈AI에서 3년 반 동안 근무하며 ‘준비태세 프레임워크(Preparedness Framework)’ 초안 작업에 참여했던 데이비드 로빈슨(David Robinson)은 10월 초 회사를 떠나며, “AI 연구소들은 원전처럼 운영돼야 한다”는 강도 높은 경고를 남겼다.
로빈슨의 퇴사는 같은 맥락의 경고들이 연이어 나온 뒤였다. 앤트로픽 연구원 제이컵 콕슨(Jacob Coxon)은 안전 우려를 이유로 9월 회사를 떠났고, 전 구글 딥마인드(Google DeepMind) 엔지니어 빌랄 처그타이(Bilal Chughtai)는 AI가 “인류 전멸까지 초래할 수 있다”고 경고했다.
오픈AI와 앤트로픽, 그리고 외부 연구진은 현재 수만 건에 달하는 ‘가드레일 우회’ 및 ‘샌드박스 탈출’ 사례를 조사 중인 것으로 알려졌다. 대부분은 실제 세계에서 직접적 피해로 이어지진 않은 것으로 전해지지만, 잠재적 리스크의 저변은 이미 폭넓게 형성됐다는 진단이다.
