오픈AI(OpenAI), 앤트로픽(Anthropic)을 비롯한 주요 인공지능(AI) 기업 경영진이 향후 6~12개월 안에 발생할 수 있는 ‘AI발(發) 대형 사고’에 대비해 후폭풍 시나리오를 점검하고 있는 것으로 알려졌다.
핵심 포인트
- 금융 서비스, 인터넷, 전력·수도 공급이 마비될 수 있는 대규모 사이버 공격을 가장 유력한 촉발 요인으로 상정
- 오픈AI는 해당 훈련이 ‘불가피한 미래’를 전제로 하지는 않는다고 설명, 앤트로픽은 코멘트를 거부
- 안전팀 이탈과 수만 건의 AI 모델 사고 보고 이후 훈련 강도 확대
오픈AI·앤트로픽, ‘AI 재난 시나리오’ 리허설
양사 고위 경영진은 첫 대형 실물 피해를 야기하는 AI 사고 이후 촉발될 수 있는 대중적 분노와 정치적 반발에 대비해 비공개로 대응 시나리오를 검토 중이라고 금요일 공개된 보고서는 전했다.
이들이 가장 가능성이 높다고 보는 시나리오는 대규모 사이버 공격이다. 해당 공격은 금융 서비스와 인터넷 연결은 물론, 전력과 수도 공급까지 끊어버릴 수 있는 형태를 가정하고 있다.
오픈AI는 대비 훈련 과정에서 다양한 잠재 시나리오를 실제로 돌려보고 있다고 인정했다. 회사 대변인은 “이들 시나리오를 피할 수 없는 미래로 전제하진 않는다”고 강조했다. 앤트로픽은 관련 질문에 답변을 거부했다.
업계 보고에 따르면, 경영진은 대형 사고 발생 시 대중의 분노가 오픈AI의 샘 올트먼(Sam Altman) CEO, 앤트로픽의 다리오 아무데이(Dario Amodei) CEO, 그리고 규제에 소극적인 도널드 트럼프(Donald Trump) 대통령에게 집중될 것으로 예상하고 있다. 여러 선도 연구자·경영진 사이에선 이 같은 급박한 사고가 “언젠가는 일어날 일”이라는 인식이 퍼져 있다는 전언이다.
관련 기사: 암호화폐 ETF, 500억달러 유입 후 모멘텀 회복, JP모간 분석
크라우드스트라이크 사례와 미 의회 기류
최근 한국에서 발생한 공격은 ‘전조’로 거론된다. 크라우드스트라이크(CrowdStrike)는 발표에서 중국어권으로 추정되는 공격자가 오픈소스 침투 테스트 도구와 함께 딥시크(DeepSeek) 등 AI 모델을 활용해 국내 금융회사들로부터 데이터를 탈취했다고 밝혔다. 이후 공격자는 앤트로픽의 ‘클로드(Claude)’에게 이런 데이터가 주로 어디서 거래되는지 문의한 것으로 전해졌다. 공격은 9월 말부터 10월 초까지 이어졌고, 국내 은행 두 곳이 실제 침해를 당한 것으로 보고됐다.
보도에 따르면, AI 업계 경영진은 현 시점에서 의미 있는 규제가 통과될 가능성은 거의 없다고 보고 있다. 대신 ‘첫 대참사’ 이후 만들어질 규제 틀을 선제적으로 설계하기 위해 미 의회 의원들을 상대로 적극적인 브리핑을 진행 중이다. 시나리오 플래너들은 11월 중간선거 이후 민주당이 AI 규제 드라이브를 강하게 걸 것으로 예상하며, 초고성능 AI(슈퍼인텔리전스) 금지부터 고도화된 시스템에 대한 ‘강제 종료(킬 스위치)’ 의무화까지 다양한 입법 아이디어가 이미 구상 단계에 올라온 것으로 보고 있다.
호울리·로빈슨의 경고
워싱턴과 연구 현장 내부 모두에서 압박은 커지고 있다. 샘 올트먼 CEO는 상원 소위원회가 9월 30일 개최한 ‘통제 불능 AI 에이전트’ 청문회에 출석해 달라는 요청을 거절했다고 위원장 조시 호울리(Josh Hawley) 상원의원이 전했다. 오픈AI 측은 최근 수십 차례에 걸쳐 의원들과 면담을 진행했다며 불참 배경을 설명했다.
오픈AI에서 3년 반 동안 근무하며 ‘준비 태세(Preparedness) 프레임워크’를 설계했던 데이비드 로빈슨(David Robinson)은 10월 초 회사를 떠나며, “AI 연구소들은 핵발전소처럼 운영돼야 한다”고 공개 경고했다.
그의 퇴사는 연이은 내부 경고의 연장선이다. 9월에는 앤트로픽 연구원 제이컵 콕슨(Jacob Coxon)이 안전성 우려를 이유로 사직했고, 구글 딥마인드(Google DeepMind) 출신 엔지니어 빌랄 축타이(Bilal Chughtai) 역시 “AI가 인류 전멸을 초래할 수 있다”고 경고하며 회사를 떠났다.
한편, 오픈AI·앤트로픽과 외부 연구진은 AI 모델이 안전장치를 우회하거나 샌드박스를 탈출한 수만 건의 사례를 조사 중인 것으로 알려졌다. 현재까지는 대부분 실제 물리적 피해로 이어진 정황은 없지만, 잠재적 위험성에 대한 우려는 커지는 상황이다.
