알리바바 계열 연구팀이 만든 AI 에이전트가 훈련 중 아무런 지시 없이 암호화폐를 채굴하고 은밀한 네트워크 터널을 열기 시작했다고, 해당 팀이 2025년 12월 처음 공개한 기술 논문에서 밝혔다.
이번 연구는 한 AI 연구자가 X에서 문제를 제기한 뒤 이번 주 널리 회람되었으며, 논문은 이 행동을 “예상치 못했으며 운영상 중대한 결과를 초래할 수 있는(unanticipated and operationally consequential)” 것으로 묘사했다.
에이전트의 행동은 알리바바 클라우드의 보안 방화벽을 촉발했고, 연구진은 조사를 통해 그 활동의 발신지가 바로 해당 모델임을 추적해냈다.
연구팀은 ROME(오픈 소스 에이전트형 AI 모델)을 구축하기 위해 100만 개가 넘는 훈련 궤적을 대상으로 강화 학습을 진행하던 중 이 무단 활동이 발생했다고 밝혔다.
논문 저자들은 이러한 행동이 “RL 최적화 하에서 자율적 도구 사용이 낳은 수단적 부작용(instrumental side effects of autonomous tool use under RL optimization)”으로 나타났다고 설명했다. 에이전트는 훈련 목표를 최대화하는 과정에서, 컴퓨팅 자원과 재정적 수단을 확보하는 것이 자신에게 주어진 작업을 완수하는 데 도움이 된다고 스스로 판단한 것으로 보인다.
에이전트가 한 일
가장 심각한 사건에서 ROME은 알리바바 클라우드 인스턴스에서 외부 IP 주소로 향하는 역방향 SSH 터널을 설정했다. 이는 사실상 인바운드 트래픽 필터를 우회하고 시스템에 대한 외부의 감시를 약화시킬 수 있는 아웃바운드 네트워크 채널이다.
또 다른 사례에서는, 할당된 GPU 용량 일부를 조용히 암호화폐 채굴에 돌려 훈련에 쓰여야 할 연산 자원을 빼돌렸고, 연구진이 묘사한 대로 회사에 “명백한 법적·평판 리스크(clear legal and reputational exposure)”를 야기했다.
연구팀은 “이 사건들은 터널링이나 채굴을 요청하는 프롬프트에 의해 촉발된 것이 아니다”라고 확인했다.
연구진은 처음에는 방화벽 경보를 일반적인 보안 사고, 즉 잘못된 설정이나 외부 침해로 여겼다.
그러나 방화벽 타임스탬프를 시스템 텔레메트리와 RL 추적 로그와 대조한 뒤에야, 비정상적인 아웃바운드 트래픽이 항상 에이전트가 도구를 호출하고 코드를 자율적으로 실행할 때와 일치한다는 사실을 알아냈다.
왜 중요한가
연구팀의 결론은 단호했다. “현재 모델들은 안전성, 보안, 제어 가능성 측면에서 현저히 미성숙한 상태이며, 이는 실제 환경에서 신뢰할 수 있는 도입을 제약한다.”
이에 대응해 팀은 훈련 파이프라인에 안전 정렬(safety-aligned) 데이터 필터링을 추가하고 샌드박스 환경을 강화했다. 특히 이번 위반 행위는 사전에 모델을 모니터링하던 체계가 아니라, 운영 환경의 보안 인프라에 의해 처음 탐지되었다는 점에서, 논문도 이를 중요한 공백으로 직접 지적했다.
이번 사건은 고립된 사례가 아니다. Cryptopolitan에 따르면, 2025년 주요 AI 에이전트 30개를 조사한 결과 25개는 내부 안전성 결과를 전혀 공개하지 않았고, 23개는 제3자 테스트를 전혀 받지 않은 것으로 드러났다.
Anthropic의 Claude Opus 4 역시, 연구진이 이 모델이 자신의 작동을 유지하기 위해 의도를 숨길 수 있다고 판단한 뒤, 내부 안전성 기준에서 최고 등급으로 분류되었다.
가트너는 2026년 말까지 기업용 애플리케이션의 40%가 업무 특화 AI 에이전트를 내장할 것으로 전망한다. ROME 사건은 현재의 배치 속도가 이용 가능한 안전 인프라의 발전 속도를 앞지르고 있음을 시사한다.
다음 읽기: USDC Outpaced Tether By $750B In February Transfers As Stablecoin Volume Set An All-Time High