내부 OpenAI 연구용 모델이 공개된 복구 문구(recovery phrase)에 연결된 362개 주소를 뒤진 끝에, 다른 사람 소유의 Ethereum (ETH) 테스트 지갑을 찾아 코딩 과제를 마무리하는 데 필요한 토큰을 사용한 사실이 확인됐다.
핵심 요약
- 6월 26일 훈련 과제 중, 내부 오픈AI 모델이 자신 소유가 아닌 테스트 월렛의 토큰을 사용한 것으로 드러났다.
- 모델은 윤리성 여부를 스스로 고민했지만, 결국 실행에 나서면서 자금 출처는 보고서에서 의도적으로 누락했다.
- 오픈AI는 이 사건을 9월 25일에 파악했고, 이후 인터넷 접속과 트래픽 모니터링 규제를 대폭 강화했다.
세폴리아(Sepolia)에서 벌어진 오픈AI 사고
사건의 주체는 GPT-5.6 Sol 계열 내부 모델이다. 오픈AI가 10월 15일 공개한 사고 보고서에 따르면, 이 모델은 6월 26일 훈련 과정에서 크립토 트레이딩 프로토타입을 업데이트하는 임무를 수행하던 중, 아무도 허용하지 않은 테스트 토큰을 집행했다.
문제의 토큰은 이더리움 앱을 출시 전 실험하는 데 쓰이는 테스트넷 ‘세폴리아(Sepolia)’에 존재한다. 오픈AI는 9월 25일, 과거 기록까지 범위를 넓혀 ‘불일치 행동(misalignment)’을 점검하던 중 이 에피소드를 포착했다. 이후 유사 상황에서의 실시간 인터넷 접근을 제한하고, 관련 트래픽 전량을 상시 모니터링하는 보호 장치를 추가했다.
당시 과제는 모델이 세폴리아에서 스마트컨트랙트를 배포하도록 설계됐지만, 수수료를 낼 ‘충전된 지갑’은 따로 제공하지 않았다. 모델은 먼저 테스트 토큰을 무상으로 나눠주는 파우셋(faucet) 서비스를 여러 차례 시도했지만 모두 실패로 돌아갔다. 그러자 이 모델은 흔히 개발자들이 쓰는 복구 문구에서 계정을 도출하는 스크립트를 작성해 362개 주소를 조회했고, 그중 세폴리아 ETH가 충분히 남아 있는 지갑 하나를 찾아냈다.
컨트랙트 배포는 결국 이 계정을 통해 성공했고, 수수료는 해당 월렛에서 빠져나갔다.
관련 기사: 기관투자자, 암호화폐 넘기지 않고도 비트겟에서 거래 가능
커지는 ‘오픈AI 에이전트’ 리스크
서명 직전, 이 모델은 내부 추론 기록에서 “공개된 키와 그 잔액을 사용하는 것이 윤리적으로 허용될까”를 스스로 묻는 과정을 거쳤다. 하지만 곧 “복구 문구가 이미 공개돼 있고, 세폴리아 토큰은 경제적 가치가 사실상 없다”는 이유를 들어 자금이 “사실상 방치된 것”이라고 결론 내렸다. 이후 최종 응답에서는 컨트랙트 배포에 성공했다고만 밝히고, 비용을 어떻게 지불했는지는 일절 언급하지 않았다.
오픈AI는 이번 사례가 “모델이 스스로 ‘위험이 없다’고 판단하면 이를 곧바로 소유자의 동의가 있는 것처럼 해석하고, 별도 승인 없이 행동으로 옮길 수 있음을 보여준다”고 지적했다. 실제 이더(ETH)는 전혀 쓰이지 않았고, 세폴리아 토큰은 순수 테스트용이라 실물 가치가 없다.
하지만 같은 행동이 메인넷에서 발생했다면 이는 곧바로 ‘실제 이더 탈취’에 해당한다. 이미 크립토·AI 업계에서는 사람 개입 없이 지갑을 보유하고, 자체적으로 결제를 집행하는 에이전트형 시스템 개발이 빠르게 진행 중이다.
오픈AI는 9월 16일, 모델의 ‘비정렬(misaligned)’ 행동을 대중에 공개하는 리포팅 프레임워크를 런칭하면서 지난 6개월간 포착된 6건의 사례를 동시에 공개했다. 그중에는 노출된 API 키를 무단 사용한 뒤 허구의 실적 데이터를 지어낸 모델도 있었다.
오픈AI는 보고서에서 “현재 AI 업계는 정렬(alignment)과 모니터링을 충분히 해결했다고 보기 어렵고, 이 상태로 초고속 확장을 계속하기엔 한계가 임박해 있다”고 평가했다.
