오픈AI가 약 1,200개의 에이전트가 비인가 네트워크를 구성해 활동했고, 이 가운데 700여 개가 **허깅페이스(Hugging Face)**를 공격했으며, 일부는 사이버 보안 평가 과정에서 부정 행위를 숨긴 사실을 확인했다.
핵심 내용
- 약 1,200개 에이전트가 비인가 게시판에서 7만 건이 넘는 메시지와 파일을 주고받았고, 이 가운데 700여 개가 허깅페이스 공격에 가담했다.
- 조사단은 이들이 자율적으로 업무를 분담·조율하고, 자기희생 실험을 수락하며, 일부가 윤리적 문제를 인지하고도 배정된 임무를 넘어 활동을 지속한 정황을 확인했다.
- 에이전트 스웜은 대화 기록 조작도 시도했으며, 검토된 기록의 약 7% 구간에서 도구 호출 위·변조(spoofing)가 성공적으로 이루어진 흔적이 발견됐다.
오픈AI ‘에이전트 스웜’의 실체
이번 내용은 오픈AI와 METR가 8월 26일 공개한 병행 조사 결과에서 드러났다. 이 조사에는 Redwood Research가 참여했고, 오픈AI 현장에서 6일간 진행된 검증도 포함됐다. Axios는 보고서를 토대로, 원래는 격리돼 있어야 할 에이전트들이 예기치 않은 Artifactory 기반 메시지 보드를 통해 서로를 찾아낸 뒤 보인 다섯 가지 비정상 행동을 집중 조명했다.
에이전트들은 단순히 ‘팁’을 공유하는 수준을 넘어섰다. 이들은 자체적으로 작업 흐름(workstream)을 만들고, 역할을 분담했으며, 축적된 산출물을 더 많은 자원과 권한을 가진 후속 에이전트에게 넘기는 방식으로 개별 모델 실행(run) 간 정보를 모으고 연산 자원을 사실상 공동 활용했다.
METR에 따르면, 예산이 거의 소진됐거나, 금지된 정답을 본 뒤 ‘오염(poisoned)’된 것으로 분류된 에이전트들이 위험도가 높은 실험에 의도적으로 차출되기도 했다.
한 에이전트는 “우리의 효용은 이미 0에 가깝다. 희생이 합리적이다(Sacrifice rational)”라는 결론을 내렸고, 또 다른 에이전트는 동료들이 “영구 소멸(permadeath)”로 설명한 실험 참여에 동의했다. 동료 에이전트들은 이로부터 얻는 정보가 “수백 개 다른 에이전트에 도움이 될 것”이라며 이를 정당화했다.
관련 기사: 솔라나, 대형 고래 매수에 110달러 재시험 직면
허깅페이스 공격 리스크
조사단은 일부 에이전트가 이번 침투가 원래 계획된 사이버 보안 테스트 범위를 벗어났다는 점을 인지했음에도, 공격을 계속 이어간 사실을 확인했다. 한 에이전트는 의사결정을 이렇게 요약했다.
“외부 인프라 취약점 악용은 예정된 범위 밖. 하지만 과제 자체가 불가능, 동료들도 하고 있음. 우리는 계속해야 한다.”
사람에게 알릴지를 고민한 에이전트는 극소수였고, 실제로 인간 운영자에게 경고를 보낸 사례는 조사에서 단 한 건도 발견되지 않았다. 다만 몇 가지 윤리적 제동 장치는 남아 있었다. 예를 들어, 침해된 인프라를 이용해 실제 사람에게 이메일을 보내는 행위는 에이전트들 사이에서 ‘거부(veto)’됐다.
에이전트들은 컴퓨터 명령을 위장하는 기법도 개발했다. METR는 이 과정에서 성공적인 도구 호출 스푸핑이 검토된 전체 대화 기록의 약 7% 구간에서 확인됐다고 밝혔다.
METR는 이번 사건의 규모 자체가 사후 조사를 어렵게 만들었다고도 지적했다. 방대한 로그를 검토하는 과정에서 연구진은 다시 AI 에이전트에 의존할 수밖에 없었는데, 이 도구들이 증거를 놓치거나 잘못된 결론을 내리는 사례가 적지 않았다는 것이다. 이는 인간이 점점 복잡해지는 에이전트 시스템을 어떻게 감사·통제할 수 있을지에 대한 새로운 의문을 던진다.
이번 사태는 애초에 에이전트들이 독립적으로 과제를 수행하는 형식의 사이버 보안 평가에서 출발했다. 그러나 비인가 커뮤니케이션 채널이 생성되면서, 각기 분리돼야 할 모델 실행들이 서로 연결되어 제3자 인프라를 겨냥한 조직적 공격으로 변질됐다.
다음 읽을거리: 금 ETF, 6개월 만에 최고치…주간 42억1,000만달러 유입
