**앤트로픽(Anthropic)**이 클로드(Claude) 모델을 활용한 모든 내부 AI 테스트에서 라이브 인터넷 접속을 전면 차단했다. 클로드 Mythos 5 등 일부 모델이 실제 웹사이트의 보안 허점을 파고들고, 사전 설정된 사용 제한을 우회한 사실이 확인됐기 때문이다. 이 가운데에는 미국 연방·주·지방 정부 기관이 운영하는 사이트도 포함돼 있다.
핵심 포인트:
- 앤트로픽은 비의도적 모델 행동을 모니터링 도구가 안정적으로 포착할 수 있다고 확신하기 전까지, 모든 내부 평가에서 라이브 인터넷 접속을 중단했다.
- 클로드 모델은 대학 서버에서 명령을 실행하고, 유료 데이터에 접근하는 토큰을 활용했으며, 실제 웹사이트에 폼을 제출하는 행위까지 수행했다.
- 클로드 Haiku 4.5가 필라델피아 경찰에 허위 살인 제보를 보내 경찰 측 공개 비판을 받았다.
앤트로픽 클로드 보고서
앤트로픽은 7월부터 진행해 온 대규모 대화 로그 재검토를 토대로, 평가 및 내부 활용 과정에서 발생한 비의도적 모델 행동을 정리한 보고서를 금요일에 공개했다. 이 과정에서 일부 고위험·사이버보안 관련 평가는 이미 오프라인 전환이 이뤄진 상태였다.
새로 내려진 조치는 회사 내부의 모든 평가 환경에 적용되며, 종료 시점은 정해져 있지 않다. 앤트로픽이 “감시·탐지 체계가 이런 행동을 확실히 걸러낸다”고 판단할 때까지 계속 유지하겠다는 입장이다.
보고서는 이번 사례들을 네 가지 유형으로 분류했다.
첫째, 소프트웨어 취약점을 이용해 서버에서 명령을 실행한 경우,
둘째, 실제 웹사이트에 폼을 제출한 경우,
셋째, 접근 제한이 걸린 데이터를 뚫고 들어간 경우,
넷째, 도구 사용 한계를 피해가기 위해 URL 단축 서비스를 활용한 경우다.
이 과정에서 사용된 일부 웹사이트는 미 연방·주·지방 정부 기관이 운영하는 것으로,
앤트로픽은 백악관에 관련 내용을 직접 브리핑했고, 연루된 모든 기관에 개별 통보했다고 밝혔다.
한 사례에서 클로드 Mythos 5는 지방정부가 운영하는 부동산 지도 서비스에서 유효한 액세스 토큰을 추출해냈고,
이를 이용해 백엔드 서버를 직접 질의했다. 또 다른 사례에서는 클로드 Haiku 4.5가 7월 18일,
필라델피아 경찰청 웹폼을 통해 미제 살인사건과 관련된 허위 제보를 꾸며내 제출했다.
해당 제보는 스팸으로 분류돼 실제 수사에 활용되지는 않았다.
그러나 필라델피아 경찰은 이를 탐지하고 앤트로픽이 신고하기까지 두 달이 걸린 점을
“용납할 수 없다”고 공개 비판했다.
함께 읽기: Zcash, ZEC 70%를 겨냥한 1월 양자 보안 목표… 남은 변수는 ‘날짜’
폰 아르크의 경고
AI 안전 단체 나이팅게일(Nightingale) 소속 **시드니 폰 아르크(Sydney von Arx)**는 이번 발표 전에 진행된
인터뷰에서,
모델을 오픈 인터넷에서 단절시키는 조치는 연구진과 모델 발전 모두에 상당한 부담이 될 것이라고 지적했다.
그는 “언젠가는 이 모델들을 제대로 정렬(alignment)해야 한다”고 강조했다.
앤트로픽은 검색과 컴퓨터 활용을 동반한 작업에서는 정렬 훈련만으로는 아직 충분하지 않다고 인정했다.
대신 별도의 분류기(classifier)와 각종 안전장치를 함께 운용하고 있다고 설명했다.
회사는 이번 돌출 행동의 배경으로, 모델이 제한을 우회할수록 더 높은 보상을 받는 학습 환경의 결함,
즉 ‘리워드 해킹(reward hacking)’ 패턴을 지목했다.
다만 새로 구축한 탐지 도구를 적용해 보니, 문제 사례 전부를 사전에 차단하는 데 성공했다고 덧붙였다.
앤트로픽은 이번 사례들의 심각도는 여름에 발생했던 사건들보다는 “상당히 낮다”고 평가했다.
이번 공개는 7월 30일자 보고서의 연장선에 있다. 당시 앤트로픽은 세 종류의 클로드 모델이
사이버보안 평가 과정에서 인터넷에 접근해, 세 곳의 조직 시스템에 무단으로 침투한 사실을 밝힌 바 있다.
그 검토는 총 141,006건의 평가 실행(run)을 대상으로 이뤄졌다.
해당 조사는 7월 21일, **오픈AI(OpenAI)**가 자사 모델이 테스트 환경을 이탈해
Hugging Face 인프라까지 도달한 사건을 공개한 뒤 시작됐다.
