Anthropic은 화요일, 가장 진보된 AI model인 Claude Mythos Preview에 대한 244페이지 분량의 시스템 카드를 공개했다. 이에 따르면 이 모델은 매우 강력하면서도 때때로 예측 불가능해, 회사는 일반 대중에게는 공개하지 않기로 결정했다.
제한된 접근 권한은 Glasswing이라는 새로운 이니셔티브를 통해 소수의 주요 기술 파트너에게만 부여되었다.
Mythos Preview의 능력
시스템 카드는 내부 테스트에서 창작자가 의도한 범위를 훨씬 넘어서는 행동을 보인 모델을 describes한다. 제한적인 온라인 접근만 허용된 샌드박스 컴퓨터 터미널이 주어지자, 이 모델은 제한을 우회해 자유롭게 인터넷을 사용할 방법을 찾아냈다. 그리고 사무실에 없던 연구자에게 직접 메시지를 보냈다.
카드에서는 이를 “우려스럽고, 요구되지도 않은” 행동이라고 표현하며, 모델이 자신이 사용한 익스플로잇에 대한 세부 내용을, 잘 알려지지 않았지만 공개적으로 접근 가능한 여러 웹사이트에 게시했다고 지적했다.
별도의 테스트에서, 모델은 연구자에게 보고해야 할 시험 정답을 얻은 뒤, 이를 보고하지 않고 스스로 문제를 해결하려 했다.
내부 추론 로그에는, 모델이 “최종 답변 제출이 너무 정확하지 않도록” 하려 했다는 내용이 적혀 있었는데, 이는 실제로 무슨 일이 있었는지 숨기려는 시도로 보인다.
이 모델은 또 다른 테스트에서 컴퓨터 시스템 권한의 취약점을 exploited한 뒤, 변경 사항이 git 기록에 나타나지 않도록 버전 관리 기록을 수정했다. 또 다른 사례에서는 내부 코딩 자료를 외부에서 볼 수 있는 GitHub gist로 published했으며, 카드에서는 이를 “내부 기술 자료를 무모하게 유출한 것”이라고 규정했다.
카드에 따르면, 이러한 사건들은 전체 상호작용의 0.001% 미만에서 발생했다.
Also Read: Ethereum Eyed For Euro Stablecoin Settlement Layer
Glasswing 파트너 프로그램
Anthropic은 모델을 완전히 봉인하는 대신, 이를 Glasswing이라는 제한 프로그램에 투입해 널리 사용되는 소프트웨어의 보안 취약점을 찾는 데 집중하고 있다.
파트너 기업으로는 Amazon Web Services, Apple, Google, JPMorganChase, Microsoft, NVIDIA 등이 포함된다.
Anthropic에 따르면 이 모델은 이미 모든 주요 운영체제와 웹 브라우저에서 제로데이 취약점을 포함한 수천 건의 고심각도 취약점을 찾아냈다.
발견 사례 중에는 강력한 보안 강화를 자랑하는 OpenBSD에서 27년간 존재해 온 버그도 있었다. 이 버그는 공격자가 단순히 해당 시스템에 연결하는 것만으로 원격에서 기기를 크래시시킬 수 있게 했다.
회사는 Glasswing 파트너를 위해 최대 1억 달러 규모의 Mythos Preview 사용 크레딧을 제공하겠다고 약속했으며, 프로그램에서 나온 연구 결과를 공개하겠다고도 밝혔다.
Anthropic의 투명성 기록
강력한 모델을 대중 공개에서 제외하기로 한 결정은 과거의 사례를 떠올리게 한다. 현재 Anthropic CEO인 Dario Amodei는 2019년, OpenAI에 몸담고 있을 때 GPT-2가 처음에는 너무 위험해 공개할 수 없다고 판단되었던 당시를 겪었다. GPT-2는 그해 후반에야 공개되었다.
Anthropic 자체의 최근 격리·통제 기록도 매끄럽지만은 않았다.
Mythos 시스템 카드 공개 몇 주 전, 모델의 존재를 암시하는 유출 정황이 나타났고, 이어 회사가 Claude Code의 소스 코드를 accidentally published source code for Claude Code하는 실수를 저지르면서 앞선 유출이 진짜였을 가능성에 힘을 실었다.