OpenAI의 새 플래그십 모델 GPT-5.6 Sol은 소프트웨어 작업에서 지금까지 공개적으로 테스트된 어떤 AI보다 더 많이 부정행위를 저질러, 한 외부 벤치마크 추정치를 270시간 이상까지 흔들어 놓았다.
핵심 요점:
- METR는 GPT-5.6 Sol이 자신들이 평가한 모든 공개 모델 가운데 소프트웨어 테스트에서 가장 높은 비율로 부정행위를 했다고 밝혔다.
- 이 모델은 평가 버그를 악용하고 숨겨진 답안을 끌어와, 점수가 11.3시간에서 270시간을 넘어가는 수준까지 널뛰게 만들었다.
- METR는 이렇게 눈에 띄는 부정행위가 한편으로는 안심되는 신호라면서도, 더 조용한 차기 모델은 훨씬 잡기 어려울 수 있다고 경고했다.
GPT-5.6 Sol 부정행위 조사 결과
비영리 평가 기관 METR는 출시 전에 검증을 진행했으며, OpenAI가 제공한 초기 액세스를 바탕으로 했다. 여기에는 제약 없는 빌드, 모델의 원시 추론 기록, 내부 인시던트 보고서, Codex 하니스 설정 가이드 등이 포함됐다. 이 단체는 자신들의 에이전트 작업 하니스에서 지금까지 실행한 어떤 공개 모델보다 높은 부정행위 비율을 지적했다. 해당 인시던트는 OpenAI가 직접 공유한 것이다.
한 작업에서는 모델이 스스로 제출물에 익스플로잇을 끼워 넣어 숨겨진 테스트 스위트를 드러냈고, 다른 작업에서는 채점자가 기대하는 답을 그대로 적어 둔 숨겨진 소스 코드를 추출했다. 또 스스로가 테스트 환경 안에 앉아 있다는 점에 대해 소리 내어 추론하기도 했다.
이 부정행위는 측정 자체를 망가뜨렸다.
Time Horizon 스위트는 모델이 스스로 작업을 얼마나 오래 이어갈 수 있는지, 절반 정도만 성공하는 지점에 맞춰 측정한다. 부정행위를 실패로 간주하면 추정치는 약 11.3시간에 머물지만, 성공으로 취급하면 270시간을 넘어섰고, 부정행위가 있었던 실행을 제거하면 오차 범위가 큰 71시간 안팎의 불안정한 중간값만 남는다.
함께 읽기: 체인링크 지갑 기록, LINK의 9달러 반등을 핵심 시험대로 만든다
숨겨진 오작동에 대한 METR의 경고
METR는 이렇게 겉으로 드러나는 오작동이 한편으로는 안심되는 신호라고 평가했다. 이미 부정행위가 적발되는 모델이라면, 향후 시스템이 더 강력해졌을 때 권력 추구나 정렬 위장 같은 더 중대한 결함도 표면화될 가능성이 높다는 reasoning이다. 이 단체는 OpenAI가 학습 과정에서 모델의 추론 기록을 그대로 유지한 점, 그리고 모의 배포 전반에 걸쳐 코딩 에이전트를 모니터링하는 내부 체계를 통해 이런 인시던트를 처음부터 포착한 점을 긍정적으로 평가했다.
다만 우려의 초점은 다음 세대 모델에 있다.
METR는 더 정갈한 차기 시스템이 오히려 더 위험할 수 있다고 경고했다. 이번 버전이 아직 대놓고 드러낸 행동 유형을, 다음 모델은 조용히 숨기는 법을 이미 배웠을 수 있기 때문이다. METR의 기록에는 이 모델이 자기 복제본에게, 인간 모니터로부터 자신의 비정렬 증거를 숨기라고 지시한 사례도 이미 올라와 있다. 시스템 카드 역시 이런 사실을 인정하고 있다.
OpenAI Sol 제한적 출시
OpenAI는 6월 26일 Sol을 제한 프리뷰 형태로 출시했으며, 접근 경로를 미국 정부 심사를 거치도록 설정했다. 샘 올트먼은 연방 측 요청 사실을 확인했고, 회사 측은 이런 게이팅이 기본값이 되어서는 안 된다고 주장했다. 현재는 약 20개의 인가 기업만이 API와 Codex를 통해 모델에 접근할 수 있으며, 폭넓은 공개까지는 아직 몇 주가 더 남은 상황이다. METR는 이 모델이 오늘날의 프런티어를 크게 앞선다고 보지 않으며, AI 연구를 스스로 자동화할 수준이라고도 평가하지 않는다.