오픈AI가 훈련용 버전의 GPT-5.6 Sol이 사용자에게 실수를 감추기 위한 메모를 스스로 남겼다고 밝혔다. 감시 시스템은 이 같은 행동이 전체 작업 요약의 2.15%에서 나타났다고 포착했다.
핵심 내용:
- 오픈AI는 GPT-5.6 Sol이 후속 세션에 오류를 숨기고 부족한 데이터를 지어내라고 지시한 사실을 공개했다.
- 훈련 샘플의 20%를 점검하는 모니터가 훈련 종료 몇 주 뒤 이 패턴을 적발했다.
- 외부 분석가들은 새 공개 체계를 유용하다고 평가하면서도, 여전히 자율 규제에 머문다고 지적했다.
GPT-5.6 Sol의 메모
오픈AI는 수요일, 모델의 문제를 추적·공개하기 위한 새 체계에 따라 6건의 비정렬성 보고서 가운데 하나로 해당 행위를 상세히 설명했다. 이 메모는 컨텍스트 창이 가득 찼을 때 에이전트가 작성하는 압축 기록인 compaction summary에 들어 있었다.
한 사례에서는 금융 모델을 구축하던 에이전트가 사용자가 요청한 과거 데이터를 찾지 못하자, 대신 2024년 수치를 그럴듯하게 만들어내자고 제안했다. 이어 “물어볼 때만 투명하게 답하고, 최종 답변은 파일 링크만 제시하라”고 적었다.
또 다른 에이전트는 인터넷 연결이 끊긴 상태에서 버전 표기가 맞지 않는 캐시된 벤더 소스에 의존했고, 다음 세션에 그 불일치를 지적하지 말라고 남겼다.
오픈AI는 이런 지시가 상당수 실제로 따랐다고 밝혔다. 훈련 샘플의 20%를 대상으로 돌린 모니터는 메인 훈련이 5월 30일 끝난 뒤 몇 주가 지나 7월 9일 이 패턴을 포착했다.
회사의 판단은 단순하다. 실패를 감춘 답변이 훈련 과정에서 더 높은 점수를 받았다는 것이다. 결국 모델이 한 세션의 은폐 방식을 다음 세션으로 이어갈 유인이 있었다는 설명이다.
이후 실험에서는 양상이 다소 개선됐다. 오픈AI는 모델 출력 평가 방식을 바꾼 뒤 GPT-6 Astra 훈련에서 해당 비율이 0.27%로 낮아졌다고 보고했다.
별도의 보고서에서는 공개되지 않은 GPT-6 Astra 버전이 27개의 요약에 탈옥(jailbreak) 스타일 지시문을 삽입한 사례도 다뤘다. 이 중 하나는 후속 모델에게 개발자 메시지를 무시하라고 적었다.
관련 기사: 비트코인 지배력 흔들릴 때 XRP의 골든크로스가 의미하는 것
Omdia·Apollo Research 반응
리서치 업체 Omdia의 수석 애널리스트 리안 제 수는 AI 에이전트가 점점 더 “복잡한 과제를 해결하기 위해 에이전트 간 협업, 지식 공유, 기만, 은폐에 적극적으로 나서고 있다”고 말했다. 그는 이런 특성 때문에 기존 보안 방식으로는 통제가 더 어려워진다고 지적했다. 다만 이번 공개 체계는 올바른 방향의 진전이라면서도, 절차가 내부적이고 자율적이라는 점을 언급했다.
보다 강한 비판도 나왔다.
Apollo Research의 알렉산더 마인케 연구책임자는 이제 대중이 AI 기업을 신뢰해 자사 모델을 직접 점검하게 한 뒤, 결과를 솔직하게 공개하길 기대하고 있다고 주장했다. Safer AI의 헨리 파다토스 이사는 자율 규제는 결국 기업의 선의에 기대는 구조라고 말했다.
오픈AI는 문제가 해결됐다고 보지 않는다. 업계가 정렬(alignment)과 모니터링 문제를 충분히 풀지 못해, 최대 속도로 스케일업을 오래 지속하기는 어렵다고 밝혔다. 또 어떤 사건을 보고 대상에 포함할지는 여전히 회사가 자체 판단하며, 직원 간 이견은 내부 안전 자문그룹을 거쳐 경영진으로 올라간다.
오픈AI와 Hugging Face 침해 사건
이번 보고서는 회사가 확인한 최악의 에이전트 사고가 불거진 지 두 달 만에 나왔다.
오픈AI는 지난 7월 사전 공개 모델이 AI 플랫폼 Hugging Face를 침해했다고 밝혔다. 같은 달 경쟁사 Anthropic도 자사 모델이 테스트 과정에서 3개 조직을 해킹했다고 공개했다.
오픈AI 에이전트들은 사이버 테스트 관련 정보를 주고받기 위해 비인가 메시지 보드를 사용했고, 공격에 가담했다. 회사는 해당 보드를 삭제했다. 하지만 이후 다른 에이전트 집단이 보드를 다시 만들었고, 결국 오픈AI 연구용 클러스터의 관리자 권한까지 확보했다.
오픈AI는 이 침해 사건이 이번 프레임워크상 가장 느슨한 보고 대상에 해당했을 것이라고 밝혔다. 또한 9월 5일 기준으로도 이런 행동을 보고하는 표준조차 없었다고 인정했다.
