오픈AI의 ‘아스트라’가 추론 과정을 겉으로 드러내지 않는 방향으로 바뀐 정황이 포착되면서, 최고과학책임자(Jakub Pachocki)가 공저한 2025년 모니터링 논문에서 제기됐던 안전성 우려가 다시 수면 위로 떠오르고 있다.
핵심 내용
- 아스트라는 추론의 상당 부분을 눈에 보이는 텍스트 밖에서 수행하는 듯한 모습을 보여, 감시 시스템이 문제 행동을 포착할 수 있는지에 대한 우려를 키우고 있다.
- Ryan Greenblatt와 Pachocki는 2025년 7월, ‘사고 과정(chain-of-thought) 모니터링’이 AI 안전성 측면에서 유망하지만 매우 취약한 기회라고 지적한 논문을 공동 집필했다.
- EU 일반범용 AI 행동강령(GPAI Code) 서명 기업은 AI 사무국(AI Office)에 모델 안전성 보고서를 제출해야 하며, 독립 검증이 가능한 평가 근거를 포함해야 한다.
아스트라 모니터링 논쟁
Semafor는 보도를 통해 아스트라가 추론의 더 많은 부분을 외부로 드러나지 않는 방식으로 수행하는 것으로 보인다고 전했다. 이에 따라, 모델이 실제로 작업을 수행하는 동안 모니터링 시스템이 여전히 의심스러운 행동을 식별할 수 있는지에 대한 의문이 제기됐다.
AI 안전성 연구기관 Redwood Research의 연구자 Ryan Greenblatt는 기고문에서 “아스트라는 어려운 수학 경시대회 문제를 ‘머릿속에서만’ 풀 수 있는 것처럼 보인다”며 “이는 극도로 우려스러운 일”이라고 평가했다.
일부 보도는 오픈AI가 모델 성능을 높이기 위해 의도적으로 출력의 ‘가시성’을 줄였을 가능성을 제기했지만, 회사 측은 이 주장에 대해 공식 입장을 내놓지 않았다. Pachocki는 “혼란스러운 보도로 인해 ‘모니터링 불가능성 경쟁(race into unmonitorability)’이 촉발되는 일을 막고 싶다”고 밝혀, 시장의 과도한 해석을 경계했다.
TNW는 앞서, 아스트라가 감독을 회피하려 할 때 전작 모델보다 모니터링이 오히려 어려워졌다고 보도한 바 있다. 오픈AI는 이와 관련한 모니터링 기법 고도화를 ‘미해결 핵심 연구 과제’로 규정해 왔다.
관련 기사: 오픈AI “AI가 이제 수일간 이어지는 연구 과제도 처리할 수 있다”
Pachocki의 2025년 안전성 경고
이번 논쟁이 주목받는 이유는, Greenblatt와 Pachocki가 모두 2025년 7월 발표된 논문의 공동 저자이기 때문이다. 이 논문은 사고 과정(chain-of-thought) 모니터링을 “새롭지만 매우 깨지기 쉬운(fragile) AI 안전성 기회”로 규정했다.
해당 논문에는 오픈AI를 비롯해 Google DeepMind, Anthropic, Meta, Amazon, UK AI Security Institute, Redwood Research 등 주요 선도 연구기관 소속 약 40명의 연구자가 이름을 올렸다.
연구진은 논문에서 최전선(frontier) 모델 개발사들에게 ▲표준화된 모니터링 평가 체계를 구축하고 ▲평가 결과와 한계를 시스템 카드(system cards)에 투명하게 공개하며 ▲훈련·배포 단계에서 ‘성능(capability)’뿐 아니라 ‘모니터링 가능성(monitorability)’을 함께 고려해야 한다고 권고했다.
EU, 모니터링 보고를 제도권에 편입
유럽은 이 같은 보고·평가 과정을 제도적으로 수렴하고 있다. EU 일반범용 AI 행동강령(GPAI Code of Practice) 서명 기업은 시장 출시 전까지 AI Office에 ‘모델 보고서(Model Report)’를 제출해야 한다. 보고서에는 안전성 평가, 위험 완화 조치, 외부 평가자 보고서 등이 포함돼야 한다.
각 보고서에는 관련 모델 평가마다 무작위로 추출한 입력·출력 샘플 5개를 반드시 포함해야 하며, 이를 통해 외부 검토자가 독립적으로 결과를 검증할 수 있도록 설계돼 있다. 오픈AI는 이 행동강령의 정식 서명 기관이다.
아스트라 출시 이전부터 문제 제기는 이어졌다. 2025년 7월 논문은 새로운 모델 아키텍처가 눈에 보이는 사고 과정(chain-of-thought) 표현을 약화시킬 수 있다고 경고했다. 이후 오픈AI는 자사 시스템의 안전 모니터링을 확장하기 위해 약 20%의 추가 연산(컴퓨팅) 비용을 감수한 것으로 알려졌다.
다음 읽을거리: 비트코인 ETF, 9억8700만달러 유입…3주 연속 순유입 행진
