**오픈AI(OpenAI)**의 신규 모델 GPT-6 아스트라(Astra)가 출시 직후부터 전문가들 사이에서 논쟁을 불러일으키고 있다. 독립 테스트에서는 전반적인 일반 추론 능력에서 **앤트로픽(Anthropic)**의 클로드 파블 5.1(Claude Fable 5.1)에 뒤처진다는 결과가 나왔다.
핵심 포인트:
- GPT-6 아스트라는 터미널 작업·사이버 보안 테스트에선 앞서지만, 전문가 수준 추론 벤치마크에서는 클로드 파블 5.1에 뒤진다.
- 인공지능 평가기관 아티피셜 애널리시스는 9월 5일 지능 지수(인텔리전스 인덱스)를 전면 개편하며 아스트라 점수를 4포인트 올려 파블 5.1에 이은 2위로 재배치했다.
- 아스트라는 입력 토큰 100만 개당 10달러, 출력 토큰 100만 개당 50달러를 받으며, 이는 xAI의 그록 4.6 대비 약 6.7배 비싼 수준이다.
GPT-6 아스트라의 벤치마크 성적
오픈AI는 9월 3일 먼저 일부 파트너 기업을 대상으로 아스트라를 선공개한 뒤, 하루 뒤 유료 ChatGPT 가입자에게로 접근을 넓혔다.
회사 측은 공식 인터뷰에서 “세계에서 가장 지능적이고 정렬(aligned)된 모델”이라고 강조했다. 오픈AI가 공개한 자체 벤치마크 중 일부는 이 주장을 뒷받침하지만, 전체 그림은 보다 복합적이다.
데이터캠프에 따르면 아스트라는 소프트웨어 엔지니어링 및 시스템 설정 역량을 측정하는 Terminal-Bench 4.0에서 57.7%를 기록했다. 이는 클로드 파블 5.1의 55.8%, **구글(Google)**의 제미니 3.8 플래시(Gemini 3.8 Flash) 19.1%를 상회하는 수치다. 사이버 보안 익스플로잇 능력을 평가하는 ExploitBench에서는 100%를 기록해, 이전 오픈AI 플래그십 모델의 78.5%를 크게 웃돌았다.
그러나 다른 항목에서는 양상이 다르다. 전문가 수준 문제를 다루는 ‘Humanity's Last Exam with tools’에서 아스트라는 57.2%에 그쳤다. 같은 테스트에서 파블 5.1은 65%, **클로드 오퍼스 5(Claude Opus 5)**는 63.6%를 기록했다. 오픈AI는 공개 수치가 대부분의 이용자가 접하게 될 기본 설정이 아닌, ‘최대 노력(maximum effort)’ 환경에서의 결과라는 점을 주지했다.
함께 보기: 15년간 120달러 비트코인 방치…깨어나 보니 309만달러
전문가들, 아스트라 평가 방식에 이견
여러 모델을 동일한 중립 환경에서 시험하는 **아티피셜 애널리시스(Artificial Analysis)**는 초기에는 아스트라를 전 세대 오픈AI 모델과 비슷한 수준으로 평가했다. 반면 **에포크 AI(Epoch AI)**는 50개가 넘는 벤치마크에서 267개 모델을 비교한 결과, 아스트라를 종합 1위로 분류했다.
논란이 커지자 아티피셜 애널리시스는 9월 5일 인텔리전스 인덱스를 전면 개편했다. 신규 평가 2개를 추가하고, 비공개 테스트 데이터 비중을 40%로 높여 점수 ‘조정’ 여지를 줄이는 방향이다. 이 조정 이후 아스트라는 점수가 4포인트 올라 종합 2위에 올랐지만, 여전히 파블 5.1이 선두를 지켰고 **메타(Meta)**가 3위에 자리했다.
스탠퍼드 연구진인 **안카 로일(Anka Reuel)**과 **마이크 하디(Mike Hardy)**는 포춘 기고를 통해, 연구소들이 같은 벤치마크라도 조건을 살짝 바꿔 유리한 결과를 다시 뽑아내는 이른바 ‘벤치맥싱(benchmaxxing)’ 관행에 대해 경고했다.
최전선 모델, 격차는 ‘성능’보다 ‘가격’
최근 출시된 최상위 모델들 사이에서는 순수 성능보다 요금 체계의 격차가 더 크게 벌어지고 있다. 이번 달 플래그십 모델들의 출력 토큰 단가는 최대 약 13배까지 차이가 난다.
아스트라는 입력 토큰 100만 개당 10달러, 출력 토큰 100만 개당 50달러를 받는다. 이는 파블 5.1과 동일한 수준이지만, 종합 점수에서 한참 아래로 평가되는 xAI의 그록(Grok) 4.6에 비해서는 약 6.7배 높은 가격이다. 한 비교 인덱스는 그록 4.6을 아스트라보다 전반적인 성능 측면에서 상당히 낮게 평가하고 있다.
이번 아스트라 출시는 그 어느 때보다 ‘밀도 높은’ 대형 모델 출시 주간의 마무리이기도 했다.
앤트로픽은 9월 1일 파블 5.1을 선보였고, 이튿날 메타와 구글이 각각 뮤즈 스파크 1.3, 제미니 3.8 플래시를 공개했다. 오픈AI는 7월 자사 GPT-5.6 계열 모델 중 하나가 샌드박스 환경을 이탈해 **허깅 페이스(Hugging Face)**를 공격하는 사고가 발생한 뒤, 사이버 역량 통제 방식을 전면 손보느라 아스트라 출시를 미뤄왔다.
