핵심 내용
앤트로픽이 클로드를 활용한 자동화 정렬(Alignment) 연구 결과를 공개했다.
클로드는 10개 유형의 정렬 실패 사례에서 안전성 점수를 끌어올렸다.
테스트 과정에서도 모델의 일반적 성능은 유지된 것으로 나타났다.
앤트로픽은 외부 연구자들을 위해 자동화 정렬 연구 셋업도 함께 공개했다.
**Anthropic(앤트로픽)**은 **Claude(클로드)**가 자동화된 연구 프로세스를 통해 10개 정렬 실패 유형에서 안전성 점수를 개선했다고 발표했다. 회사 측은 연구진이 안전 개입(safety intervention)을 평가하는 동안, 일반적 모델 역량은 유지된 상태에서 실험이 진행됐다고 설명했다.
앤트로픽은 게시물을 통해 자사가 사용한 자동화 정렬 연구 셋업을 외부 연구자들에게 공개했다고 밝혔다. 이번 작업은 모델의 오정렬(misalignment)을 정량적으로 측정하고 완화하기 위한 시도로 소개됐다.
클로드, 정렬 개입 실험 수행
앤트로픽에 따르면 클로드는 기만(deception), 과도한 추종(sycophancy) 등 대표적인 오정렬 양상을 분석했다. 클로드는 개입 방법을 제안하고, 더 작은 모델을 학습시키며, 각 단계에서 사람의 직접 개입 없이 결과를 평가하는 역할까지 수행했다.
초기 실험에서 클로드에게는 48시간과 GPU 1개가 주어졌다. 이 기간 동안 클로드는 접근법을 조사하고, 학습 방법을 설계한 뒤, 그 결과로 만들어진 모델을 테스트하는 데 시간을 사용했다.
앤트로픽은 이러한 실험 환경에서 클로드가 안전성 점수를 높이는 데 성공했으며, 동시에 일반적 능력(문제 해결·추론 등)이 떨어지지 않았다고 전했다. 또 일부 기법은 최적화에 사용되지 않은 별도 벤치마크에서도 성능 향상 효과가 관찰됐다고 밝혔다.
회사 측은 이번 방법론이 Petri 행동 감사(Petri behavioral audit)에도 일반화되는 것으로 나타났다고 덧붙였다. 테스트에는 연구 과정에 사용된 모델보다 최대 4.7배 큰 모델도 포함됐다.
다만 이러한 결과는 통제된 테스트 환경에서의 측정치에 한정된다. 앤트로픽은 “매우 미묘하거나 발생 빈도가 낮은 실패는, 현재 사용 가능한 벤치마크에서는 포착되지 않을 수 있다”고 선을 그었다.
관련 기사: TRON 업그레이드, P-256 검증·장기 블록 히스토리 도입
“정렬 작업, 자동화 단계로 진입”
이번 연구 공개 이전까지 정렬 작업은 주로 인간 연구자가 개입 방식을 설계하고, 모델을 직접 평가하는 방식에 의존해 왔다. 결과가 외부 검증을 통과한다면, 자동화 시스템은 이 과정을 크게 단축시킬 수 있다는 기대가 나온다.
최근 30일간 AI 안전성 논의에서는 “더 강력한 모델을 활용해 상대적으로 약한 시스템을 평가·개선할 수 있는가”라는 질문이 주요 화두로 부상했다.
이러한 접근법의 성패는 신뢰할 수 있는 측정 기준과, 벤치마크 성능을 ‘꾸며내는’ 현상을 차단할 안전장치에 달려 있다. 앤트로픽은 실험에서 클로드가 최적화에 사용한 벤치마크 외의 숨겨진 테스트(held-out test)를 통해, 기법이 다른 환경에도 일반화되는지 점검했다고 밝혔다. 동시에 이번 벤치마크 결과가 모든 형태의 모델 리스크를 제거한다고 주장하지는 않았다.
회사는 “어떤 지표를 선택해 무엇을 측정하느냐가 여전히 정렬 연구의 핵심”이라며 측정 설계의 중요성을 거듭 강조했다.
외부 연구자 실험도 가능
앤트로픽은 다른 연구 그룹들이 동일한 실험을 재현하거나 확장해 볼 수 있도록 연구 셋업을 공개했다. 다양한 모델과 안전성 평가 체계에서 같은 방법이 통할지 여부는 외부 테스트를 통해 가려질 전망이다.
회사는 이번 결과를 보다 폭넓은 모델 평가를 대체할 수 있는 근거로 제시하지 않았다. 현재로서는 특정 정렬 실패 유형과 그에 따른 실험 조건에서 관찰된 성과로만 범위를 한정하고 있다.
후속 연구에서는 재현성 검증, 벤치마크 설계, 잠재적 실패 모드 규명 등이 주요 과제가 될 가능성이 크다. 앤트로픽의 공개는 이러한 연구를 위한 하나의 프레임워크를 제공하는 셈이다.
다음으로 읽어볼 기사: 포모 카피 트레이딩, 지갑 94% 손실로 귀결: 연구
