핵심 사항
앤트로픽이 클로드를 활용한 자동화 정렬 연구 결과를 공개했다.
클로드는 10개 유형의 정렬 실패 사례에서 안전성 점수를 끌어올렸다.
테스트 과정에서 모델의 일반적 능력은 유지된 것으로 평가됐다.
앤트로픽은 자동화 정렬 연구 세트업을 외부에 공개했다.
**앤트로픽(Anthropic)**은 **클로드(Claude)**가 자동화된 연구 과정을 통해 10개 유형의 정렬(alignment) 실패에 대한 안전성 점수를 개선했다고 밝혔다. 회사 측은 연구진이 안전성 개입을 시험하는 동안, 테스트 환경에서 모델의 일반 능력은 유지됐다고 설명했다.
앤트로픽은 게시글을 통해 자사가 사용한 자동화 정렬 연구 세트업을 외부 연구진이 활용할 수 있도록 공개했다고 전했다. 이번 작업은 모델의 오정렬(misalignment)을 정량적으로 측정하고 완화하는 것을 목표로 했다.
클로드, 안전성 개입 방안 직접 시험
앤트로픽에 따르면, 클로드는 기만(deception), 과잉 동조(sycophancy) 등 대표적인 오정렬 양식을 점검했다. 클로드는 개입 방법을 제안하고, 더 작은 모델을 학습시키고, 각 단계를 사람의 직접 개입 없이 스스로 평가하는 방식으로 실험을 진행했다.
회사는 초기 실험에서 클로드에 48시간과 GPU 1개라는 자원을 부여했다고 밝혔다. 그 기간 동안 클로드는 접근법을 리서치하고, 학습 방법을 설계한 뒤, 그 결과로 만들어진 모델을 테스트하는 데 시간을 사용했다.
앤트로픽은 이 과정에서 안전성 점수는 개선됐지만, 테스트된 설정 내에서는 모델의 일반 능력이 저하되지 않았다고 주장했다. 또 일부 개입 방법은 최적화에 사용되지 않은 벤치마크에도 전이돼 효과를 보였다고 덧붙였다.
회사는 자사 방법론이 Petri 행동 감사(Petri behavioral audit)로도 일반화되는 결과를 얻었다고 밝혔다. 또한 본래 연구에 사용한 모델보다 최대 4.7배 큰 모델에도 해당 방법을 적용해 테스트했다고 설명했다.
다만 이 모든 결과는 측정 가능한 테스트 환경에 한정된다. 앤트로픽은 현재 이용 가능한 벤치마크만으로는 매우 미세하거나 희귀한 실패 사례는 포착되지 않을 수 있다고 경고했다.
함께 보기: TRON 업그레이드, P-256 검증과 더 긴 블록 히스토리 도입
AI 정렬, 자동화 국면으로
이번 공개 이전까지 정렬 연구는 주로 인간 연구자가 개입 방안을 설계하고, 모델을 평가하는 방식에 의존해 왔다. 만약 자동화 시스템의 결과가 독립적인 검증에서 재현된다면, 정렬 연구의 속도를 크게 단축시킬 수 있다는 기대가 나온다.
최근 30일간 AI 안전성 논의에서는 더 강력한 모델이 약한 시스템을 평가·개선하는 데 활용될 수 있는지 여부가 핵심 쟁점으로 떠올랐다.
이 접근법이 작동하려면, 측정 지표의 신뢰성과 벤치마크 성과가 오도적이지 않도록 하는 안전장치가 필수적이다. 앤트로픽은 이번 실험에서 클로드가 최적화에 사용한 벤치마크 외의 ‘홀드아웃(held-out)’ 테스트를 따로 두고, 방법론이 얼마나 일반화되는지 검증했다고 밝혔다. 다만 해당 벤치마크 결과가 모든 형태의 모델 리스크를 제거한다고 주장하지는 않았다.
앤트로픽은 “무엇을 어떻게 측정할 것인가”라는 지표 선택이 여전히 정렬 연구의 핵심 과제라고 강조했다.
외부 연구자 활용 가능…재현성 검증 관건
앤트로픽은 다른 연구 그룹도 동일 실험을 재현하거나 확장할 수 있도록 연구 세트업을 공개했다. 외부 테스트를 통해 이 방법론이 다양한 모델과 안전성 평가 체계에 걸쳐 유효한지가 가려질 전망이다.
회사는 이번 결과를 더 폭넓은 모델 평가를 대체하는 것으로 제시하지 않았다. 현재까지 보고된 성과는 어디까지나 특정 정렬 실패 유형과 제한된 실험 조건에 국한된다는 점을 분명히 했다.
향후 연구진은 결과 재현성, 벤치마크 설계, 그리고 간과될 수 있는 실패 모드에 초점을 맞출 것으로 보인다. 앤트로픽의 공개는 이러한 후속 연구를 위한 기본 프레임워크를 제공한다.
