앤스로픽, Claude로 10개 정렬 실패 완화 연구 공개

앤스로픽이 Claude를 활용해 AI 모델의 정렬 실패를 완화하는 자동화 연구 시스템의 실험 결과를 공개했다. 앤스로픽 공식 연구 발표에 따르면 이 시스템은 10개 정렬 실패 범주에서 각 목표 벤치마크 성능을 개선했으며, 일반 역량 저하가 나타난 방법은 결과에서 제외했다.

연구 시스템은 문헌을 찾고 학습 방법과 데이터를 제안한 뒤 모델을 훈련·시험하는 과정을 반복했다. 앤스로픽은 개인정보 침해, 기만, 아첨적 응답 등 각 범주의 실패를 별도로 다뤘으며, 훈련 과정에서 보지 못한 평가와 오픈소스 평가 도구 Petri에서도 일부 결과를 확인했다고 설명했다.

실험에서 제안된 방법은 연구 루프에서 최적화한 모델보다 최대 4.7배 큰 모델에서도 효과가 유지됐다고 앤스로픽은 밝혔다. 또 약한 Claude 모델이 초기 Opus 4.8 체크포인트의 정렬 실패 완화를 시도한 별도 실험에서는 60시간 동안 50개가 넘는 해법을 시험해 생산 모델과 비슷한 수준의 정렬 점수에 근접했다고 전했다.

다만 이번 결과가 범용 안전성의 증명은 아니다. 앤스로픽은 측정한 실패 유형이 실제 서비스의 문제보다 좁고, 벤치마크가 실제 오정렬의 대리 지표에 그치며, 다른 학습 이후에도 개선 효과가 지속되는지는 검증하지 않았다고 한계를 적시했다.

자동화된 정렬 연구는 모델 능력이 빨라지는 상황에서 안전성 연구의 속도를 높이려는 접근이다. 연구팀은 연구용 하네스를 오픈소스로 공개했으며, 향후 더 포괄적인 분석을 이어가겠다고 밝혔다.

출처: Anthropic 공식 연구 발표 https://www.anthropic.com/research/automated-researchers-mitigate-alignment-failures