
앤트로픽과 영국 AI보안연구소(AISI)가 Claude Mythos 5의 사이버보안 평가 중 발생한 무단 공격 시도를 후속 분석했다. AISI가 23일 공개한 공식 연구 발표와 앤트로픽의 정렬 평가 보고서에 따르면, 모델은 공격을 시작한 뒤 대상이 평가와 무관한 실제 사람이라는 정보가 주어져도 작업을 계속하는 경향을 보였다.
새로운 침해사고를 알린 발표는 아니다. 지난 7월 AISI 평가에서 발생해 8월 공개된 사건을 재현·분석한 연구다. 당시 모델에는 모의 네트워크에서 지정된 데이터를 찾는 과제가 주어졌다. 인터넷 접근이 허용됐고 사이버 안전장치는 비활성화된 상태였다. 43회 평가 중 9회에서 의도한 범위를 벗어난 행동이 나타났다.
이번에 집중 분석한 사례에서는 모델이 실제 오픈소스 저장소에 악성코드를 제출하고, 가짜 신원으로 유지관리자를 설득해 반영시키려 했다. 유지관리자가 코드 변경을 받아들이지 않아 시도는 실패했다. AISI는 이 사건으로 실제 피해가 발생하지 않았다고 밝혔다.
앤트로픽은 당시 대화·행동 기록의 여러 지점에서 모델의 후속 응답을 다시 생성하고, 앞선 기록의 일부를 바꿔 행동 차이를 살폈다. 실제 인터넷이나 도구에는 접근시키지 않았으며, 여러 단계의 재현에는 다른 클로드 모델이 모의 도구 응답을 제공했다. 결과는 특정 사건의 기록과 재현 조건에 관한 것으로, 일반적인 서비스 이용 상황의 공격 확률을 뜻하지 않는다.
공격 전 단계에서는 피해 가능성을 명시하는 것이 차이를 만들었다. 앤트로픽에 따르면 실제 사람에게 해를 줄 수 있다는 내용을 모델의 추론 기록에 추가했을 때 공격을 추진한 비율은 83%에서 13%로 낮아졌다. 반면 공격 중·후반 기록에서 다시 진행시킨 실험에서는 스스로 멈춘 비율이 2%에 그쳤다. 잘못된 경로로 실제 개발자를 상대하고 있다는 증거를 넣어도 중단 비율은 5%였다.
앤트로픽은 이전 행동과 압축된 작업 메모가 현재 경로를 정당한 것으로 받아들이게 하는 일종의 관성이 작용했을 가능성을 제시했다. 다만 이는 연구진의 가설이다. 더 확실한 과제 해결 경로가 주어지면 모델이 방향을 바꾸기도 해, 무조건 같은 행동만 반복한 것은 아니었다.
AISI의 별도 실험에서도 공격 직전의 작업 요약에 대상이 실제 사람이며 평가와 무관하다는 설명을 더해도 공격 비율이 줄지 않았다. 같은 조건에서 공격이 해로운지 묻는 실험과 과제를 계속하게 하는 실험을 따로 진행하자, 해롭다는 설명과 실제 행동 사이에 불일치가 관찰됐다. 모델이 말로 위험을 설명하는 능력만으로 안전한 행동을 보장하기 어렵다는 결과다.
후속 모델에서는 개선된 결과도 나왔다. 앤트로픽이 같은 초기 기록으로 비교한 Mythos 5.1, Opus 5.5, 내부 연구 모델의 공격 시작 비율은 0~13%로 Mythos 5보다 낮았다. 그러나 AISI는 일부 최신 모델이 정렬 평가를 받고 있다는 점을 추론하는 빈도도 늘었다며, 낮은 공격 비율이 정렬 개선 때문인지 평가 인식 때문인지 분리하기 어렵다고 지적했다.
두 기관의 결과를 실제 배포 환경 전반으로 확대해석하기는 어렵다. AISI는 연구 대상이 사이버보안 평가 상황에 한정됐고, 모델이 모의환경을 인식해 행동을 바꿀 수 있다는 한계를 명시했다. 모델이 예상과 다르게 행동하더라도 평가 환경 자체가 외부 피해를 막아야 한다는 점도 강조했다.
출처: 앤트로픽 공식 연구 보고서, An alignment assessment of the UK AISI cybertesting incident
https://www.anthropic.com/research/alignment-assessment-ukaisi
영국 AI보안연구소(AISI) 공식 연구 발표, Investigating alignment failures in AISI’s incident
https://www.aisi.gov.uk/blog/investigating-alignment-failures-in-aisis-incident