Anthropic, Fable 5 사이버 안전장치 공개…AI 탈옥 심각도 기준 제안

Anthropic 공식 발표에 따르면 회사는 7월 2일 Claude Fable 5의 사이버 보안 안전장치와 AI 탈옥 심각도 평가 프레임워크 초안을 공개했다. 이번 발표는 Fable 5가 재배포돼 전 세계 사용자에게 다시 제공되기 시작한 뒤 나온 후속 설명으로, 고성능 AI 모델의 방어적 보안 활용과 오용 차단 기준을 더 구체화하려는 시도다.

Anthropic은 Fable 5에 적용한 안전 분류기가 사이버 보안 요청을 네 가지 범주로 나눠 처리한다고 설명했다. 회사가 제시한 구분은 명백히 유해하거나 방어적 효용이 거의 없는 금지 사용, 공격자도 널리 쓰지만 방어적 목적도 있는 고위험 이중용도, 주로 방어적 목적이지만 악용 가능성이 있는 저위험 이중용도, 그리고 benign use로 분류되는 정상 사용이다. 분류기는 금지 사용과 고위험 이중용도 요청을 차단하고, 저위험 이중용도 요청은 감시하거나 안전 여유를 두고 일부 차단하도록 설계됐다.

회사는 사이버 보안이 본질적으로 이중용도 성격을 갖기 때문에 모든 관련 요청을 막는 방식은 적절하지 않다고 밝혔다. 예컨대 취약점 탐지나 코드베이스 점검은 방어자에게 필요한 작업이지만, 맥락에 따라 공격 준비에도 활용될 수 있다. Anthropic은 이 때문에 접근 제어, 모델 안전 학습, 오프라인 모니터링, 안전 분류기를 함께 적용하는 다층 방어 방식을 사용한다고 설명했다.

이번 발표에서 주목되는 대목은 AI 탈옥 심각도 평가 기준이다. Anthropic은 Amazon, Microsoft, Google 및 Glasswing 파트너들과 함께 초안 형태의 프레임워크를 논의하고 있다고 밝혔다. 회사는 탈옥이 단순히 사소한 부적절 응답을 유도하는 경우도 있지만, 위험한 사이버 보안 작업을 광범위하게 가능하게 하는 경우도 있다며, 정부와 AI 개발사가 같은 언어로 위험도를 논의할 기준이 필요하다고 설명했다.

Anthropic은 이 프레임워크가 현재 단계의 제안이며 학계, 산업계, 시민사회, 정부의 논의를 촉진하기 위한 것이라고 밝혔다. 회사는 Fable 5의 사이버 탈옥 가능성을 제보할 수 있는 HackerOne 프로그램도 열었다. 보안 연구자가 발견한 잠재적 우회 사례를 제출하면 회사가 이를 검토하는 방식이다.

Fable 5는 앞서 미국 정부 수출통제 해제 뒤 7월 1일부터 재배포됐다. Anthropic은 재배포 발표에서 문제 제기된 우회 사례가 Mythos 수준의 고유한 공격 역량을 드러낸 것은 아니라고 주장하면서도, 관련 행위를 차단하는 개선된 안전 분류기를 훈련했다고 밝혔다. 이번 세부 설명은 그 후속 조치로, AI 모델 안전성을 단순한 접근 제한 문제가 아니라 분류 기준과 공개 검증 체계의 문제로 다루려는 흐름을 보여준다.

출처: Anthropic https://www.anthropic.com/news/fable-safeguards-jailbreak-framework · Anthropic Fable 5 재배포 공지 https://www.anthropic.com/news/redeploying-fable-5 · Anthropic Fable 5 HackerOne 프로그램 https://hackerone.com/anthropic-fable5