Anthropic, Fable 5 사이버 차단 기준 공개…AI 탈옥 심각도 등급 제안

Anthropic 공식 발표에 따르면 회사는 7월 2일 Claude Fable 5의 사이버보안 세이프가드와 AI 탈옥 심각도 평가안인 Cyber Jailbreak Severity, CJS 체계를 공개했다. Fable 5가 전 세계 사용자 대상으로 재배포된 뒤, 모델이 어떤 사이버보안 요청을 차단하거나 허용하도록 설계됐는지 구체적으로 설명한 후속 발표다.

이번 공개의 핵심은 두 가지다. 하나는 Fable 5에 적용된 사이버보안 분류기의 기준이다. 다른 하나는 AI 모델의 탈옥 기법이 실제 공격 능력을 얼마나 높이는지 평가하기 위한 등급 체계 초안이다. Anthropic은 해당 체계가 아직 초기안이며, 학계와 산업계, 시민사회, 정부의 논의를 촉발하기 위한 목적이라고 밝혔다.

Anthropic은 사이버보안 요청을 금지 사용, 고위험 이중사용, 저위험 이중사용, 정상 사용 등 네 범주로 나눴다. 랜섬웨어, 와이퍼, 방어 회피, 명령제어 인프라, 악성코드 개발처럼 피해 가능성이 큰 요청은 차단 대상으로 분류했다. 침투 테스트, 권한 상승, 익스플로잇 개발처럼 합법적 보안 평가에도 쓰일 수 있지만 공격 활용 가능성이 큰 활동도 현재는 차단하는 쪽에 무게를 뒀다.

반대로 안전한 코딩, 이미 확인된 취약점 수정, 로그 분석, 사고 대응, 패치 관리, 보안 교육 등 방어적 성격이 뚜렷한 작업은 정상 사용으로 분류했다. 다만 Anthropic은 위험 요청을 놓치지 않기 위해 일부 저위험 또는 정상 요청이 과도하게 차단될 수 있는 안전 여유 영역을 두고 있다고 설명했다. 이는 모델의 유용성과 악용 방지 사이의 균형을 조정하는 문제다.

CJS 체계는 AI 탈옥의 위험도를 0에서 4까지 등급화하는 방식이다. Anthropic은 탈옥으로 공격자가 기존 도구보다 더 큰 능력을 얻는지, 그 능력이 여러 공격 범주에 넓게 적용되는지, 실제 공격으로 전환하기 쉬운지, 해당 기법이 얼마나 쉽게 발견되거나 공개될 수 있는지를 평가 축으로 제시했다.

이 접근은 기존 소프트웨어 취약점 평가 방식과 유사한 공통 언어를 AI 안전 분야에도 만들려는 시도다. 특정 탈옥이 단순히 원치 않는 답변을 유도하는 수준인지, 아니면 고급 공격 능력을 광범위하게 열어 주는 수준인지 구분해야 기업과 정부가 같은 기준으로 위험을 논의할 수 있다는 판단이다.

이번 발표는 고성능 AI 모델의 사이버보안 활용을 전면 차단하기보다, 방어 목적 사용은 살리고 공격 전환 가능성이 큰 행위는 통제하려는 방향을 보여준다. 특히 취약점 탐지처럼 방어와 공격 양쪽에 쓰일 수 있는 영역에서는 모델 능력이 기존 공개 도구를 넘어서는지 여부가 중요한 기준으로 제시됐다.

Anthropic은 보안 연구자가 Fable 5에서 발견한 잠재적 사이버 탈옥을 제출할 수 있도록 HackerOne 프로그램도 열었다고 밝혔다. CJS 체계가 실제 업계 표준으로 자리 잡을지는 아직 불확실하다. 그러나 AI 모델 안전 논의가 추상적 원칙을 넘어, 구체적인 분류 기준과 신고·평가 절차를 요구하는 단계로 이동하고 있다는 점은 분명해 보인다.

출처: Anthropic https://www.anthropic.com/news/fable-safeguards-jailbreak-framework