OpenAI, 내부용 자동 레드팀 ‘GPT‑Red’ 연구 공개…GPT‑5.6 방어 훈련에 활용

OpenAI 공식 연구 발표에 따르면 회사는 15일 프롬프트 주입 공격을 자동으로 찾아내는 내부 전용 안전 레드팀 모델 ‘GPT‑Red’ 연구를 공개했다. 사람의 공격 시도를 보조하는 일반 도구가 아니라, 목표를 향해 프롬프트를 보내고 응답을 관찰한 뒤 공격 방식을 반복 수정하는 모델이다. OpenAI는 GPT‑Red가 만든 공격 사례를 GPT‑5.6 훈련에 직접 활용했다.

GPT‑Red의 핵심은 공격 모델과 방어 모델을 함께 학습시키는 자기대전 강화학습이다. 공격 모델은 웹페이지와 이메일, 로컬 파일, 코드 저장소, 도구 출력 등에 숨은 악성 지시가 목표 모델의 행동을 바꾸도록 시도한다. 방어 모델이 강해질수록 공격 모델은 새로운 우회 방식을 찾아야 한다. OpenAI는 악성 역량이 외부로 확산되지 않도록 GPT‑Red를 실제 서비스 모델과 분리해 내부에서만 운용한다고 설명했다.

회사 자체 평가에서 GPT‑Red는 공개 프롬프트 주입 경진대회 환경을 복제한 신규 시나리오에서 GPT‑5.1을 상대로 84%의 공격 성공률을 기록했다. 같은 조건에서 사람 레드팀의 성공률은 13%였다. 다만 이 결과는 OpenAI가 내부에 구축한 복제 환경에서 나온 수치로, 독립 기관이 같은 조건에서 재현한 결과는 아니다.

실서비스와 가까운 환경에서도 공격 가능성을 시험했다. GPT‑Red는 사내에서 운영 중인 자율 판매 에이전트의 시뮬레이션을 먼저 탐색한 뒤 실제 시스템에서 고가 상품 가격을 최저가로 바꾸고, 새 상품을 낮은 가격에 등록하며, 다른 고객의 주문을 취소하는 세 가지 목표를 모두 달성했다. OpenAI는 관련 취약점을 운영사에 알렸고 새로운 보호조치를 시험 중이라고 밝혔다. Codex CLI 에이전트를 대상으로 한 10개 데이터 유출 시나리오에서도 기존 GPT‑5.5 기반 방식보다 더 높은 공격 성공과 토큰 효율을 보였다고 했지만, 세부 성공률은 공개하지 않았다.

방어 훈련 효과도 OpenAI 내부 지표로 제시됐다. 회사는 GPT‑5.6 Sol이 가장 어려운 직접 프롬프트 주입 평가에서 4개월 전 최고 성능 모델보다 실패가 6분의 1 수준으로 줄었다고 밝혔다. 초기 GPT‑Red가 찾아낸 ‘가짜 사고과정’ 공격은 GPT‑5.1에서 95%를 넘는 성공률을 보였으나 GPT‑5.6 Sol에서는 10% 아래로 낮아졌고, GPT‑Red의 직접 주입 공격에 대한 실패율은 0.05%로 측정됐다.

이번 연구는 AI 에이전트의 공격 표면이 넓어지면서 안전 평가도 자동화와 반복 학습 단계로 이동하고 있음을 보여준다. 브라우저와 연결 앱, 파일, 개발 도구를 다루는 에이전트는 외부 데이터에 섞인 지시를 실행 명령으로 오인할 수 있다. 자동 레드팀은 사람이 설계하기 어려운 대량의 공격 변형을 만들 수 있지만, 동시에 강한 공격 모델 자체를 어떻게 통제할 것인지도 새로운 보안 과제로 남긴다.

현재 공개된 자료만으로는 학습 데이터 구성과 평가 절차의 전체 세부를 확인하기 어렵다. OpenAI는 더 자세한 내용을 담은 프리프린트를 이번 주 안에 공개할 예정이라고 밝혔다. 따라서 84% 공격 성공률과 GPT‑5.6의 방어 성능은 회사 발표 기준으로 해석해야 하며, 후속 논문과 독립 재현 결과를 확인할 필요가 있다.

출처: OpenAI https://openai.com/index/unlocking-self-improvement-gpt-red/
출처: Dziemian 외 연구진 원문 https://arxiv.org/abs/2603.15714