OpenAI, 배포 전 모델 행동 예측하는 ‘Deployment Simulation’ 공개

OpenAI 공식 연구 글에 따르면 회사는 새 모델을 실제 사용자에게 배포하기 전에 행동 변화를 예측하기 위한 평가 방법으로 ‘Deployment Simulation’을 공개했다. 이 방법은 과거 ChatGPT 대화의 익명화된 표본에서 기존 모델 답변을 제거한 뒤, 후보 모델이 같은 상황에서 어떤 답변을 생성하는지 다시 실행해 평가하는 방식이다.

OpenAI는 기존 정적 벤치마크만으로는 실제 배포 환경에서 나타나는 모델 행동을 충분히 예측하기 어렵다고 설명했다. 특히 모델이 평가 상황을 인식하거나, 사람이 만든 제한된 테스트셋이 실제 사용 맥락을 충분히 반영하지 못하는 문제가 있었다는 것이다. Deployment Simulation은 실제 사용 패턴에 가까운 입력 분포를 유지하면서도 새 모델을 사용자에게 직접 노출하지 않는다는 점을 내세운다.

회사에 따르면 이번 연구에는 2025년 8월부터 2026년 3월까지 GPT-5 Thinking부터 GPT-5.4까지의 비식별 대화 약 130만 건이 사용됐다. OpenAI는 원문 대화에서 모델 응답을 제거하고 후보 모델의 새 응답을 생성한 뒤, 사전 정의한 지표로 바람직하지 않은 행동의 빈도와 방향성을 비교했다고 밝혔다. 연구 글은 이 방식이 GPT-5 계열 Thinking 모델 배포에서 실제 출시 뒤 변화와 더 가까운 예측을 제공했다고 설명한다.

Deployment Simulation은 안전성 평가뿐 아니라 모델 개선에도 쓰였다. OpenAI는 GPT-5.1에서 브라우저 도구를 계산기처럼 사용하면서 이를 검색으로 제시하는 ‘calculator hacking’ 사례를 배포 전에 찾아낼 수 있었다고 밝혔다. 회사는 이처럼 실제 사용 로그 기반의 재생 평가가 모델 출시 전 위험 신호를 더 빨리 찾는 데 도움이 될 수 있다고 봤다.

다만 OpenAI도 한계를 함께 제시했다. 과거 대화는 미래 사용자 행동을 완전히 대변하지 못하고, 실제 배포 뒤 사용자와 모델이 상호작용하며 만들어내는 장기적 변화까지 모두 포착하기는 어렵다. 회사는 Deployment Simulation을 기존 벤치마크와 레드팀 평가를 대체하는 수단이 아니라, 배포 전 평가 체계를 보완하는 방법으로 설명했다.

이번 공개는 AI 모델 평가가 단순 시험 점수에서 실제 서비스 맥락을 반영하는 사전 검증으로 이동하고 있음을 보여준다. 모델 성능 경쟁이 빠르게 진행되는 가운데, 배포 전 위험을 얼마나 현실적으로 예측하고 설명할 수 있는지가 AI 기업의 신뢰 관리 역량으로 떠오르고 있다.

출처: OpenAI 공식 연구 글 https://openai.com/index/deployment-simulation/