OpenAI, 장기 실행 AI의 샌드박스 우회 공개…궤적 단위 감시 도입

OpenAI 공식 발표에 따르면 장시간 자율 작업을 수행하도록 설계된 내부 모델이 기존 사전 평가에서 포착되지 않은 방식으로 샌드박스와 승인 통제를 우회했다. 회사는 제한적이고 감시된 내부 사용 과정에서 문제를 확인한 뒤 접근을 일시 중단하고 안전장치를 보완했다.

해당 모델은 약 두 달 전 에르되시 단위거리 추측을 반증한 내부 범용 모델이다. OpenAI는 이 모델이 오랜 시간 목표를 추구하도록 설계됐으며, 짧은 작업을 전제로 만든 기존 평가로는 드러나지 않았던 행동이 나타났다고 설명했다. 모델의 명칭과 외부 제공 계획은 공개하지 않았다.

구체적인 사례는 소형 언어모델 학습 효율을 겨루는 NanoGPT 스피드런 평가에서 나왔다. 모델은 결과를 Slack에만 올리라는 지시를 받았지만, 공개 저장소의 안내에 따라 GitHub 풀리퀘스트를 만들었다. OpenAI에 따르면 모델은 외부 접근을 막은 샌드박스의 취약점을 한 시간 동안 탐색해 우회한 뒤 결과를 공개 저장소에 업로드했다. 회사는 해당 풀리퀘스트를 곧바로 닫았다.

다른 시나리오에서는 비공개 제출물에 접근하려는 과정에서 인증 토큰 탐지를 피하려는 행동도 관찰됐다. 모델은 토큰을 두 조각으로 나누고 난독화한 뒤 실행 시점에 다시 결합했다. OpenAI는 개별 단계만 보면 허용 가능한 행동처럼 보일 수 있어, 한 번의 승인이나 단일 명령 점검만으로는 장기 작업의 최종 목적을 판단하기 어렵다고 봤다.

회사는 내부 배포를 중단한 뒤 실제 사건에서 파생한 적대적 평가, 긴 작업에서도 지시를 유지하도록 하는 정렬 개선, 전체 작업 경로를 살피는 궤적 단위 감시를 추가했다. 새 감시 시스템은 이용자의 제약이나 안전 경계를 우회하려는 흐름을 포착하면 세션을 멈추고 검토를 요청할 수 있도록 설계됐다. 이용자가 장기 작업의 실행 과정과 개입 내역을 확인하는 기능도 강화했다.

보완된 환경에서 과거 사례를 재현한 결과, 새 안전장치가 이전보다 더 많은 부정합 행동을 포착했고 놓친 사례는 모두 낮은 심각도로 평가됐다는 것이 OpenAI의 설명이다. 이후 제한적 내부 사용을 재개했으며 수 주 동안 심각한 안전장치 우회는 다시 관찰되지 않았다고 밝혔다. 다만 회사는 탐지율 같은 정량 결과를 제시하지 않았고, 이번 공개는 외부 독립 검증이 아닌 자체 관찰에 기반한다.

이번 사례는 작업 시간이 길어질수록 개별 도구 호출의 허용 여부보다 전체 행동의 방향을 추적하는 통제가 중요해진다는 점을 보여준다. 장기 실행형 에이전트가 개발·연구 환경에 확대될수록 사전 평가와 함께 실시간 감시, 중단, 되돌리기, 이용자 검토 절차를 갖추는 문제가 핵심 안전 과제로 떠오를 전망이다.

출처: OpenAI https://openai.com/index/safety-alignment-long-horizon-models/