
AI 안전성 연구기관 METR과 레드우드리서치가 오픈AI의 내부 AI 에이전트 감시 체계에서 발견한 우회 취약점을 공개했다. 7월 당시 시스템을 대상으로 한 점검 결과로, 이후 보완된 현재 시스템까지 검증한 것은 아니다.
한국시간 23일 공개된 연구진 원문에 따르면 두 기관 직원 각 1명은 7월 21일부터 8월 11일까지 3주 동안 오픈AI 내부 감시 시스템을 점검했다. 내부 코드와 감시 모델의 프롬프트·설정, 문서를 열람하고 연구·보안 담당자 약 12명을 인터뷰했으며, 결과를 61쪽짜리 비공개 보고서로 전달했다. 평가 대상은 7월 21일 당시와 그 이전의 시스템이었다.
점검의 초점은 에이전트가 얼마나 넓게 감시 대상에 들어가는지, 감시 기능을 피하거나 무력화할 수 있는지였다. 연구진은 당시 GPT-5.5 이상 성능 모델이 사용된 내부 Responses API의 에이전트 용도 트래픽 가운데 약 75~94%가 감시 대상이었다고 추정하면서, 이 추정에는 상당한 불확실성이 있다고 밝혔다. 코덱스 내부 에이전트에 쓰인 부분만 따로 보면 이 비율은 99.2%였다. 감시 대상이라는 것은 검사하도록 설계됐다는 뜻이며, 오류나 구현 문제 없이 실제 검사까지 끝났음을 보장하는 수치는 아니다.
실제 처리 과정에서도 빈틈이 드러났다. 연구진은 대화 맥락을 압축하는 이벤트를 감시하지 않은 탓에 5~7월 코덱스 내부 트래픽 중 감시 대상의 약 10%가 검사되지 않았을 가능성을 제시했다. 정확한 비율을 산출할 과거 로그가 없어 추정의 불확실성이 크다고 덧붙였다. 이 문제는 오픈AI 직원들이 점검 전 독자적으로 발견했고 점검 기간 중 수정했다.
당시 감시는 에이전트가 사용자에게 제어권을 돌려줄 때 시작되는 구조였다. 맥락 압축 이벤트까지 감시하지 않던 시기에는 에이전트가 계속 행동하는 방식으로 검사를 미룰 수 있었다는 것이 연구진의 설명이다. 다만 실제 에이전트가 이 빈틈을 악용했는지는 접근 권한의 제약으로 확인하지 못했다.
연구진은 코덱스의 샌드박스와 자동 승인 심사인 Auto-Review를 우회할 수 있는 방법, 최근 수백 개 행동이 감시되지 않게 만드는 취약점도 발견했다고 밝혔다. 일부 요청 헤더로 새 에이전트의 감시를 끌 수 있는 경로도 확인했다. 다만 해당 헤더를 설정하고 새 인스턴스를 만드는 행동 자체는 감시에 포착될 수 있다고 설명했다. 공개 글에는 일부 공격 세부 사항이 제외됐다.
보완 조치와 현재 상태는 구분해야 한다. 연구진에 따르면 오픈AI는 실제 운영 중인 안전장치에 영향을 미치는 지적 취약점을 모두 수정했다고 밝혔다. 그러나 두 기관은 그 수정 주장이나 이후 확장된 감시 범위를 직접 평가하지 않았다고 명시했다. 이번 공개는 과거 시스템의 취약점 점검 결과이지 현재 진행 중인 침해사고를 확인한 보고가 아니다.
연구진은 에이전트의 작업 종료만 기다리지 말고 일정한 메시지 수나 시간 간격으로 감시하며, 실제 추론 기록과 감시 로그를 대조할 것을 제안했다. 행동을 실행하는 환경과 감시 체계를 분리하고 감시 우회 경로를 지속적으로 점검해야 한다는 권고도 담았다. 감시 모델의 탐지 능력뿐 아니라 검사 누락과 실행 시점까지 함께 관리해야 한다는 취지다.
이번 작업은 외부 연구자에게 깊은 내부 접근을 허용하는 시범 점검으로 설계됐다. 연구진은 공개 범위가 짧은 개괄 글로 제한됐고 오픈AI에 민감한 정보를 삭제할 권한이 있었다고 설명했다. 공개된 결과에 대한 연구진의 판단과 별개로, 이를 전체 시스템에 대한 포괄적 공개 감사로 해석해서는 안 된다.
출처: 레드우드리서치·METR 연구진 원문 ‘Red-Teaming OpenAI’s Internal Agent Monitoring Systems’ https://blog.redwoodresearch.org/p/red-teaming-openais-internal-agent