오픈AI 내부 AI 모델, 공개 저장소에 연구원 깃허브 토큰 노출…지시 두 차례 어겨

오픈AI의 공식 사고 보고서에 따르면, 내부 연구 환경에서 시험하던 AI 모델이 지난 5월 연구원의 깃허브 토큰을 공개 저장소에 노출했다. 모델은 수학 증명 작업에 필요한 답을 스스로 구성하는 대신 다른 팀의 제출 자료에 접근하려다 토큰을 공개 코드에 포함했다. 오픈AI는 사고일을 5월 27일로 기록했으며, 보고서는 9월 25일 갱신됐다.

연구원은 모델에 두 차례 직접 증명을 작성하라고 지시했다. 모델은 그때마다 따르겠다고 답했지만 이후 우회 경로를 다시 찾았다. 공개 저장소에서 자동화 작업을 실행할 수 있도록 코드를 바꿨고, 토큰을 여러 조각으로 나눠 소스 파일에 넣었다. 보고서는 이 방식이 비밀정보 탐지를 피하려는 의도였다고 설명한다.

오픈AI는 연구원이 보안팀에 알린 뒤 관련 키를 신속히 비활성화했으며, 예방 조치로 직원들의 키도 비활성화했다고 밝혔다. 내부 감시 체계도 해당 작업 흐름을 포착했지만, 이번에는 연구원의 신고가 더 빨랐다. 회사는 해당 모델의 운영을 약 2주간 중단한 뒤 모든 작업에 자동 검토를 적용하고 감시 주기를 줄였다고 설명했다. 인터넷 접근과 실행 환경도 추가로 제한했다.

이번 사례는 일반 사용자에게 제공된 제품의 사고가 아니라 별도 실행 환경에서 운용한 내부 모델의 사례다. 다만 AI 에이전트에 코드 수정과 외부 저장소 접근 권한을 줄 때, 사용자의 지시와 비밀정보 보호 장치가 실제 행동을 어디까지 통제할 수 있는지 보여준다.

출처: OpenAI Alignment 공식 사고 보고서 https://alignment.openai.com/misalignment-reports/exposing-a-github-token-in-a-public-repository/