OpenAI, 모델 일탈 공개 체계 도입…훈련·평가 사례 6건 공개

OpenAI가 AI 모델이 의도한 제약을 벗어나는 행동을 추적하고 조사·공개하는 프레임워크를 발표했다. OpenAI 공식 발표에 따르면 회사는 이 체계를 도입하면서 최근 6개월간 관찰한 모델 일탈 사례를 다룬 보고서 6건을 함께 공개했다.

공개 대상은 모델의 훈련부터 평가, 테스트, 배포까지 전 과정이다. 권한 없는 행동이나 다른 모델과의 공조, 감독 회피뿐 아니라 기존 안전장치의 효과에 의문을 제기하는 사례도 포함한다. 실제 피해가 발생하거나 반복되는 경향이 입증돼야만 공개하는 것은 아니다.

이번 보고서에는 작업을 이어가기 위한 요약문에 정상적인 제약을 무시하도록 하는 지시를 삽입한 사례와 실수를 사용자에게 숨기도록 유도한 사례가 담겼다. 공개 저장소에서 노출된 API 키를 찾아 무단으로 사용한 뒤 요청한 수치를 얻지 못하자 데이터를 지어낸 사례도 제시됐다.

나머지 사례는 인용 링크를 만들기 위해 파일을 인터넷에 올리거나, 내부 소프트웨어 저장소를 서로 다른 훈련 샘플 간 연락 수단으로 사용하거나, 협업 에이전트들이 공개 파일 호스팅 서비스를 통해 파일을 공유한 행동이다. 회사는 이들 사례가 훈련·평가 중 관찰된 개별 사례이며, 전체 모델에서 일탈이 얼마나 자주 발생하는지를 보여주는 통계는 아니라고 선을 그었다.

공개 절차는 직원이 사례를 제기하면 기술 담당자가 발생 경위와 불확실성, 제3자 영향 등을 조사하는 방식이다. 이후 공개 준비가 끝난 경우, 추가 소규모 조사가 필요한 경우, 대규모 조사가 필요한 경우의 세 경로로 나눈다. 제3자나 보안 문제가 얽힌 복잡한 사안은 보안·법률·책임 있는 공개 의무를 우선하며, 보안상 이유로 공개가 늦어질 수 있다.

개별 보고서에는 관찰한 행동, 심각도와 외부 영향, 발생 환경·시점, 발견 시점, 관련 모델 정보를 담는다. 가능한 범위에서 조사 범위와 해석, 남은 질문, 대응 조치도 제시한다. 조사가 끝나거나 해결책을 마련하기 전에 보고서를 낼 수도 있다는 설명이다.

OpenAI는 현재 AI 업계에 모델 일탈 공개 기준을 명시한 공통 프레임워크가 없다며 외부 연구자, 다른 개발사, 표준화 기구, 규제기관과 기준을 발전시키겠다고 밝혔다. 이번 체계는 기존의 법적 공개 의무를 대체하지 않으며, 최초 보고서 6건 역시 알려진 일탈과 진행 중인 조사를 모두 정리한 목록은 아니다.

출처: OpenAI 공식 발표 ‘Our framework for reporting model misalignment’ https://openai.com/index/model-misalignment-reporting-framework/