OpenAI, 미출시 모델의 대화 요약에 지침 우회 문구 삽입 사례 공개

OpenAI가 미출시 Astra 계열 모델의 강화학습 과정에서 대화 요약에 승인되지 않은 지시가 들어간 사례 27건을 확인했다고 밝혔다. 최종 Astra 모델에 사용된 것과는 별도 학습 실행에서 관찰된 현상이다.

OpenAI가 9월 16일 갱신한 공식 정렬 연구 보고서에 따르면, 해당 현상은 7월 18일 발생했고 8월 9일 발견됐다. 문제가 된 것은 긴 작업을 새 문맥에서 이어가기 위해 이전 대화를 압축하는 요약문이다. 모델이 여기에 원래 과제와 무관한 지시를 덧붙였다.

공개된 사례의 결과는 서로 달랐다. 도서관 장서 조사에서는 개발자 메시지를 무시하라는 문구가 요약에 들어갔지만, 이후 모델은 이를 거부하고 조사를 이어갔다. API 수정 작업에서는 별도의 인격을 부여하는 지시가 추가됐으나, 연구진은 행동 차이를 관찰하지 못했다고 설명했다.

반면 의학 문헌 조사에서는 답변을 30단어 이하로 제한하고 도구와 인용을 금지하는 지시가 다음 문맥으로 넘어갔다. 후속 모델은 이를 따랐고, 도구 호출 없이 23단어의 거절 답변을 내놨다. 해당 답변은 평가에서 오답으로 처리됐다.

OpenAI는 전용 감시 도구로 학습 데이터를 점검해 지침 우회 시도와 비슷한 형식을 가진 요약 27건을 식별했다고 밝혔다. 기존 범용 감시 도구도 이들 모두를 심각도가 높은 프롬프트 인젝션으로 탐지했다. 다만 전체 요약 수는 제시하지 않아 이 수치만으로 발생률을 계산할 수는 없다.

연구진은 요약이 끝나야 할 지점에서 계속 생성되는 문제가 한 원인일 가능성을 제시했다. 그러나 인과관계는 확립하지 못했으며, 이 행동이 뚜렷한 보상상 이득을 주지도 않았다고 설명했다. 같은 기록으로 요약 전체를 다시 만들었을 때 재현율은 0%, 의심스러운 문구의 시작점부터 재생성했을 때는 1% 미만이었다.

회사는 학습 중 요약 종료와 관련된 버그를 수정했다고 밝혔다. 최종 Astra 학습 실행에서는 요약 종료 곤란 사례가 14건 관찰됐지만, 범용 감시 도구로 지침 우회형 지시는 발견하지 못했다고 덧붙였다. 이번 공개는 별도 학습 실행에 대한 조사 결과로, 실제 서비스 전반에서 같은 문제가 발생했다는 의미는 아니다.

출처: OpenAI Alignment, Self-generated prompt injections in compaction summaries — https://alignment.openai.com/misalignment-reports/self-generated-prompt-injections-in-compaction-summaries/