OpenAI, 웹사이트 AI 학습 선호 공통 신호 지원 예고

OpenAI가 웹사이트 운영자의 생성형 AI 학습 관련 콘텐츠 이용 의사를 공통 방식으로 표시하는 신호를 지원하기로 했다. OpenAI 공식 블로그에 따르면 웹사이트의 크롤러 접근 규칙을 담는 robots.txt를 활용하는 방식으로, 회사는 수개월 안에 적용하고 구체적인 구현 내용을 별도로 안내할 계획이다.

지금까지 운영자는 AI 사업자별 크롤러를 구분해 각각 규칙을 관리해야 했다. 새 방식은 참여 사업자들이 같은 신호를 읽도록 해 여러 업체에 동일한 학습 선호를 전달하는 작업을 줄이는 데 목적이 있다. 모든 AI 사업자가 자동으로 따르는 의무 규정이 아니라, 참여 업체가 자발적으로 존중하는 신호다.

OpenAI가 연결한 IETF 인터넷 초안은 robots.txt의 User-Agent 항목에 __usage_ai-training이라는 공통 정책 토큰을 쓰는 방식을 제안한다. 기존 Allow와 Disallow 규칙으로 경로별 선호를 표현하며, robots.txt에 새로운 지시어나 문법을 추가하지 않는다. 예를 들어 사이트 전체에 학습을 원하지 않는다는 의사를 표시하면서 특정 공개 자료 경로에는 다른 선호를 지정할 수 있다.

여기서 학습에 관한 선호와 크롤러의 접근 규칙은 구별된다. 초안은 공통 토큰이 크롤링 동작 자체를 지시하는 것은 아니라고 명시한다. 방문 수집을 제한하려는 운영자는 크롤러별 접근 규칙을 별도로 관리할 수 있다. 이 신호를 추가하는 것만으로 모든 AI의 접근이나 콘텐츠 이용이 기술적으로 차단되는 것은 아니다.

OpenAI는 공통 신호가 기존 제어 수단을 대체하지 않는다고 밝혔다. 현재 공식 크롤러 문서도 검색용 OAI-SearchBot과 학습용 GPTBot의 설정을 독립적으로 취급한다. 운영자가 검색 노출을 허용하면서 생성형 AI 기반 모델 학습에는 콘텐츠가 쓰이지 않도록 GPTBot을 제한하는 구성이 가능하다는 설명이다.

표준화 상태도 구분할 필요가 있다. 연결된 문서는 10월 30일자 draft-kelley-aipref-training-preference-signal-00으로, 확정된 RFC가 아닌 작업 중인 인터넷 초안이다. 생성형 AI 모델의 학습 매개변수를 수정하는 용도를 대상으로 하며, 분류·순위 산정·점수 부여만 수행하는 비생성 작업은 해당 학습 범주에서 제외한다.

웹사이트와 콘텐츠 발행자 입장에서는 업체별 규칙 관리 부담을 줄일 가능성이 있다. 다만 OpenAI의 실제 적용은 아직 예정 단계다. 회사별 구현과 참여 범위가 구체화되기 전까지 공통 신호를 이미 시행 중인 일괄 차단 수단으로 받아들여서는 안 된다.

출처: OpenAI 공식 블로그 https://openai.com/index/helping-websites-express-ai-training-preferences/
IETF 인터넷 초안 https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/
OpenAI 공식 크롤러 문서 https://developers.openai.com/api/docs/bots