Cloudflare, AI 트래픽 관리 세분화…검색·에이전트·학습 봇 구분

Cloudflare 공식 블로그에 따르면 회사는 2026년 7월 1일 웹사이트 운영자가 AI 관련 자동화 트래픽을 더 세분화해 관리할 수 있는 새 옵션을 공개했다. 기존의 일괄적인 AI 봇 차단 흐름을 넘어, 트래픽 목적을 Search, Agent, Training 세 범주로 나눠 허용하거나 차단할 수 있게 한 것이 핵심이다.

Cloudflare는 AI 봇이라는 단일 표현만으로는 현재의 웹 자동화 흐름을 설명하기 어렵다고 봤다. 검색 색인을 만들기 위한 수집, 이용자를 대신해 실시간으로 작업을 수행하는 에이전트 접근, 모델 학습이나 미세조정을 위한 콘텐츠 수집은 웹사이트 운영자에게 서로 다른 의미를 갖기 때문이다. 회사는 봇 운영자가 여러 목적을 하나의 크롤러에 섞기보다 목적별 자동화를 분리해야 사이트 운영자가 접근 의도를 이해하고 선택할 수 있다고 설명했다.

새 설정은 Cloudflare 무료 요금제 이용자를 포함한 모든 고객에게 제공된다. Search는 사이트 콘텐츠를 수집해 나중에 질의 응답이나 검색 결과에 활용하는 행위로 정의됐다. Agent는 ChatGPT-User 같은 채팅 기반 fetch 봇이나 브라우저 사용 에이전트처럼 사람의 요청을 수행하기 위해 웹 애플리케이션에 접근하는 자동화 행위를 뜻한다. Training은 콘텐츠를 모델 학습이나 미세조정에 사용하는 수집 행위로 구분됐다.

기본값 변화도 예고됐다. Cloudflare는 2026년 9월 15일부터 새로 온보딩되는 도메인에 대해 광고가 표시되는 페이지에서는 Training과 Agent 범주를 기본 차단하고, Search는 기본 허용하겠다고 밝혔다. 회사는 광고가 있는 페이지를 사람이 방문해 봐야 하는 콘텐츠로 보고, 검색은 방문자를 다시 유입시킬 수 있는 행위로 분리했다.

다목적 크롤러에 대한 처리도 달라진다. Cloudflare는 Search와 Training을 함께 수행하는 크롤러의 경우 선택된 모든 행위 기준을 적용하겠다고 설명했다. 이에 따라 사이트 운영자가 Training을 차단하면 Googlebot, Applebot, BingBot처럼 검색과 학습 목적이 함께 분류된 크롤러도 가장 제한적인 규칙에 따라 차단될 수 있다. 운영자는 9월 15일 전 보안 설정에서 기본값 변경을 원하지 않는다고 명시할 수 있다.

기업용 Bot Management 고객을 위한 BotBase도 함께 공개됐다. BotBase는 Cloudflare가 추적하는 검증 봇과 에이전트를 검색 가능한 형태로 보여주는 데이터베이스다. Cloudflare는 우선 가시성 제공에 초점을 맞추고, 올해 말에는 알려진 자동화 트래픽을 직접 제어하는 기능으로 확장할 계획이라고 밝혔다.

이번 발표는 AI 서비스 확산 이후 웹 콘텐츠 접근 규칙이 다시 정리되고 있음을 보여준다. 웹사이트 운영자는 검색 노출, 이용자 대리 작업, 모델 학습이라는 서로 다른 목적을 구분해 판단하려 하고, 인프라 사업자는 이를 제품 설정과 봇 분류 체계로 옮기고 있다. 다만 Cloudflare의 분류와 기본값 변경은 자사 네트워크 안에서의 정책인 만큼, 실제 웹 전반의 표준으로 자리 잡을지는 주요 검색·AI 사업자의 크롤러 분리와 투명성 확보 여부에 달려 있다.

출처: Cloudflare Blog https://blog.cloudflare.com/content-independence-day-ai-options/