Cloudflare, AI Gateway에 실시간 비용 한도 도입…모델 사용 예산 통제 강화

Cloudflare 공식 블로그에 따르면 회사는 5일 AI Gateway에 실시간 비용 한도 기능을 도입했다. 이 기능은 여러 AI 모델 제공업체로 향하는 요청을 Cloudflare AI Gateway에서 먼저 받아 사용량과 비용을 집계하고, 설정한 예산을 넘는 요청을 차단하거나 다른 모델로 돌릴 수 있게 하는 기능이다.

이번 업데이트는 기업 내부에서 AI 사용이 빠르게 늘어나는 과정에서 생기는 비용 관리 문제를 겨냥한다. Cloudflare는 하나의 공유 API 키로 여러 직원이나 시스템이 모델을 호출하면 누가 어떤 모델에 얼마를 썼는지 파악하기 어렵다고 설명했다. 모델 비용을 사후 청구서로만 확인하는 방식으로는 부서별 사용량, 자동화 작업의 폭주, 고가 모델 남용을 제때 제어하기 어렵다는 것이다.

새 비용 한도는 토큰 수가 아니라 달러 기준으로 설정된다. 관리자는 모델, 제공업체, 사용자·팀·애플리케이션 같은 사용자 정의 속성을 조합해 일간·주간·월간 한도를 만들 수 있다. AI Gateway는 요청별 모델 가격을 기준으로 누적 비용을 계산하고, 한도에 도달하면 기본적으로 추가 요청을 막는다. 필요하면 동적 라우팅 규칙을 통해 더 저렴한 대체 모델로 요청을 보내는 방식도 사용할 수 있다.

Cloudflare는 Cloudflare Access와 연동한 신원 기반 예산·정책 기능도 비공개 베타로 공개했다. 이 기능은 기존 신원 제공업체의 그룹 정보를 활용해 직원, 팀, 서비스 토큰 단위로 AI 사용량을 분리해 볼 수 있게 한다. 사람이 직접 쓰는 AI 도구뿐 아니라 CI/CD 파이프라인이나 자율 에이전트에도 별도 신원을 부여해 비용과 정책을 구분하는 구상이다.

AI Gateway는 OpenAI, Anthropic, Google 등 여러 AI 제공업체 호출 앞단에 배치되는 게이트웨이 제품이다. Cloudflare는 기존에 로깅, 응답 캐싱, 속도 제한, 콘텐츠 가드레일, 개인정보와 비밀정보 차단 기능을 제공해 왔고, 이번 업데이트로 비용 통제 기능을 핵심 기능에 추가했다. AI 도입이 실험 단계를 넘어 운영 비용 관리의 문제로 이동하고 있다는 점을 보여준다.

출처: Cloudflare Blog https://blog.cloudflare.com/ai-gateway-spend-limits/ / Cloudflare Developers Docs https://developers.cloudflare.com/ai-gateway/features/spend-limits