Vercel, AI Gateway 라우팅 규칙 베타 공개…모델 교체·차단을 게이트웨이에서 제어

Vercel 공식 변경 로그와 문서에 따르면 Vercel은 2일(현지시간) AI Gateway에 라우팅 규칙 기능을 베타로 추가했다. 이 기능은 팀의 AI Gateway 자격 증명으로 들어오는 모델 요청에 적용되며, 애플리케이션 코드가 아니라 게이트웨이 계층에서 모델 사용 정책을 바꾸는 방식이다.

라우팅 규칙은 크게 두 가지다. ‘Rewrite’ 규칙은 특정 모델로 들어온 요청을 다른 모델이 처리하도록 바꾼다. Vercel은 모델 장애나 은퇴, 비용 최적화, 표준 모델 전환 같은 상황에서 코드 수정 없이 트래픽을 옮길 수 있다고 설명했다. ‘Deny’ 규칙은 승인하지 않은 모델 요청을 차단하며, 해당 요청에는 403 오류가 반환된다.

이번 기능은 AI 애플리케이션 운영에서 모델 선택이 점점 인프라 정책의 영역으로 이동하고 있음을 보여준다. 여러 모델과 공급자를 함께 쓰는 서비스는 성능, 비용, 보안, 규제 요건에 따라 모델 사용 범위를 자주 조정해야 한다. 그동안 이런 조정은 애플리케이션 코드나 배포 파이프라인에 묶이는 경우가 많았다.

Vercel 문서에 따르면 라우팅 규칙은 팀 단위로 적용되고 CLI에서 관리된다. 규칙 변경은 전파에 짧은 시간이 걸릴 수 있으며, 진행 중인 요청은 이전 설정으로 완료되고 이후 새 요청부터 변경된 규칙을 따른다. Vercel은 이 기능이 베타 단계이며 일반 제공 전 변경될 수 있으므로 프로덕션 의존에는 주의가 필요하다고 안내했다.

기존 AI Gateway 기능과의 관계도 명시됐다. 라우팅 규칙은 요청을 처리하는 모델만 바꾸며, BYOK, 모델 fallback, 정렬, only 필터, 공급자 옵션 같은 요청 단위 설정과 제로 데이터 보존, 공급자 허용 목록 같은 팀 단위 설정은 대상 모델에도 계속 적용된다. 이는 모델 운영 정책을 애플리케이션 로직과 분리하려는 개발팀에 의미 있는 변화다.

출처: Vercel Changelog https://vercel.com/changelog/ai-gateway-routing-rules · Vercel Docs https://vercel.com/docs/ai-gateway/models-and-providers/routing-rules