Vercel AI Gateway, 실시간 음성 에이전트 지원…OpenAI·xAI 오디오 모델 연결

Vercel 공식 블로그에 따르면 Vercel은 29일(현지시간) AI Gateway에서 오디오와 음성 기능을 지원한다고 밝혔다. 이번 업데이트로 개발자는 실시간 음성, 텍스트 음성 변환, 음성 텍스트 변환 기능을 기존 AI Gateway 호출 방식 안에서 사용할 수 있다.

AI Gateway는 여러 AI 모델 제공자를 하나의 인터페이스로 연결하는 Vercel의 라우팅 계층이다. Vercel은 이번 오디오 지원이 기존 텍스트, 이미지, 비디오 모델 호출과 같은 구조로 제공되며, 제공자 라우팅, 관측성, 지출 제어, 자체 키 사용 기능도 함께 적용된다고 설명했다. 기능은 베타로 제공되며 AI SDK 7에서 사용할 수 있다.

핵심 변화는 음성 에이전트 개발 흐름이다. 실시간 음성 기능은 사용자가 말하는 동안 모델이 낮은 지연 시간으로 음성을 입력받고 음성으로 응답하는 방식이다. Vercel은 이 기능이 고객 지원 에이전트, 음성 비서, 손을 쓰기 어려운 작업 도구처럼 대화형 인터페이스가 필요한 서비스에 적합하다고 설명했다.

Vercel은 별도 변경 로그에서 xAI의 Grok 오디오 모델도 AI Gateway에서 사용할 수 있다고 밝혔다. 공개된 모델은 실시간 음성용 xai/grok-voice-think-fast-1.0, 음성 합성용 xai/grok-tts, 음성 인식용 xai/grok-stt다. Vercel 블로그의 예시는 OpenAI의 whisper-1을 음성 인식 모델로 사용하는 방식도 함께 보여준다.

이번 발표는 AI 개발 플랫폼의 경쟁 축이 텍스트 기반 챗봇과 코딩 보조 도구를 넘어 음성 인터페이스로 확장되고 있음을 보여준다. 개발팀 입장에서는 음성 입출력, 모델 라우팅, 비용 통제, 운영 관측성을 별도 시스템으로 나누어 설계하지 않고 하나의 SDK와 게이트웨이 안에서 묶어 다룰 수 있게 된다.

다만 베타 기능이라는 점은 실제 서비스 적용 시 고려해야 한다. 실시간 음성 에이전트는 지연 시간, 비용, 음성 데이터 처리 정책, 클라이언트 토큰 발급 방식 등 운영 변수의 영향을 크게 받는다. Vercel이 제시한 예시도 브라우저에 장기 API 키를 노출하지 않도록 서버 라우트에서 짧은 수명의 토큰을 발급하는 구조를 사용한다.

출처: Vercel 공식 블로그 https://vercel.com/blog/realtime-voice-agents-on-ai-gateway
Vercel Changelog https://vercel.com/changelog/realtime-voice-speech-and-transcription-now-supported-on-ai-gateway
Vercel Changelog https://vercel.com/changelog/xai-grok-audio-models-now-available-on-vercel-ai-gateway