OpenAI, GPT-Live 음성 AI 실시간 시스템 구조 공개

OpenAI 공식 기술 블로그에 따르면 회사는 실시간 음성 시스템 ‘GPT-Live’에서 음성 모델이 듣기와 발화를 동시에 처리하도록 설계했다. 대화 차례를 별도 감지기가 판단하던 기존 방식과 달리, 오디오를 모델로 연속 전달하는 전이중 구조를 채택해 응답 지연과 사용자 발화 끊김을 줄이는 것이 핵심이다.

OpenAI는 종전 음성 AI가 음성 인식, 언어 모델, 음성 합성 또는 발화 차례 감지 단계를 순차적으로 거치면서 지연이 발생했다고 설명했다. GPT-Live는 미디어 흐름을 핵심 경로로 두고, 복잡한 추론이나 도구 호출은 별도 비동기 경로로 넘긴다. 도구 호출이나 백엔드 작업이 늦어져도 음성 프런트엔드의 흐름을 멈추지 않도록 한 구조다.

인프라 측면에서는 Go로 작성한 미디어 프런트엔드와 추론 로직, WebRTC 기반 전송을 사용했다고 밝혔다. OpenAI는 새 시스템의 프레임 전달 성능에서 p95가 이전 구현의 p50 수준에 맞먹었다고 설명했지만, 구체적인 지연 시간 수치는 공개하지 않았다.

장시간 대화에서 늘어나는 문맥도 별도 전환 작업으로 처리한다. 새 모델 인스턴스를 기존 세션과 함께 미리 준비하고, 필요한 문맥을 채운 뒤 준비가 끝난 시점에 전환하는 방식이다. 문맥 압축이나 인스턴스 교체 중에도 오디오가 끊기지 않게 하려는 설계다.

이번 공개는 음성 AI의 경쟁 지점이 단순한 음성 인식 정확도를 넘어, 자연스러운 대화 리듬을 유지하는 시스템 설계로 옮겨가고 있음을 보여준다. 특히 실시간 대화 중 검색·추론·도구 사용을 병행하려는 서비스에서는 실시간 미디어 처리와 무거운 작업을 분리하는 방식이 운영상의 기준점이 될 수 있다.

출처: OpenAI https://openai.com/index/continuous-voice-interaction-with-gpt-live/ · GPT-Live 소개 https://openai.com/index/introducing-gpt-live/ · OpenAI 음성 인프라 설명 https://openai.com/index/delivering-low-latency-voice-ai-at-scale/