OpenAI, GPT-5.6 효율화 공개…커널 개선으로 서빙 비용 20% 절감

OpenAI 공식 기술 설명에 따르면 GPT-5.6은 모델 자체뿐 아니라 추론 인프라와 에이전트 실행 계층까지 함께 최적화했다. 회사는 GPU 커널 개선으로 종단 간 모델 서빙 비용을 20% 낮추고, 추측 디코딩 개선으로 토큰 생성 효율을 15% 이상 높였다고 밝혔다.

OpenAI는 추론 효율을 높이기 위해 요청 라우팅과 스케줄링, 캐시, GPU 커널, 모델 구현을 함께 손봤다. GPT-5.6 Sol을 Codex에서 활용해 실제 트래픽의 부하 불균형을 찾고 새로운 라우팅 방식을 시험했으며, 요청의 문맥 길이와 캐시 상태, 가속기 종류에 따라 작업을 분산하는 규칙도 조정했다.

모델의 순전파 과정에서는 미리 계산하거나 생략할 수 있는 작업을 찾고, 병렬화가 가능한 부분을 다시 구성했다. OpenAI는 GPT-5.6 Sol이 Triton과 Gluon으로 작성된 운영용 GPU 커널을 직접 재작성·최적화했다고 설명했다. 이 작업과 더 넓은 범위의 커널 개선을 합친 결과가 종단 간 서빙 비용 20% 절감으로 이어졌다는 것이다.

추측 디코딩도 효율 개선의 한 축이다. 작은 초안 모델이 여러 토큰을 먼저 제안하고 주 모델이 이를 병렬 검증하는 방식으로 순차 연산을 줄인다. OpenAI에 따르면 GPT-5.6 Sol은 자체 초안 모델 구조를 대상으로 수백 건의 실험을 설계·실행했고, 학습 중 하드웨어 장애와 불안정에도 개입했다. 그 결과 토큰 생성 효율이 15% 넘게 향상됐다.

에이전트 실행 계층은 반복 비용을 줄이는 데 초점을 맞췄다. OpenAI는 Codex와 ChatGPT Work가 사용하는 실행 계층을 러스트 기반 오케스트레이션 시스템으로 설명했다. 필요한 도구와 플러그인만 뒤늦게 불러오는 지연 탐색을 적용하고, 도구 출력은 기본 1만 토큰으로 제한해 문맥 팽창을 억제한다.

프롬프트 캐시 적중률을 높이기 위해 모델에 보이는 기록은 기존 내용을 바꾸지 않고 뒤에 추가하는 방식으로 관리한다. 도구 정의 순서도 일정하게 유지한다. 같은 지시와 대화 기록이 에이전트 반복 과정에서 여러 차례 전송되는 만큼, 동일한 앞부분을 보존해 재계산을 줄이려는 설계다.

GPT-5.6 제품군은 고성능 모델 Sol, 균형형 Terra, 비용 효율형 Luna로 구성된다. 공식 개발자 문서에서 Sol은 105만 토큰 문맥 창과 최대 12만8000개 출력 토큰을 지원하며, API 가격은 100만 토큰당 입력 5달러와 출력 30달러다. OpenAI는 효율 개선이 같은 하드웨어에서 더 많은 요청을 처리하고 모델 사용 비용을 낮추는 기반이라고 설명했다.

이번에 공개된 20%와 15% 수치는 OpenAI가 자사 운영 환경에서 측정한 결과다. 회사는 세부 실험 조건이나 절대 비용을 공개하지 않아 외부에서 같은 폭의 개선을 재현할 수 있는지는 확인하기 어렵다. 다만 모델 성능 경쟁이 벤치마크 점수뿐 아니라 추론 비용과 에이전트 실행 오버헤드를 줄이는 시스템 설계로 확장되고 있음을 보여준다.

출처: OpenAI GPT-5.6 효율화 기술 공식 설명 https://openai.com/index/gpt-5-6-frontier-intelligence-efficiency/
출처: OpenAI GPT-5.6 공식 발표 https://openai.com/index/gpt-5-6/
출처: OpenAI GPT-5.6 Sol 공식 모델 문서 https://developers.openai.com/api/docs/models/gpt-5.6-sol