NVIDIA, GB300 NVL72 전력당 추론 성능 공개…호퍼 대비 최대 25배 주장

NVIDIA가 14일(현지시간) 공식 블로그를 통해 GB300 NVL72의 대규모 인공지능(AI) 추론 전력 효율 측정 결과를 공개했다. 회사는 최신 오픈 모델을 구동한 테스트에서 이전 호퍼 세대 대비 전력당 성능이 최대 25배 높았다고 주장했다.

NVIDIA가 제시한 수치는 모델과 운용 조건에 따라 달랐다. DeepSeek V4 Pro에서는 최대 25배, GLM 5.1에서는 최대 20배, 장시간 에이전트 작업에 맞춘 Kimi K2.6에서는 최대 10배의 전력당 성능 향상을 기록했다는 설명이다. 블로그에 실린 그래프는 SemiAnalysis의 InferenceX 측정 자료를 출처로 표시했다.

회사는 단일 수치보다 지연시간과 처리량의 균형을 함께 봐야 한다고 강조했다. 같은 시스템도 응답 속도를 우선할 때와 처리량·비용을 우선할 때 최적 운용점이 달라지기 때문이다. 이를 위해 모델별 파레토 곡선과 시뮬레이션 도구 DynoSim을 활용해 실제 GPU 자원을 투입하기 전에 운용 조건을 검토할 수 있다고 설명했다.

전력 효율 개선의 배경으로는 랙 단위 설계와 추론 소프트웨어 최적화를 들었다. NVLink 스위치, NVIDIA Dynamo, TensorRT-LLM과 함께 NVFP4 양자화, 분리형 서빙, 전문가 병렬 처리, KV 캐시 라우팅·오프로딩 등을 결합해 GPU당 처리량을 높였다는 것이다. DeepSeek V4의 경우 소프트웨어 개선만으로 한 달 사이 전력당 성능이 최대 5배 향상됐다고 밝혔다.

데이터센터 전체 효율도 주요 변수로 제시됐다. NVIDIA는 냉각과 랙 운영 과정에서 전력 손실이 발생할 수 있다며, DSX MaxLPS가 GPU와 랙 사이의 전력을 실시간으로 조정해 같은 전력 예산에서 최대 40% 더 많은 GPU를 운용할 수 있다고 설명했다.

이번 발표는 AI 인프라 경쟁의 기준이 단순한 연산 성능에서 전력 예산당 토큰 처리량과 운영 비용으로 이동하고 있음을 보여준다. 다만 최대 25배와 40% 등 핵심 수치는 NVIDIA가 제시한 특정 모델·시스템 구성과 측정 조건에 따른 결과다. 서로 다른 하드웨어와 독립적인 실운영 환경에 그대로 적용할 수 있는지는 별도의 검증이 필요하다.

출처: NVIDIA 공식 블로그 https://blogs.nvidia.com/blog/performance-per-watt-ai-infrastructure-efficiency/