NVIDIA, 에이전트 AI용 Vera CPU 채택 사례 공개

NVIDIA 공식 블로그는 7일(현지시간) 에이전트 AI 워크로드를 겨냥한 Vera CPU의 채택 사례와 성능 지표를 공개했다. 회사는 AI 에이전트가 도구 호출, 코드 실행, 데이터 처리, 결과 검증을 반복하는 과정에서 CPU가 응답 시간과 GPU 활용률에 직접 영향을 준다고 설명했다.

이번 발표의 핵심은 데이터센터 CPU 경쟁의 초점이 단순 코어 수에서 에이전트 루프의 지연 시간으로 옮겨가고 있다는 주장이다. NVIDIA는 클라우드 환경에서 고코어·저비용 구조로 진화한 기존 CPU가 대규모 에이전트 작업의 단일 단계 지연을 줄이는 데 한계가 있다고 봤다. 에이전트 작업은 앞 단계 결과가 다음 모델 호출의 입력이 되는 연쇄 구조이기 때문에, 개별 코어의 실행 속도와 예측 가능한 메모리 접근이 중요하다는 설명이다.

NVIDIA에 따르면 Vera는 회사의 자체 Olympus 코어를 기반으로 하며, Grace 대비 명령어 처리량을 높이고 LPDDR5X 메모리 대역폭과 단일 컴퓨트 다이 구조를 결합했다. 회사는 Vera가 에이전트 실행을 대표하는 부하 조건에서 x86 대비 지속적인 코어당 성능을 1.8배 높였다고 밝혔다. 제품 페이지에서는 코드 컴파일, 파이썬 도구 실행, 코드 분석 등 에이전트형 샌드박스 작업에서 최대 1.8배 성능 향상을 제시했다.

파트너 사례도 함께 공개됐다. NVIDIA는 Perplexity가 실제 코딩 워크플로를 대상으로 Vera를 시험했으며, 저장소를 복제하고 테스트 스위트를 실행하는 작업에서 x86 대비 약 1.5배 빠른 완료 시간을 확인했다고 밝혔다. 동시 샌드박스 시작 시간은 최대 1.9배 빨라졌다는 설명도 덧붙였다. Starburst와 Redpanda의 데이터 처리 워크로드에서는 각각 대규모 SQL 분석과 실시간 스트리밍 지연 시간 개선 사례가 언급됐다.

Vera는 NVIDIA Vera Rubin 시스템에서 GPU를 호스트하는 CPU이자, 독립형 CPU 랙 구성으로도 쓰이도록 설계됐다. NVIDIA 제품 페이지는 Vera CPU 랙이 최대 256개 CPU를 통합해 2만2500개 이상의 동시 환경을 실행할 수 있다고 설명한다. 이는 강화학습, 코드 실행, 데이터 파이프라인, 에이전트 평가 루프처럼 GPU 바깥에서 병목이 생기기 쉬운 작업을 CPU 인프라 차원에서 다루려는 접근이다.

이번 발표는 AI 인프라 경쟁이 GPU 성능만으로 설명되기 어려워졌다는 점을 보여준다. 모델이 긴 추론과 도구 사용을 수행할수록, 데이터센터는 모델 계산뿐 아니라 모델 주변의 실행 환경까지 함께 최적화해야 한다. NVIDIA가 Vera를 '에이전트를 위한 CPU'로 내세운 것도 이 변화와 맞물린다.

다만 발표된 성능 수치와 파트너 시험 결과는 NVIDIA가 공개한 자료 기준이다. 실제 운영 환경에서는 에이전트 구조, 샌드박스 구현, 메모리 요구량, GPU와 CPU 사이의 데이터 이동 방식에 따라 효과가 달라질 수 있다. 독립 벤치마크와 클라우드 사업자의 상용 도입 범위가 확인되면 Vera의 시장 영향도 더 분명해질 것으로 보인다.

출처: NVIDIA Blog https://blogs.nvidia.com/blog/nvidia-vera-max-single-threaded-cpu-at-scale/ · NVIDIA Vera CPU https://www.nvidia.com/en-us/data-center/vera-cpu/