엔비디아, Vera Rubin 포스트트레이닝 전략 공개…AI 학습 경제성 전면에

엔비디아 공식 블로그에 따르면 회사는 17일 Vera Rubin 플랫폼을 에이전트형 인공지능의 지속적인 포스트트레이닝을 위한 기반으로 제시했다. 모델을 한 차례 학습한 뒤 배포하는 방식에서 벗어나, 운영 과정에서 발견되는 새로운 도구와 예외 상황을 다시 학습 과정에 반영하는 흐름이 AI 인프라의 핵심 부하로 떠오르고 있다는 설명이다.

엔비디아는 이를 설명하는 지표로 ‘달러당 지능’을 내세웠다. 추론 서비스의 경제성을 보여주는 토큰당 비용에 더해, 실제로 쓸 만한 모델을 만들고 변화하는 환경에 맞춰 성능을 유지하는 데 드는 비용까지 함께 살펴야 한다는 주장이다. 에이전트가 계획을 세우고 도구를 호출하며 오류에서 복구하는 과정이 길어질수록 반복적인 추론과 강화학습의 비중도 커진다.

회사가 제시한 포스트트레이닝 구조는 다수의 격리 환경에서 모델의 시도를 병렬로 생성하고, 보상 결과를 검증한 뒤 가중치를 갱신하는 순환 과정이다. NeMo Gym은 학습 환경을, NeMo RL은 분산 포스트트레이닝을 맡는다. Dynamo는 추론 자원을 배치하고 결과를 학습 과정으로 돌려보내는 역할을 한다. Vera CPU와 Rubin GPU, 네트워크를 하나의 시스템으로 묶어 이 반복 주기의 병목을 줄이겠다는 구상이다.

엔비디아는 Vera Rubin이 Blackwell 세대와 비교해 대형 모델 학습에 필요한 GPU 수를 4분의 1 수준으로 줄일 수 있다고 밝혔다. 다만 새 블로그에는 이 비교에 사용한 모델과 학습 목표, 시스템 구성, 전력 사용량, 완료 시간 등 세부 조건이 제시되지 않았다. 독립된 제3자 검증 결과도 공개되지 않아 수치는 회사 측 성능 전망으로 볼 필요가 있다.

제품 페이지에 따르면 Vera Rubin NVL72는 Rubin GPU 72개와 Vera CPU 36개, NVLink 6 스위치, ConnectX-9 SuperNIC, BlueField-4 DPU를 랙 규모로 통합한다. 별도의 Vera CPU 랙은 CPU 256개로 2만2500개가 넘는 동시 샌드박스 환경을 지원하도록 설계됐다. 엔비디아는 플랫폼이 본격 생산 단계에 들어갔다고 설명했다.

협력사 Prime Intellect도 강화학습용 샌드박스 부하에서 Vera CPU를 시험한 결과를 공개했다. 회사는 SMT를 켠 Vera가 AWS의 AMD Zen 5 물리 코어 구성보다 CPU당 평균 처리량이 30% 높았다고 밝혔다. 비교 환경과 가상화 구성에 차이가 있는 만큼 이 결과 역시 특정 워크로드에서 나온 협력사 측 측정값이다. Prime Intellect는 관련 메모리 부하 시험 코드를 공개해 재현 가능성을 열어뒀다.

이번 발표는 AI 인프라 경쟁의 무게중심이 사전학습과 추론 속도만이 아니라 배포 뒤 반복되는 학습 비용으로 넓어지고 있음을 보여준다. 에이전트가 실제 업무 환경에서 오래 작동할수록 샌드박스 실행, 보상 검증, 모델 갱신, 재배포를 하나의 운영 체계로 묶는 능력이 중요해진다. 다만 달러당 지능을 객관적인 산업 지표로 쓰려면 서로 다른 모델과 시스템을 같은 조건에서 비교할 수 있는 공개 방법론이 뒤따라야 한다.

출처: NVIDIA 공식 블로그 https://blogs.nvidia.com/blog/nvidia-vera-rubin-post-training-intelligence-per-dollar/
출처: NVIDIA Vera Rubin 제품 페이지 https://www.nvidia.com/en-us/data-center/technologies/rubin/
출처: NVIDIA Nemotron 3 Ultra 기술 블로그 https://developer.nvidia.com/blog/nvidia-nemotron-3-ultra-powers-faster-more-efficient-reasoning-for-long-running-agents/
출처: Prime Intellect 기술 블로그 https://www.primeintellect.ai/blog/nvidia-collaboration