NVIDIA, CVPR서 물리 AI 에이전트 스킬 공개…자율주행·로봇 연구 워크플로 자동화

NVIDIA 공식 블로그에 따르면 회사는 6월 3일(현지시간) CVPR 2026에서 자율주행차, 로봇, 비전 AI 시스템 개발을 위한 물리 AI 에이전트 스킬을 공개했다. 이 도구들은 NVIDIA Cosmos 3, Omniverse, Isaac Sim, Isaac Lab, Metropolis 등 기존 시뮬레이션·AI 개발 프레임워크와 결합해 데이터 생성, 시뮬레이션, 정책 학습, 평가 과정을 자동화하는 데 초점을 맞췄다.

NVIDIA는 물리 AI 연구의 병목이 단일 모델 성능만이 아니라 실제 장면 재구성, 엣지 케이스 생성, 정책 학습, 행동 평가를 반복하는 전체 워크플로에 있다고 설명했다. 이번에 공개된 에이전트 스킬은 연구자와 개발자가 자연어 또는 에이전트 기반 작업 지시로 복잡한 연구 절차를 연결할 수 있도록 설계됐다.

자율주행 분야에서는 Neural Reconstruction 스킬이 차량 데이터로 수집한 장면을 편집 가능한 3D 장면으로 바꾸고, 시뮬레이션과 합성 데이터 생성에 활용할 수 있도록 지원한다. NVIDIA는 Omniverse NuRec, InstantNuRec, Harmonizer, HiGS 렌더러 등을 함께 언급하며, 드문 도로 상황과 조명 변화, 비정형 상호작용 같은 장기 꼬리 시나리오를 반복 검증하는 데 의미가 있다고 밝혔다.

비전 AI 영역에서는 Metropolis 관련 스킬이 결함 이미지 생성, 영상 데이터 증강, 영상 검색·요약 워크플로를 지원한다. 제조·검사 모델 개발에서 희귀 결함 사례를 충분히 확보하기 어려운 문제를 합성 데이터와 의사 라벨링, 모델 평가 루프로 보완하려는 접근이다.

로봇 분야에서는 Isaac Sim 6.0과 Isaac Lab을 중심으로 장면 준비, 시뮬레이션 실행, 강화학습 설정, 정책 평가, 환경 검증을 에이전트가 보조한다. NVIDIA는 Isaac mobility 스킬과 COMPASS 기반 워크플로도 소개하며, 이동·조작 로봇 연구에서 시뮬레이션 환경 구성과 정책 반복 실험을 줄이는 효과를 강조했다.

공개 자료 기준 이번 발표는 생성형 AI가 텍스트·코드 영역을 넘어 물리 세계를 다루는 연구 인프라로 확장되고 있음을 보여준다. 특히 자율주행, 산업 검사, 로봇 학습처럼 안전성과 반복 검증이 중요한 분야에서는 실제 데이터만으로 확보하기 어려운 상황을 합성 데이터와 시뮬레이션으로 보강하는 흐름이 더 강해질 가능성이 있다.

다만 NVIDIA가 제시한 성능·효율성 주장은 공개 블로그와 관련 프로젝트 설명에 근거한 것으로, 실제 연구 환경에서의 재현성, 비용, 모델 편향, 합성 데이터 품질은 개별 도입 사례에서 추가 검증이 필요하다.

출처: NVIDIA 공식 블로그, “NVIDIA Enables the Next Era Of Physical AI Research With Agent Skills For Autonomous Vehicles, Robotics And Vision AI” (2026년 6월 3일) https://blogs.nvidia.com/blog/cvpr-physical-ai-research-agent-skills/
참고: NVIDIA Skills GitHub 저장소 https://github.com/NVIDIA/skills