
데이터브릭스가 서버리스 GPU 학습 환경인 AI Runtime(AIR)의 정식 제공을 발표했다. 21일 공식 블로그에 따르면 GPU 인프라 운영과 모델 개발 도구, 데이터 접근 통제를 통합해 기업이 별도 학습 클러스터를 관리하는 부담을 줄이는 서비스다.
AIR은 대규모 언어모델의 미세조정부터 컴퓨터 비전, 추천 모델, 분산 학습까지 지원한다. 이용자가 학습 코드를 제출하면 데이터브릭스가 GPU 확보와 클러스터 구성, 네트워크 및 장비 상태 점검을 맡는다. 공식 문서에는 명령줄 도구(CLI), 노트북, 작업 예약 기능, 분산 처리 프레임워크 Ray를 통한 접근 방식이 안내돼 있다.
개발 환경을 옮기는 방식도 열어 뒀다. 미리 구성된 실행 환경을 쓰거나 자체 도커 컨테이너를 가져올 수 있으며, 학습 데이터 로더와 환경 캐시를 제공한다. 회사는 미리 가동한 서버리스 GPU 자원과 필요한 이미지부터 읽는 방식을 활용해 작업 시작 시간을 수 초 수준으로 줄였다고 설명했다. 이는 회사가 제시한 서비스 특성으로, 모든 작업의 실행 시간을 보장한다는 의미는 아니다.
학습 이후 운영까지 기존 데이터 파이프라인에 연결하는 데도 초점을 맞췄다. Lakeflow와 연계해 앞뒤 데이터 처리 작업에 맞춰 GPU 작업을 실행하고, MLflow에서 실험과 로그를 추적할 수 있다. Genie Code는 학습 로그를 분석해 문제 원인과 다음 조치를 제안하는 디버깅 도구로 통합됐다.
데이터 통제에는 Unity Catalog를 적용한다. 데이터브릭스는 학습 데이터뿐 아니라 체크포인트와 로그 등 GPU 작업에서 생성되는 정보에도 일관된 읽기·쓰기 권한을 적용한다고 밝혔다. 가상머신 단위 격리와 PrivateLink, 서버리스 외부 통신 제어도 제공 기능으로 제시했다. 별도 GPU 운영 체계와 데이터 관리 체계를 연결해야 했던 기업을 겨냥한 구성이다.
다만 정식 출시가 모든 하드웨어와 지역에서 같은 조건으로 쓸 수 있다는 뜻은 아니다. AWS용 공식 문서는 A10과 H100을 안내하면서, B300 8개를 사용하는 구성은 대기 명단을 통해 제공하는 공개 프리뷰로 구분했다. GPU 공급은 워크스페이스와 지역에 따라 달라지며, 수요가 몰리면 자원 확보가 제한될 수 있다.
데이터 처리 위치와 장기 학습 조건도 살펴야 한다. 문서에 따르면 수요가 높은 경우 다른 리전의 GPU를 활용할 수 있고, 이에 따른 데이터 전송 비용이 발생할 수 있다. CLI 작업은 최대 14일, 연결된 노트북 세션과 노트북 작업은 최대 이틀까지 실행할 수 있어 긴 학습에는 체크포인트 저장과 재시작 설계가 필요하다.
이번 출시는 기업이 모델 학습에 필요한 GPU 운영과 데이터 통제를 한 플랫폼에서 다루는 선택지를 넓힌다. 실제 도입 범위는 지역별 제공 여부, 사용 가능한 GPU와 프리뷰 기능, 학습 시간 및 데이터 이동 조건을 기준으로 판단해야 한다.
출처: 데이터브릭스 공식 블로그 ‘AI Runtime is Generally Available’ https://www.databricks.com/blog/ai-runtime-generally-available
데이터브릭스 AWS 공식 문서 ‘AI Runtime’ https://docs.databricks.com/aws/en/machine-learning/ai-runtime/
데이터브릭스 AWS 공식 문서 ‘Overview’ https://docs.databricks.com/aws/en/machine-learning/ai-runtime/overview









