구글, 온디바이스 AI 엔진 ‘ML Drift’ 오픈소스 공개

구글 AI Edge 팀이 8일(현지 날짜) 공식 개발자 블로그를 통해 온디바이스 AI·머신러닝 추론 엔진 ‘ML Drift’를 아파치 2.0 라이선스로 공개했다. 기기의 GPU에서 모델을 실행하는 엔진으로, 구글의 AI 런타임 LiteRT에 포함해 쓰거나 독립적인 라이브러리로 활용할 수 있다.

ML Drift는 OpenGL ES, OpenCL, Metal, WebGPU 등 서로 다른 GPU 인터페이스를 지원한다. 모바일 기기와 브라우저마다 GPU 구조와 드라이버가 달라 생기는 개발 부담을 줄이는 데 초점을 맞췄다. 공식 저장소에는 공통 연산 그래프와 통합 셰이더 언어를 바탕으로 여러 백엔드에서 같은 연산 코드를 활용하는 구조가 공개돼 있다.

주요 변화는 텐서의 논리적 형태와 GPU 메모리 배치를 분리하는 ‘텐서 가상화’다. 구글은 이를 통해 백엔드마다 별도의 셰이더 코드를 관리해야 하는 부담을 줄였다고 설명했다. LiteRT의 새 GPU 가속기는 5차원 텐서도 지원해, 기존 GPU 가속기에서 우회 처리가 필요했던 공간·시간 데이터 기반 모델의 실행 범위를 넓혔다.

대규모 언어모델에는 추론 단계별 최적화를 적용했다. 입력을 한꺼번에 처리하는 프리필과 토큰을 하나씩 출력하는 디코드는 연산량과 메모리 대역폭 요구가 다르다. ML Drift는 단계에 따라 커널과 데이터 배치를 바꾸고, 디코드 과정에서는 KV 캐시 배치와 양자화를 활용해 불필요한 메모리 이동을 줄인다.

구글에 따르면 이 엔진은 유튜브 쇼츠, 구글 포토, 크롬, 미트 등에서 이미 사용되고 있다. 회사는 쇼츠의 영상 분할 효과를 ML Drift로 옮긴 뒤 안드로이드와 iOS에서 평균 프레임 지연 시간이 최대 40% 줄었다고 밝혔다. 이 수치는 구글이 제시한 적용 사례의 결과로, 모든 모델과 기기에서 같은 개선 폭을 보장한다는 뜻은 아니다.

데스크톱 확장은 초기 프리뷰로 소개됐다. 윈도와 리눅스에서는 크로미엄의 WebGPU 구현인 Dawn을 활용하고, macOS에서는 Metal 백엔드를 사용한다. 구글은 모바일과 엣지 기기의 가벼운 추론을 우선하면서 개발자의 로컬 실행 환경에도 대응하겠다고 설명했다.

기존 텐서플로 라이트(TFLite) GPU 가속기를 쓰는 개발자는 전환 계획을 살펴볼 필요가 있다. 구글은 기존 가속기에 더 이상 신규 기능을 추가하지 않고 LiteRT ML Drift GPU 가속기로의 이전을 권고했다. 이는 기존 기능의 즉각적인 종료 발표와는 구분된다. ML Drift 가속 기능은 독립 LiteRT 패키지에서 이용할 수 있으며, Google Play 서비스에 포함된 LiteRT에는 추후 제공할 예정이다.

애플리케이션 개발자는 LiteRT GPU 가속기를 통해 모델을 실행할 수 있다. 별도 그래픽·추론 런타임을 만드는 개발자는 공개 저장소의 C++ API로 연산 그래프와 맞춤형 셰이더를 구성할 수 있다. 단말기에서 직접 AI를 처리하는 서비스에 여러 GPU 환경을 아우르는 공통 구현 선택지가 추가된 셈이다.

출처: 구글 개발자 블로그 https://developers.googleblog.com/ml-drift-next-gen-gpu-aiml-inference-at-the-edge/
구글 AI Edge ML Drift 공식 저장소 https://github.com/google-ai-edge/ml-drift
구글 LiteRT GPU 가속 공식 문서 https://developers.google.com/edge/litert/next/gpu