Google, 브라우저용 AI 추론 런타임 LiteRT.js 공개

Google Developers Blog 공식 발표에 따르면 Google은 2026년 7월 9일 웹 브라우저 안에서 AI 모델을 로컬로 실행하는 JavaScript 런타임 LiteRT.js를 공개했다. LiteRT.js는 Google의 온디바이스 AI 런타임 LiteRT를 웹 환경으로 확장한 도구로, 웹 애플리케이션에서 서버 호출 없이 모델 추론을 수행하는 데 초점을 둔다.

Google은 LiteRT.js가 JavaScript와 TypeScript 기반 웹 앱에서 텍스트 생성, 객체 감지, 오디오 처리 같은 작업을 클라이언트 측에서 실행할 수 있게 한다고 설명했다. 브라우저 안에서 모델이 동작하면 지연 시간을 줄이고, 서버 추론 비용을 낮추며, 민감한 입력을 외부 서버로 보내지 않는 구조를 만들 수 있다.

기술적으로는 WebAssembly 기반 CPU 실행을 기본 축으로 두고, WebGPU와 향후 WebNN을 활용한 하드웨어 가속을 지원한다. Google AI Edge 문서에 따르면 LiteRT.js는 XNNPack을 Wasm에 매핑해 CPU 성능을 확보하고, GPU와 전용 가속기 확장을 위해 WebGPU와 WebNN API를 노출한다.

모델 변환 경로도 발표의 핵심이다. LiteRT.js는 기존 LiteRT 생태계와 같은 .tflite 형식을 사용하며 PyTorch, JAX, TensorFlow 모델을 변환해 웹에서 실행할 수 있도록 설계됐다. Google 문서는 PyTorch 모델을 LiteRT로 변환한 뒤 브라우저에서 WebGPU, WebNN, Wasm 중 실행 가속기를 선택해 구동하는 흐름을 제시한다.

기존 TensorFlow.js 사용자를 위한 연동도 포함됐다. Google은 LiteRT.js가 TensorFlow.js 텐서를 입출력 경계로 사용할 수 있고, 기존 전처리·후처리 파이프라인과 함께 동작하도록 설계됐다고 밝혔다. 이는 웹 AI 개발자가 전체 앱 구조를 다시 만들기보다 모델 실행 부분부터 점진적으로 전환할 수 있게 하려는 접근이다.

이번 공개는 웹 브라우저가 AI 애플리케이션의 단순 UI를 넘어 실행 환경으로 확장되는 흐름을 보여준다. 그동안 고성능 추론은 서버 GPU나 모바일 네이티브 런타임에 의존하는 경우가 많았지만, WebGPU와 경량 모델 생태계가 성숙하면서 브라우저 안에서도 실시간 추천, 검색, 분류, 보조 기능을 직접 처리할 수 있는 가능성이 커졌다.

다만 실제 성능은 모델 크기, 브라우저 지원, 사용자 기기, WebGPU·WebNN 구현 상태에 따라 달라진다. 특히 기업 서비스가 LiteRT.js를 도입하려면 모델 다운로드 크기, 캐싱 전략, 브라우저별 호환성, 개인정보 처리 고지, 저사양 기기 대응을 함께 검토해야 한다.

개발자 관점에서는 웹 기반 AI 기능의 배포 단위가 달라질 수 있다. 서버 추론 API에 모든 요청을 보내는 방식과 달리, 일부 추론을 로컬 브라우저로 옮기면 비용 구조와 개인정보 보호 설계가 바뀐다. LiteRT.js는 이런 변화 속에서 Google이 Android, iOS, 데스크톱, 웹을 아우르는 공통 엣지 AI 런타임을 강화하려는 움직임으로 볼 수 있다.

출처: Google Developers Blog https://developers.googleblog.com/litertjs-googles-high-performance-web-ai-inference/ · Google AI Edge https://developers.google.com/edge/litert/web