Google, Gemma 4 QAT 체크포인트 공개…노트북·모바일 온디바이스 실행 겨냥

Google 공식 블로그에 따르면 Google은 Gemma 4 모델을 노트북과 모바일 기기에서 더 효율적으로 실행할 수 있도록 양자화 인식 학습(QAT)을 적용한 새 체크포인트를 공개했다. 이번 공개는 Gemma 4 출시 이후 멀티 토큰 예측과 12B 모델 추가에 이어, 모델을 엣지 기기와 소비자용 GPU에서 운용하기 쉽게 만드는 데 초점을 맞춘 업데이트다.

QAT는 모델을 학습하는 과정에서 양자화 영향을 함께 반영하는 방식이다. 일반적인 사후 양자화(PTQ)가 학습이 끝난 모델을 나중에 압축하는 데 비해, QAT는 압축 뒤 품질 저하를 줄이는 데 목적이 있다. Google은 이번 체크포인트가 널리 쓰이는 Q4_0 형식과 모바일 특화 형식을 포함한다고 설명했다.

가장 눈에 띄는 부분은 메모리 요구량이다. Google은 모바일 특화 양자화 형식을 적용해 Gemma 4 E2B의 메모리 사용량을 1GB로 줄였다고 밝혔다. 또한 일부 사용 사례에서 필요하지 않은 오디오·비전 인코더를 제외하면, Per-Layer Embeddings가 없는 Gemma 4 E2B 텍스트 전용 모델은 1GB 미만의 메모리로도 배포할 수 있다고 설명했다.

Google은 모바일 프로세서가 압축 모델을 효율적으로 처리할 수 있도록 정적 활성화, 채널 단위 양자화, 선택적 2비트 양자화, 임베딩과 KV 캐시 최적화를 적용했다고 밝혔다. 이는 단순히 파일 크기를 줄이는 것을 넘어, 실제 기기에서 토큰 생성을 안정적으로 처리하도록 연산 구조를 맞추려는 접근이다.

이번 공개는 온디바이스 AI 경쟁이 모델 크기와 실행 비용의 문제로 옮겨가고 있음을 보여준다. 대형 모델을 클라우드에서 호출하는 방식은 여전히 중요하지만, 지연시간, 비용, 개인정보 처리, 오프라인 실행 요구가 커지면서 작은 기기에서 직접 실행 가능한 모델의 의미도 커지고 있다.

개발자 생태계 지원도 함께 제시됐다. Google은 Q4_0 및 모바일 모델 가중치를 Hugging Face에서 제공하고, GGUF 형식은 llama.cpp에서 사용할 수 있으며 vLLM용 압축 텐서도 제공한다고 밝혔다. Ollama, LM Studio, LiteRT-LM, Transformers.js, SGLang, vLLM, MLX, Unsloth 등 주요 도구와의 연동도 안내했다.

다만 이번 발표는 특정 기기에서의 실제 체감 성능을 일괄적으로 보장한다기보다, 배포 선택지를 넓히는 성격이 강하다. 모바일과 노트북 환경에서는 메모리뿐 아니라 칩셋, 런타임, 모델 형식, 입력 길이에 따라 응답 속도와 발열, 배터리 사용량이 달라질 수 있다.

Gemma 4 QAT 체크포인트는 개발자가 로컬 실행과 엣지 배포를 실험할 수 있는 기반을 넓힌다. 특히 소형 모델을 제품 안에 직접 넣으려는 개발팀에는 모델 선택과 런타임 최적화가 별도 인프라 설계만큼 중요한 과제가 되고 있다.

출처: Google Blog - Gemma 4 QAT models: Optimizing model compression for mobile and laptop efficiency
https://blog.google/innovation-and-ai/technology/developers-tools/quantization-aware-training-gemma-4/

출처: Hugging Face - Gemma 4 QAT Q4_0
https://huggingface.co/collections/google/gemma-4-qat-q4-0

출처: Hugging Face - Gemma 4 QAT Mobile
https://huggingface.co/collections/google/gemma-4-qat-mobile