Google, Gemma 4 QAT 체크포인트 공개…온디바이스 AI 메모리 부담 낮춘다

Google 공식 블로그에 따르면 Google DeepMind는 6월 5일 Gemma 4 제품군에 양자화 인식 학습(QAT)을 적용한 새 체크포인트를 공개했다. 이번 배포는 모델의 메모리 요구량을 줄이고, 노트북·모바일 기기·소비자용 GPU에서 로컬 실행 성능을 높이는 데 초점을 맞췄다.

Google은 Gemma 4를 공개한 뒤 추론 속도를 높이는 Multi-Token Prediction과 12B 모델을 추가한 데 이어, 이번에는 압축 과정에서 품질 저하를 줄이는 QAT 체크포인트를 내놓았다. 회사는 QAT가 학습 중 양자화 과정을 반영해 사후 양자화(PTQ)보다 품질 보존에 유리하다고 설명했다.

이번 릴리스에는 Q4_0 형식 체크포인트와 모바일 사용 사례에 맞춘 별도 양자화 형식이 포함됐다. Google은 모바일 형식을 적용하면 Gemma 4 E2B의 메모리 사용량을 1GB 수준으로 낮출 수 있으며, 텍스트 전용 구성에서는 1GB 미만으로도 실행할 수 있다고 밝혔다.

기술적으로는 정적 활성화, 채널 단위 양자화, 일부 토큰 생성 영역의 2비트 양자화, 임베딩과 KV 캐시 최적화가 핵심으로 제시됐다. 이는 모바일 프로세서에서 불필요한 연산을 줄이고, 긴 대화나 엣지 환경에서 발생하는 메모리 부담을 낮추려는 접근이다.

개발자 생태계 지원도 함께 제공된다. Google은 Hugging Face에 Q4_0 및 모바일 모델 가중치를 공개했으며, GGUF 형식은 llama.cpp에서 사용할 수 있고 압축 텐서는 vLLM용으로 제공된다고 설명했다. LiteRT-LM, Transformers.js, Ollama, LM Studio, SGLang, MLX 등 로컬·웹·서버 실행 도구와의 연계도 언급됐다.

이번 공개는 개방형 모델의 경쟁 축이 단순 성능뿐 아니라 배포 효율과 실제 실행 비용으로 이동하고 있음을 보여준다. 특히 온디바이스 AI는 개인정보 보호, 지연 시간, 네트워크 비용 측면에서 장점이 있지만, 메모리와 연산 자원이 제한적이다. QAT 체크포인트는 이러한 제약을 줄여 소형 기기에서 활용 가능한 모델 범위를 넓히는 신호로 볼 수 있다.

출처: Google 공식 블로그 https://blog.google/innovation-and-ai/technology/developers-tools/quantization-aware-training-gemma-4/ , Hugging Face Google Gemma 4 QAT Q4_0 https://huggingface.co/collections/google/gemma-4-qat-q4-0 , Google AI for Developers 문서 https://ai.google.dev/gemma/docs/core