Google, Gemma 4 QAT 체크포인트 공개…노트북·모바일 온디바이스 실행 겨냥

Google 공식 블로그에 따르면 회사는 5일 Gemma 4 계열의 QAT 체크포인트를 공개했다. QAT는 모델을 학습하는 과정에서 양자화 영향을 함께 반영해, 학습 후 양자화 방식보다 압축 이후 품질 손실을 줄이는 접근이다. Google은 이번 공개가 엣지 기기와 소비자용 GPU에서 Gemma 4를 더 효율적으로 실행하기 위한 업데이트라고 설명했다.

이번 체크포인트는 널리 쓰이는 Q4_0 양자화 형식과 모바일 용도에 맞춘 별도 형식을 포함한다. Google은 모바일 형식을 적용하면 Gemma 4 E2B의 메모리 사용량을 1GB 수준까지 줄일 수 있다고 밝혔다. 텍스트 전용 E2B 모델은 일부 구성에서 1GB 미만 메모리로도 배포할 수 있다고 설명했다.

Google은 모바일 기기 실행을 위해 정적 활성화, 채널 단위 양자화, 일부 연산부의 2비트 양자화, 임베딩과 KV 캐시 최적화를 적용했다고 밝혔다. 이는 모바일 프로세서가 압축된 모델을 더 직접적으로 처리하고, 긴 대화에서 활성 메모리 사용량을 줄이는 데 초점을 둔 조정이다.

이번 공개는 대형 AI 모델 경쟁이 서버 성능뿐 아니라 로컬 실행 효율로 넓어지고 있음을 보여준다. 모델을 기기 안에서 실행하면 지연 시간을 줄이고 네트워크 의존도를 낮출 수 있지만, 메모리와 저장공간 제약이 크다. Google은 QAT 체크포인트를 통해 Gemma 4의 품질을 유지하면서도 이 제약을 낮추겠다는 방향을 제시했다.

개발자는 Hugging Face에서 Q4_0 및 모바일용 가중치를 내려받을 수 있다. Google은 llama.cpp, vLLM, Ollama, LM Studio, LiteRT-LM, Transformers.js, MLX, Unsloth 등 여러 도구에서 활용할 수 있도록 생태계 지원도 함께 안내했다.

출처: Google Blog https://blog.google/innovation-and-ai/technology/developers-tools/quantization-aware-training-gemma-4/