TurboFieldfare 공개…8GB 맥에서 Gemma 4 26B 구동

대형 언어모델의 가중치 전체를 메모리에 올리지 않고 소비자용 맥에서 실행하는 오픈소스 추론 엔진이 공개됐다. 개발자 안드레이 미하일로프가 공개한 TurboFieldfare 공식 저장소에 따르면 이 엔진은 애플 실리콘 맥에서 Gemma 4 26B-A4B 명령형 모델을 약 2GB의 상주 가중치와 KV 캐시로 구동한다.

핵심은 혼합전문가 구조와 SSD 스트리밍을 결합한 방식이다. Google의 Gemma 4 공식 모델 카드에 따르면 26B-A4B 모델은 전체 252억개 매개변수 가운데 토큰마다 약 38억개만 활성화하는 혼합전문가 모델이다. TurboFieldfare는 공통 가중치와 캐시는 메모리에 남겨두고, 각 토큰에 필요한 전문가 가중치만 SSD에서 읽어온다.

프로젝트 문서는 상주하는 공통 핵심부가 약 1.35GB이며 여기에 FP16 KV 캐시와 전문가 캐시가 더해진다고 설명한다. 4비트로 양자화한 전체 텍스트 모델은 저장장치에 약 14.3GB를 차지한다. 처음 설치할 때는 Hugging Face에서 약 15GB를 내려받아 전용 형식으로 다시 묶는다.

이 방식은 메모리 용량을 줄이는 대신 저장장치 접근 시간을 감수한다. 엔진은 라우터가 고른 전문가를 소규모 캐시에 유지하고, 캐시에 없는 가중치는 여러 개의 제한된 병렬 읽기 작업으로 불러온다. SSD 읽기가 진행되는 동안 GPU는 메모리에 남아 있는 공통 전문가 연산을 수행하도록 설계됐다.

구현은 Swift와 Metal로 작성됐다. MLX나 llama.cpp의 포장 계층이 아니라 Gemma 4 26B-A4B에 맞춘 전용 런타임이며, 양자화 행렬 연산과 어텐션, 정규화, 샘플링을 위한 Metal 커널을 포함한다. 프롬프트 입력은 최대 128토큰 단위로 나눠 처리하고 생성 단계에서는 토큰마다 필요한 전문가를 불러온다.

개발자가 공개한 측정치에서 8GB M2 맥북 에어의 생성 속도는 초당 5.1~6.3토큰이었다. 24GB M5 Pro에서는 초당 31~35토큰을 기록했다. 프로젝트는 프롬프트 길이와 생성 길이, 페이지 캐시 상태, 하드웨어에 따라 결과가 달라질 수 있으며 이 수치가 성능 상한은 아니라고 밝혔다.

TurboFieldfare는 네이티브 맥 앱과 명령줄 도구, 실험적인 OpenAI 호환 로컬 서버를 제공한다. 로컬 서버는 채팅 완성과 스트리밍, 함수 도구 선언을 지원하지만 실제 도구 실행 권한은 클라이언트가 통제해야 한다. 현재 범위는 텍스트 생성에 한정돼 이미지와 음성, 영상 입력은 지원하지 않는다.

사용 조건도 비교적 좁다. 애플 실리콘 맥과 macOS 26, Metal 4, Swift 6.2 이상이 필요하며 검증 대상으로는 8GB M2 맥북 에어가 제시됐다. 같은 모델 디렉터리를 앱과 명령줄 도구, 서버가 공유하지만 모델을 소유하는 프로세스는 한 번에 하나만 실행해야 한다.

소스 코드와 문서는 Apache 2.0 라이선스로 공개됐다. 모델 가중치는 저장소에 포함되지 않고 원본 배포 조건을 따른다. 개발자는 이 프로젝트가 Google과 제휴하거나 후원받은 것이 아닌 독립 연구 프로젝트라고 명시했다.

TurboFieldfare가 보여주는 장점은 제한된 통합 메모리에서도 더 큰 혼합전문가 모델을 실행할 수 있다는 점이다. 반면 SSD 대역폭과 캐시 적중률이 생성 속도에 직접 영향을 주고, 현재는 단일 모델과 최신 운영체제에 특화돼 있다. 일반적인 로컬 추론 도구를 대체하기보다 메모리와 속도를 맞바꾸는 전용 실행 방식에 가깝다.

공개된 성능과 메모리 수치는 개발자가 특정 하드웨어에서 측정한 결과다. 다른 애플 실리콘 기기에서의 재현성과 장시간 실행 시 저장장치 부하, 실제 응용 작업에서의 체감 성능은 독립 검증이 더 필요하다.

출처: TurboFieldfare 공식 저장소 https://github.com/drumih/turbo-fieldfare
출처: TurboFieldfare 벤치마크 문서 https://github.com/drumih/turbo-fieldfare/blob/main/docs/BENCHMARKS.md
출처: Google Gemma 4 공식 모델 카드 https://ai.google.dev/gemma/docs/core/model_card_4