애플, 맥 스튜디오 4대로 8160억 매개변수 AI 실행

애플이 데스크톱 컴퓨터 여러 대를 연결해 대형 언어모델을 로컬에서 실행한 실험 결과를 공개했다. 15일 애플 머신러닝 연구 블로그에 따르면 M5 Ultra 맥 스튜디오 4대에서 총 8160억 개의 매개변수를 갖춘 ‘Muse Spark Open’을 초당 36.73토큰으로 구동했다. 애플의 오픈소스 머신러닝 프레임워크인 MLX와 썬더볼트 5 기반 RDMA 통신을 활용한 애플 자체 벤치마크 결과다.

이번 실험은 한 대의 메모리에 담기 어려운 모델을 여러 맥에 나눠 실행하는 방식에 초점을 맞췄다. Muse Spark Open은 전체 매개변수 중 일부만 연산에 사용하는 전문가 혼합(MoE) 모델이다. 애플은 추론 때 활성화되는 매개변수를 420억 개로 설명했다. 전체 모델 크기와 매번 연산에 쓰이는 규모는 다르다.

모델은 4비트 NVFP4 형식으로 평가했다. 애플이 밝힌 모델 메모리 사용량은 약 493GB다. 맥 스튜디오 한 대의 최대 통합 메모리인 512GB에 근접하지만, 추론 도중 필요한 중간 연산용 메모리까지 더하면 한 대에 담을 수 없어 분산 실행이 필요하다는 설명이다.

공개한 초당 36.73토큰 수치는 입력 문맥 8192토큰을 처리한 뒤 128토큰을 생성하는 조건에서 측정했다. 같은 조건에서 맥 스튜디오 2대에 모델의 앞뒤 층을 나눠 배치하는 파이프라인 병렬화는 초당 15.74토큰을 기록했다. 4대 구성은 각 층의 연산을 여러 장비가 나눠 맡는 텐서 병렬화를 사용했다. 하드웨어 구성과 병렬화 방식이 함께 달라진 비교다.

장비 사이의 통신에는 썬더볼트 RDMA를 적용했다. RDMA는 다른 장비의 메모리와 데이터를 주고받을 때 통신 지연을 줄이는 기술이다. MLX의 JACCL 통신 백엔드가 이를 활용하며, 실험에서는 모든 맥 쌍을 각각 케이블 2개로 직접 연결했다. 층마다 작은 데이터를 자주 교환하는 텐서 병렬화에서는 이 통신 비용이 성능을 좌우한다.

도입에는 별도 설정이 따른다. MLX 공식 문서는 썬더볼트 5와 macOS 26.2 이상에서 RDMA를 사용할 수 있다고 안내한다. 현재는 각 맥을 복구 모드로 부팅해 기능을 활성화해야 하며, JACCL은 모든 장비가 서로 직접 연결된 완전 연결 구성을 요구한다. 단순히 같은 네트워크에 맥 여러 대를 연결하는 것과는 다르다.

이번 결과는 클라우드 대신 자체 장비에서 대형 모델을 운용하려는 개발자에게 구체적인 구성과 측정 조건을 제시한다. 다만 애플이 선택한 모델, 정밀도, 입력 길이와 출력 길이에 따른 자체 측정치다. 다른 서비스의 처리량이나 여러 사용자가 동시에 접속했을 때의 성능을 뜻하지는 않는다.

출처: 애플 머신러닝 연구 블로그
https://machinelearning.apple.com/research/mlx-distributed-inference
MLX 공식 분산 통신 문서
https://ml-explore.github.io/mlx/build/html/usage/distributed.html
애플 맥 스튜디오 공식 기술 사양
https://www.apple.com/mac-studio/specs/