
애플의 온디바이스 AI 모델을 실제 맥에서 관찰한 독립 실험 결과가 공개됐다. AI 기술 분석가 줄리앙 시몽이 25일 공개한 연구자 원문과 실험 자료에 따르면, Core Advanced는 긴 요청을 처리한 뒤 비교적 적은 메모리를 유지했지만 수학 문제에서는 함께 시험한 오픈 모델에 뒤졌다.
실험은 24~25일 M3 맥스 칩과 메모리 48GB를 탑재한 맥북프로에서 이뤄졌다. 운영체제는 macOS 27.0.1이었다. 시몽은 애플의 공개 명령줄 도구와 시스템 로그, 메모리·전력 측정 도구를 사용했으며, 모델 가중치를 열거나 메모리를 덤프하지 않았다고 밝혔다. 코드와 측정 자료는 GitHub에 공개했다.
애플 공식 연구 블로그는 AFM 3 Core Advanced를 전체 200억 개 매개변수 중 요청에 따라 10억~40억 개를 활성화하는 모델로 설명한다. 전체 가중치는 플래시 저장장치에 두고 필요한 전문가 신경망만 메모리로 불러온다. 토큰마다 전문가를 바꾸는 대신 프롬프트를 처리할 때 선택하고 생성 도중 주기적으로 다시 고르는 구조다.
독립 실험에서 5,000토큰 요청 처리 2초 뒤 측정한 메모리 사용량은 본 모델과 안전 모델을 합쳐 약 2.0GiB였다. 이 중 본 모델이 약 1.3GiB를 차지했다. 같은 측정 절차에서 비교한 오픈 모델의 메모리 사용량은 4비트 빌드가 3.4~4.6GiB, 8비트 빌드가 5.6~8.1GiB였다. 다만 2.0GiB는 요청 이후 특정 시점의 값이지 최대 사용량은 아니다. 애플 모델도 요청 도중 한 차례 측정에서는 약 3.4GiB를 사용했다.
수학 성능은 다른 양상을 보였다. GSM8K 수학 100문항을 별도 예시 없이 제시하고 온도를 0으로 설정한 실험에서 애플 모델은 78개를 맞혔다. 비교한 8비트 MLX 빌드의 정답 수는 Gemma 3 4B가 89개, Gemma 4 E4B가 94개, Qwen3 4B Instruct가 93개였다. 일반 지식 평가인 MMLU 200문항에서는 애플 모델이 134개를 맞혀 비교 모델의 118~144개 범위 안에 들었다.
이 수치는 단일 기기와 제한된 문제 집합에서 얻은 결과다. 모델별 양자화와 실행 경로도 같지 않아 차이를 모델 구조 하나의 효과로 단정할 수는 없다. 저장소는 직접 측정한 사실, 로그나 이름에서 읽은 정보, 추론한 내용을 구분하고 대부분의 측정이 단일 실행임을 명시했다. 모든 애플 기기나 실제 앱의 정확도를 대표하는 공식 벤치마크는 아니다.
애플의 개발자 문서도 온디바이스 언어 모델의 용도를 요약, 정보 추출, 분류, 문장 다듬기 등으로 제시한다. 반면 기본 수학, 코드 생성, 논리 추론은 적합하지 않을 수 있는 작업으로 분류한다. 이번 실험은 기기 내 AI를 도입할 때 매개변수 규모뿐 아니라 메모리 측정 시점과 실제 작업의 정확도를 함께 살펴야 한다는 점을 보여준다.
출처: Julien Simon 연구 원문 https://www.airealist.ai/p/exploring-apple-on-device-model · Julien Simon 공개 실험 저장소 https://github.com/juliensimon/apple-fm-mac · Apple Machine Learning Research https://machinelearning.apple.com/research/introducing-third-generation-of-apple-foundation-models · Apple Developer 공식 문서 https://developer.apple.com/documentation/foundationmodels/generating-content-and-performing-tasks-with-foundation-models









