Xiaomi MiMo, 1조 파라미터 모델 1000TPS 추론 공개…FP4·DFlash 결합

Xiaomi MiMo 공식 블로그에 따르면 Xiaomi MiMo는 6월 8일 TileRT와 협업해 MiMo-V2.5-Pro-UltraSpeed를 공개했다. 회사는 1조 파라미터 규모 모델에서 1000 tokens/s 이상의 디코드 속도를 구현했다고 밝혔다.

이번 발표의 핵심은 모델 크기를 줄이는 양자화와 추론 단계의 병렬 예측을 함께 적용했다는 점이다. Xiaomi MiMo는 MoE 구조에서 파라미터 비중이 큰 전문가 영역에 FP4 양자화를 적용하고, 나머지 주요 모듈은 더 높은 정밀도로 유지했다고 설명했다. 여기에 DFlash라는 블록 단위 speculative decoding 방식을 결합해 한 번의 검증 단계에서 여러 토큰을 처리하도록 했다.

TileRT 공식 기술 글도 같은 발표를 두고 기존 연산자 단위 실행 방식의 경계를 줄이는 실행 모델과 모델·시스템 공동 설계가 필요했다고 설명했다. TileRT는 Persistent Engine, 타일 단위 파이프라인, 워프 특화 등으로 마이크로초 단위 병목을 줄였고, Xiaomi MiMo 모델 구조와 맞물려 1000TPS 구간에 도달했다고 밝혔다.

Xiaomi MiMo는 이 속도를 단일 표준 8-GPU 범용 노드에서 달성했다고 주장했다. 다만 이 수치는 회사와 협력사가 공개한 자체 기술 설명에 근거한 것으로, 독립적인 외부 벤치마크 검증 결과는 별도로 확인해야 한다.

서비스 측면에서는 UltraSpeed API가 제한된 신청 기반으로 제공된다. 공개 글에 따르면 체험 기간은 베이징 시간 기준 6월 9일부터 6월 23일 23시 59분까지이며, 승인된 사용자는 제한된 채팅 체험도 이용할 수 있다. API 가격은 기존 MiMo-V2.5-Pro 대비 3배로 안내됐다.

모델 공개도 함께 이뤄졌다. Hugging Face 모델 카드에는 MiMo-V2.5-Pro-UltraSpeed의 기반 모델인 MiMo-V2.5-Pro-FP4-DFlash가 MIT 라이선스로 공개된 것으로 표시돼 있다. 모델 카드는 FP4 양자화 백본과 BF16 DFlash drafter가 결합돼 1조 파라미터 모델 디코딩의 주요 비용인 파라미터 비트폭과 백본 forward pass 수를 줄인다고 설명한다.

이번 공개는 AI 모델 경쟁이 파라미터 규모와 벤치마크 점수뿐 아니라 실제 응답 지연 시간과 추론 인프라 효율로 확장되고 있음을 보여준다. 특히 코딩 에이전트, 실시간 대화, 도구 호출형 에이전트처럼 반복 추론이 많은 환경에서는 단일 응답 품질만큼 속도와 비용 구조가 서비스 경험을 좌우할 수 있다.

출처: Xiaomi MiMo Blog https://mimo.xiaomi.com/blog/mimo-tilert-1000tps
출처: TileRT Blog https://www.tilert.ai/blog/breaking-1000-tps.html
출처: Hugging Face XiaomiMiMo/MiMo-V2.5-Pro-FP4-DFlash https://huggingface.co/XiaomiMiMo/MiMo-V2.5-Pro-FP4-DFlash