메타, AMD GPU 추천모델 학습 최적화 공개…단순 이식 대비 처리량 최대 1.5배

메타와 AMD 연구진이 AMD GPU를 추천모델 학습에 적용하면서 처리량을 끌어올린 최적화 기법을 공개했다. 15일(현지시간) arXiv에 제출한 연구자 원문에 따르면 AMD Instinct MI350X에서 모델 구조와 소프트웨어를 함께 조정한 결과, 단순히 이식한 기준 대비 전체 학습 처리량이 최대 1.5배로 높아졌다.

이번 연구는 GPU 제품 자체의 성능 순위를 매기기보다, 특정 업체에 맞춰진 학습 환경을 다른 하드웨어로 옮길 때 필요한 조정을 다뤘다. 메타는 비용과 공급망, 특정 공급업체에 대한 의존도를 고려해 엔비디아 GPU, AMD GPU, 자체 MTIA 가속기를 함께 운영한다고 설명했다.

연구 대상은 이용자와 콘텐츠의 관계를 학습해 추천에 쓰는 딥러닝 추천모델(DLRM)이다. 추천모델은 행렬 크기와 메모리 접근 형태가 다양해 코드를 그대로 옮기는 것만으로 충분한 성능을 내기 어렵다. 연구진은 ROCm 라이브러리, 연산 커널, 모델 설계와 분산 학습을 함께 손보는 접근을 택했다.

메모리 용량 차이는 설계의 출발점이었다. 논문에 기재된 MI350X의 고대역폭메모리(HBM)는 288GB로, 비교에 사용한 B200의 180GB보다 1.6배 크다. 연구진은 이 여유를 GPU당 학습 배치 확대와 중간 계산값의 재계산 축소에 활용했다. 모델과 데이터를 여러 GPU에 나누는 방식도 함께 조정했다.

행렬 연산에는 ‘Origami’라는 분석 기반 성능 모델을 도입했다. 여러 연산 설정을 실제로 반복 실행해 고르는 대신, 하드웨어 특성과 행렬 형태를 바탕으로 적절한 커널 구성을 예측하는 방식이다. AI 에이전트는 CUDA 코드를 AMD 환경으로 옮기는 과정의 컴파일 오류 수정과 하드웨어별 커널 최적화 등에 활용했다.

연구진은 실제 운영에 쓰는 추천모델 10종도 비교했다. GPU 수와 배치 크기를 맞춘 조건에서 MI350X의 학습 처리량은 B200 대비 기하평균 101.2%였다. 실험 규모는 모델별로 8개에서 128개 GPU였으며, 개별 모델의 비율은 82%에서 130%까지 달랐다. 최대 1.5배라는 개선 폭은 이 B200 비교가 아니라 단순 이식한 기준 대비 수치다.

전력 조건도 같지 않았다. 메타의 공랭식 운영 환경에서 MI350X의 전력 한도는 1000W, B200은 750W로 설정됐다. 논문은 전력 대비 성능에서는 B200이 우세하다고 밝혔다. 따라서 처리량이 비슷하다는 결과를 동일 전력에서의 효율이나 일반 판매 구성의 성능으로 확대해 해석하기는 어렵다.

남은 과제도 있다. MI350X는 TF32 연산을 하드웨어에서 직접 지원하지 않아 다른 연산을 조합하는 비용이 들고, 불규칙한 행렬 크기를 처리하는 라이브러리의 성숙도에서도 차이가 났다. 연구진은 추천모델 중심의 이번 평가와 별개로 대규모 언어모델 학습 결과의 상세 분석은 후속 연구로 남겼다.

연구진에 따르면 관련 개선은 PyTorch, Triton, ROCm 오픈소스 생태계에 반영됐다. 이번 사례는 GPU 공급처를 다변화하려면 코드의 실행 호환성을 확보하는 데서 더 나아가, 모델 구조와 메모리 사용, 커널 선택까지 함께 설계해야 함을 보여준다.

출처: 메타·AMD 연구진 논문 「Architecting for Hardware Diversity: Meta’s End-to-End Co-Design for High-Performance AI Training on AMD GPUs」 arXiv 초록 https://arxiv.org/abs/2610.22230
논문 HTML 원문 https://arxiv.org/html/2610.22230v1
논문 PDF 원문 https://arxiv.org/pdf/2610.22230