LLM 요청 몰리면 오히려 빨라졌다…하버드 연구진이 찾은 커널 최적화의 역설

하버드대 시스템 연구자 원문에 따르면 vLLM 추론 실험에서 요청 도착 간격이 더 불규칙해질수록 일부 구성의 출력 토큰 지연과 종단 지연이 줄어드는 현상이 나타났다. 연구진은 처음에는 버스트 트래픽이 프리필과 디코드 작업을 시간상 분리해 간섭을 줄인 결과로 봤지만, 커널 수준 분석을 거쳐 혼합 배치가 최적화된 빠른 경로를 사용하지 못하는 문제가 주된 원인이라고 설명했다.

연구진은 요청 간 도착 시간의 변동계수(CV)를 버스트 정도로 삼았다. Qwen3.5-9B 모델을 GH200에서 BurstGPT 워크로드로 실행한 결과, CV가 1인 포아송 도착에서 3.16의 높은 버스트 도착으로 바뀔 때 중앙값 기준 출력 토큰당 시간(TPOT)과 종단 지연이 약 50% 감소했다. 평균 TPOT는 70밀리초에서 30밀리초로 57% 줄었다. 각 조건은 요청 1천건을 대상으로 6차례 반복됐다.

요청이 한꺼번에 몰린 뒤 빈 구간이 생기면 엔진은 프리필이 섞이지 않은 디코드 전용 반복을 더 많이 수행한다. 연구진 측정에서 출력 토큰이 디코드 전용 반복에 포함되는 비중은 버스트가 강할 때 16.8%포인트 늘었다. 프리필과 디코드가 함께 실행되는 혼합 배치를 줄이면 디코드 토큰 처리 비용이 낮아지는 것처럼 보였다.

그러나 프로파일링 결과 성능 차이의 상당 부분은 자원 경합 자체보다 커널 선택에서 나왔다. Gated DeltaNet 계열인 Qwen3.5-9B는 디코드 전용 배치에서 빠른 재귀 델타 규칙 경로를 사용하지만, 혼합 배치에서는 디코드 시퀀스까지 64토큰으로 패딩하는 청크 커널을 거쳤다. 이 때문에 혼합 배치에서 불필요한 연산이 발생했다.

Grouped Query Attention 계열인 Llama 3.1 8B에서도 비슷한 차이가 확인됐다. 연구진은 FlashAttention 2가 혼합 배치에서 KV 헤드 공유를 활용하는 패킹 최적화를 적용하지 않아 디코드 토큰의 어텐션 비용이 디코드 전용 배치보다 최대 4배 커졌다고 분석했다. 반면 FlashAttention 3와 4는 혼합 배치에도 패킹을 적용한다.

같은 H200 하드웨어에서 FlashAttention 2와 3를 비교하자 이 설명은 더 분명해졌다. FlashAttention 2에서는 버스트가 강할수록 TPOT가 개선됐지만, FlashAttention 3에서는 추세가 반대로 바뀌었다. 디코드 전용 반복이 늘어나는 효과는 미미했고, 요청이 몰리며 첫 토큰 지연이 악화돼 종단 지연도 길어졌다.

연구진은 혼합 배치와 전용 배치의 효율 차이가 큰 환경에서는 버스트 특성을 라우팅과 부하 분산에 활용할 여지가 있다고 봤다. 동시에 모델과 GPU만 바꿔 비교하는 벤치마크는 커널 버전과 어텐션 백엔드가 만드는 실행 경로 차이를 놓칠 수 있다고 지적했다. 공개된 재현 저장소에는 GH200·H200·A100과 여러 모델·워크로드에서 얻은 데이터와 실험 스크립트가 포함돼 있다.

이번 결과는 트래픽을 의도적으로 몰아주면 LLM 추론이 항상 빨라진다는 의미는 아니다. 오히려 특정 환경에서 관찰된 역설적인 성능 향상을 추적하면 혼합 배치의 숨은 비효율을 찾을 수 있다는 사례에 가깝다. 운영 환경에 적용하려면 사용 중인 모델 아키텍처와 GPU 세대, FlashAttention 버전, 첫 토큰 지연 요구사항을 함께 검증해야 한다.

출처: 하버드대 시스템 연구자 원문 https://systems.seas.harvard.edu/blog/burstiness-is-all-you-need/
출처: 실험 데이터·재현 코드 저장소 https://github.com/Ak33ra/burstiness-perf-repro