연구자, LLM 서빙서 버스트 트래픽 역설 분석…커널 최적화 따라 효과 반전

하버드 시스템 그룹에 공개된 연구자 원문 분석에 따르면, vLLM 벤치마크에서 요청 도착 간격의 변동성이 커질수록 일부 구성의 토큰 생성 지연이 줄어드는 현상이 관측됐다. 다만 연구자는 이 결과가 버스트 트래픽 자체의 보편적 이점이 아니라 혼합 배치에서 발생한 커널 최적화 차이에 크게 의존한다고 설명했다.

카네기멜런대학교 소속 아키라 반 데 흐루넨달은 7월 30일 공개한 분석에서 BurstGPT와 ShareGPT, 합성 워크로드를 이용해 요청 도착의 버스트 정도를 바꿔가며 vLLM 성능을 측정했다. 실험에는 Qwen3.5-9B와 Llama 계열을 포함한 여러 모델, GH200·H200·A100 GPU가 사용됐다.

Qwen3.5-9B를 GH200에서 BurstGPT로 실행한 한 구성에서는 도착 간격 변동계수가 1에서 3.16으로 높아졌을 때 중앙값 기준 출력 토큰당 시간과 종단 간 지연이 약 50% 줄었다. 평균 출력 토큰당 시간은 70밀리초에서 30밀리초로 57% 감소했다. 이 수치는 해당 실험 구성에서 나온 결과로, 모든 LLM 서빙 환경에 그대로 적용되는 수치가 아니다.

연구자가 제시한 초기 설명은 프리필과 디코드의 분리다. 요청이 한꺼번에 도착하면 프리필 작업도 특정 구간에 몰리고, 이어지는 조용한 구간에서는 디코드 전용 반복이 늘어난다. Qwen3.5-9B 실험에서는 높은 버스트 조건에서 디코드 전용 반복에 포함된 출력 토큰 비율이 16.8%포인트 증가했다.

커널 수준 프로파일링은 이 차이의 상당 부분이 자원 경합보다 실행 경로의 최적화 차이에서 비롯됐음을 보여줬다. Gated DeltaNet 계열 모델은 디코드 전용 배치에서 빠른 경로를 사용하지만, 프리필과 디코드가 섞인 배치에서는 디코드 시퀀스도 더 큰 단위로 패딩되는 경로를 탔다. Grouped Query Attention 모델의 경우 FlashAttention 2가 혼합 배치에서 KV 헤드 패킹 최적화를 적용하지 않아 디코드 토큰의 어텐션 비용이 커졌다.

같은 하드웨어와 워크로드에서 FlashAttention 2와 3을 비교하자 결론은 달라졌다. FlashAttention 2에서는 버스트가 커질수록 출력 토큰당 시간이 개선됐지만, 혼합 배치에서도 패킹을 지원하는 FlashAttention 3에서는 추세가 반전됐다. 디코드 전용 반복이 늘어나는 효과보다 첫 토큰 지연 악화가 커지면서 종단 간 지연도 나빠졌다.

이번 분석은 LLM 서빙의 트래픽 분산 정책과 벤치마크 해석에 주의를 요구한다. 디코드 전용 배치와 혼합 배치의 효율 차이가 큰 환경에서는 요청을 특정 서버에 묶어 보내는 방식이 성능에 도움이 될 수 있다. 반대로 최신 커널이 혼합 배치의 비효율을 줄인 환경에서는 버스트를 의도적으로 키우는 전략이 오히려 첫 토큰 지연을 악화시킬 수 있다.

연구자는 실험 코드와 압축 데이터, 일부 노트북을 공개했다. 정확한 재현에는 GH200·H200·A100 GPU와 특정 CUDA 환경이 필요하며, 저장소는 아직 진행 중이라고 명시돼 있다. 따라서 이번 결과는 특정 모델과 GPU, 어텐션 백엔드 조합에서 확인된 시스템 분석으로 보는 것이 적절하다.

출처: Harvard Systems Group 연구자 원문 https://systems.seas.harvard.edu/blog/burstiness-is-all-you-need/
출처: 연구자 재현 코드·데이터 저장소 https://github.com/Ak33ra/burstiness-perf-repro
출처: vLLM 공식 벤치마크 문서 https://docs.vllm.ai/en/latest/cli/bench/serve/#burstiness