연구진, 트랜스포머 QKV 투영 공유 실험 공개…“KV 캐시 최대 96.9% 절감”

연구자 원문 분석에 따르면 Ali Kayyam, Anusha Madan Gopal, M Anthony Lewis 연구진은 arXiv에 ‘Do Transformers Need Three Projections? Systematic Study of QKV Variants’ 논문을 공개하고, 트랜스포머 어텐션에서 query, key, value 세 투영을 모두 별도로 둘 필요가 있는지 실험적으로 검토했다. 해당 논문은 동료심사를 거친 최종 논문이 아닌 사전공개 논문이다.

연구진은 Q-K=V, Q=K-V, Q=K=V 등 세 가지 투영 공유 제약을 비교했다. 실험 범위에는 합성 과제, MNIST·CIFAR·TinyImageNet 등 비전 과제, 300M 및 1.2B 파라미터 규모 언어 모델 학습이 포함됐다.

논문 초록에 따르면 언어 모델링에서 Q-K=V 투영 공유는 KV 캐시를 50% 줄이면서 perplexity 저하는 3.1% 수준에 그쳤다. 연구진은 또 Q-K=V를 GQA-4와 결합하면 캐시 절감률이 87.5%, MQA와 결합하면 96.9%에 이를 수 있다고 밝혔다.

이 결과가 실무적으로 주목받는 이유는 장문 컨텍스트와 온디바이스 추론에서 KV 캐시가 주요 메모리 병목으로 작용하기 때문이다. 연구진은 투영 공유가 GQA, MQA 같은 head sharing 방식과 보완적으로 적용될 수 있다고 설명했다.

다만 논문은 특정 조건에서의 실험 결과를 제시한 것이다. 모델 규모, 학습 데이터, 작업 유형에 따라 성능과 메모리 절감 효과가 달라질 수 있다. 실제 상용 모델 적용 가능성은 추가 재현 실험과 대규모 검증을 통해 확인해야 한다.

초기 신호는 Hacker News의 관련 논문 공유에서 확인됐다. 기사 작성에는 후보 발견 경로가 아닌 arXiv 논문 원문과 공개 코드 저장소를 기준으로 삼았다.

출처: arXiv ‘Do Transformers Need Three Projections? Systematic Study of QKV Variants’(https://arxiv.org/abs/2606.04032), GitHub ‘Do-Transformers-Need-3-Projections’(https://github.com/anushamadan02/Do-Transformers-Need-3-Projections)