투게더AI, 추론 트래픽 따라 다시 최적화하는 컴파일러 공개

투게더AI가 4일 공식 블로그와 연구 논문을 통해 인공지능(AI) 추론 작업을 지속적으로 최적화하는 'Together Compiler(TKCC)'를 공개했다. AI 에이전트가 최적화 코드를 만들고, 상시 실행하는 추론 엔진에서 이를 검증해 모델과 장비, 이용 패턴 변화에 맞춰 실행 구성을 조정하는 방식이다.

AI 추론 서비스의 부하는 고정돼 있지 않다. 같은 모델이라도 대화형 서비스와 에이전트 작업에서 입력 길이가 달라지고, 요청이 몰리는 시간이나 캐시 활용 정도에 따라 효율적인 실행 방식도 달라진다. 연구진은 이런 조건마다 사람이 직접 최적화하기 어렵다는 점을 개발 배경으로 제시했다.

핵심은 실험할 때마다 추론 엔진을 재시작하지 않는 '상시 실행 엔진'이다. 모델 가중치와 캐시를 준비한 엔진을 유지하면서 새로 작성한 순전파 코드를 교체해 시험한다. 여러 에이전트는 병렬로 개선안을 만들고 게시판 형태의 공유 공간에서 실험 결과를 주고받는다. 엔진 초기화에 드는 시간을 줄여 더 많은 개선안을 평가하려는 구조다.

측정은 두 단계로 나눴다. 일부 계층만 사용하는 빠른 엔진으로 아이디어를 먼저 시험한 뒤, 더 많은 계층을 불러온 엔진에서 실제 입력 데이터에 가까운 조건으로 효과를 확인한다. 혼합전문가(MoE) 모델이나 희소 어텐션은 입력 데이터에 따라 연산 양상이 달라지므로, 개별 연산의 속도 개선이 전체 추론 성능으로 이어지는지도 살펴보는 방식이다.

병렬 처리 구성을 고르는 비용 모델도 결합했다. 하드웨어 사양과 소규모 성능 시험, 실제 순전파 측정값을 함께 활용해 유망한 구성을 추린다. 이후 에이전트가 코드를 최적화하고, 트래픽 특성이 바뀌면 다시 최적화하는 흐름이다.

성능 수치는 투게더AI 연구진의 평가 결과다. 논문에 따르면 Kimi K3, GLM 5.3, MiniMax M3.1 Flash, DeepSeek v4.1 Flash 등 모델의 SemiAnalysis InferenceX 비교에서 공개된 기존 최적 구성 대비 초당 토큰 처리량이 최대 2.6배에 달했다. 모델별로 최대 두 노드를 사용해 24시간 이내에 얻은 결과라고 연구진은 설명했다. 이는 해당 모델과 장비, 트래픽 조건에서의 측정치로, 모든 추론 작업에 같은 향상 폭이 적용된다는 뜻은 아니다.

투게더AI는 TKCC를 실제 서비스에 적용해 수조 개 토큰을 처리하고 있다고 밝혔다. 이번 발표의 초점은 모델 자체의 정답률을 높이는 데 있지 않다. 변화하는 요청에 맞춰 기존 추론 소프트웨어의 실행 방식을 계속 조정해 GPU 활용 효율을 높이는 데 있다.

출처: Together AI 공식 연구 블로그 https://www.together.ai/blog/together-compiler-continual-compilation-for-ai-inference · Together AI 연구진 논문 https://www.together.ai/together-compiler-paper · 논문 PDF https://cdn.prod.website-files.com/69654e88dce9154b5f1206dd/6aeb3e27b0a7e915c3091fde_Together-AI_Together-Compiler.pdf