제트브레인, AI 코딩 토큰 절감 도구 RTK 검증…저추론 비용 7.6% 늘어

제트브레인이 20일 공식 AI 블로그에 공개한 A/B 시험에 따르면, 코딩 에이전트용 명령 출력 압축 도구 RTK를 적용했을 때 저추론 설정의 작업당 비용이 중앙값 기준 7.6% 늘었다. 고추론 설정에서도 비용 절감 효과는 확인되지 않았다.

RTK는 에이전트가 실행하는 셸 명령을 가로채 출력량을 줄여 모델 컨텍스트에 전달하는 오픈소스 도구다. 공식 GitHub 저장소는 git status와 테스트 명령 등의 출력을 압축해 일반적인 개발 명령에서 토큰 소비를 60~90% 줄일 수 있다고 소개한다. Claude Code에서는 PreToolUse 훅이 대상 Bash 명령을 RTK 명령으로 자동 변환한다.

제트브레인 시험은 Claude Code 2.1.201과 Claude Sonnet 5, SkillsBench 86개 과제를 사용했다. RTK를 적용하지 않은 조건과 RTK 0.43.0을 적용한 조건을 저추론·고추론 설정에서 비교했으며, 사전 점검과 반복 시험을 포함해 모두 425회의 유료 시험을 진행했다.

저추론 설정의 정제된 80개 과제 쌍에서 RTK 적용 조건은 작업당 비용이 중앙값 7.6% 높았다. 통계적 유의성은 p=0.004로 보고됐다. 작업 턴은 13.8%, 캐시 재읽기는 14.3% 늘었다. 반면 RTK가 직접 줄이려는 새 입력 토큰 변화는 3.2% 증가로 나타났지만 통계적으로 유의하지 않았다.

고추론 설정에서는 비용 차이가 중앙값 0.1%에 그쳤고 p값은 0.99였다. 제트브레인은 이를 절감 효과도 비용 증가도 확인되지 않은 결과로 해석했다. 과제 품질 역시 두 조건 사이에서 통계적으로 구분되지 않았다. 저추론에서는 RTK 조건이 5개 과제에서 더 높은 점수를, 4개에서 더 낮은 점수를 받았고 71개는 같았다.

절감 주장이 실제 청구 비용으로 이어지지 않은 이유로는 훅의 적용 범위가 지목됐다. Claude Code의 내장 Read·Grep 도구는 Bash 훅을 거치지 않는다. 기존 실행 기록을 재분석한 결과 RTK가 손댈 수 있었던 명령은 Bash 호출의 33%였고, 여기에 담긴 문자는 전체 도구 결과의 20% 미만이었다. 제트브레인은 이 구조에서 가능한 입력 토큰 절감 상한을 약 3%로 추산했다.

RTK 자체 분석 화면은 저추론 전체 시험에서 9620만 토큰을 절약했다고 집계했지만 실제 비용은 오히려 늘었다. 원문은 RTK가 에이전트에 전달되기 전 잘리는 대용량 원시 출력까지 절감량에 포함하고, 문자 수를 단순 환산하며, 낮은 단가가 적용되는 캐시 재읽기의 영향을 충분히 반영하지 못했다고 분석했다.

이번 결과는 명령 출력 자체를 줄이는 것과 에이전트 작업 전체의 비용을 낮추는 것이 같은 문제가 아님을 보여준다. 다만 시험은 특정 버전의 Claude Code와 Claude Sonnet 5, SkillsBench 환경에 한정됐다. 다른 모델과 코딩 에이전트, 실제 장기 프로젝트에서도 같은 결과가 재현되는지는 별도 검증이 필요하다.

출처: JetBrains 공식 AI 블로그 https://blog.jetbrains.com/ai/2026/07/rtk-claude-code-token-savings/
출처: RTK 공식 GitHub 저장소 https://github.com/rtk-ai/rtk