GitHub "짧은 도구 출력"이 AI 코딩 에이전트 비용 높일 수 있어

GitHub 공식 블로그에 따르면 AI 코딩 에이전트의 도구 출력은 짧게 만드는 것만으로 비용을 낮추기 어렵다. 필요한 정보까지 함께 줄이면 에이전트가 원본 출력을 다시 열거나 명령을 재실행하면서 전체 작업의 토큰 사용량과 처리 시간이 오를 수 있다는 설명이다.

GitHub은 Copilot CLI의 에이전트형 코딩 벤치마크에서 출력 축약 도구를 시험했다. 일부 응답은 짧아졌지만, 빠진 정보가 필요한 경우 모델이 같은 결과를 다시 가져오는 과정이 추가됐다. GitHub은 이 결과가 모든 출력 압축 방식에 일반화되는 것은 아니며, 도구 호출 하나의 토큰 수보다 요청부터 결과까지의 전체 작업 단위를 평가해야 한다고 밝혔다.

이에 따라 GitHub은 설치·빌드·테스트·린트처럼 반복성이 큰 출력만 선택적으로 압축하고, 소스 코드 성격의 출력과 임의 명령 결과는 원문 그대로 보존하는 정책을 적용했다고 설명했다. 검색 결과는 내용을 버리지 않고 재구성하며, 압축된 경우에도 전체 원문을 다시 확인할 수 있는 경로를 남겼다.

GitHub은 파일 읽기 도구에서 더 이상 쓰이지 않는 줄 번호 접두사를 제거한 사례도 공개했다. 오프라인 에이전트형 코딩 벤치마크에서 추론 비용은 약 5% 낮아졌고, CLI 사용자 대상 온라인 실험에서는 사용자당 일평균 모델 추론 비용이 약 3% 줄었으며 추적한 품질·만족도 지표에서 유의미한 저하는 확인되지 않았다고 밝혔다.

프롬프트와 백그라운드 작업 처리도 손봤다. GitHub은 작업 도구 안내문을 줄이는 과정에서 병렬 실행이 직렬화되는 회귀를 온라인 실험에서 발견해 실험을 중단하고 검증 항목을 추가했다고 설명했다. 완료된 백그라운드 작업의 결과를 별도 조회 없이 전달하도록 바꾼 뒤에는 AI 크레딧으로 측정한 토큰 관련 사용량이 평균 약 2.3% 감소했다고 밝혔다.

이번 공개는 AI 코딩 도구의 비용 관리가 응답 길이 자체보다 문맥 보존과 재작업 방지에 달려 있음을 보여준다. GitHub이 소개한 수치는 자사 Copilot 환경과 시험한 작업 범위에 한정된 결과다.

출처: GitHub Blog https://github.blog/ai-and-ml/github-copilot/how-we-make-ai-coding-more-cost-efficient-without-sacrificing-task-quality/