GitHub, Copilot 코드 리뷰 에이전트 비용 20% 줄인 튜닝 사례 공개

GitHub 공식 블로그에 따르면 GitHub는 Copilot 코드 리뷰의 코드 탐색 도구를 공유 Unix식 도구 체계로 옮기는 과정에서 비용과 품질 회귀를 겪었고, 이를 도구 지침과 리뷰 워크플로 조정으로 개선했다. 회사는 조정 이후 평균 리뷰 비용이 약 20% 낮아졌고, 품질 지표에서는 배포를 막을 만한 신호가 나타나지 않았다고 설명했다.

이번 사례는 Copilot 코드 리뷰가 pull request를 읽고 주변 코드를 탐색해 배포 전 문제를 찾는 방식에 관한 내부 엔지니어링 분석이다. GitHub는 기존 Copilot 코드 리뷰 전용 탐색 도구 대신 Copilot CLI와 클라우드 에이전트 계열에서 쓰는 grep, glob, view 기반 공유 도구를 적용하려 했다. 목적은 중복 구현을 줄이고, 코드 탐색 개선을 여러 Copilot 제품에 함께 반영하기 위한 것이었다.

그러나 단순 도구 교체는 곧바로 개선으로 이어지지 않았다. GitHub는 오프라인 벤치마크에서 에이전트가 저장소 전체를 훑는 방식으로 행동하면서 평균 비용이 증가하고 유용한 리뷰 코멘트가 줄어드는 현상을 확인했다고 밝혔다. 회사는 이 문제가 도구 자체보다 도구 설명과 시스템 지침이 일반 코딩 보조 업무에 맞춰져 있었기 때문이라고 분석했다.

GitHub가 공개한 수정 방향은 코드 리뷰라는 좁은 작업에 맞춰 에이전트의 탐색 순서를 다시 정렬하는 것이었다. 에이전트가 diff에서 출발해 구체적인 리뷰 질문을 만들고, glob과 grep으로 후보 파일과 호출 지점을 먼저 좁힌 뒤, view는 필요한 파일과 줄 범위가 명확할 때만 쓰도록 지침을 바꿨다. 실패한 검색에 대해서도 무작정 주변 경로를 추측하기보다 단순한 검색어로 재시도하거나 glob으로 경로를 확인하도록 했다.

이 변화는 AI 코딩 도구 운영에서 도구 성능만큼 지침과 평가 추적이 중요하다는 점을 보여준다. 같은 도구라도 Copilot CLI처럼 폭넓은 대화형 코딩 작업을 맡는 제품과, pull request diff에 묶여 실제 결함 여부를 판단하는 코드 리뷰 제품에서는 적절한 탐색 전략이 다르다. GitHub는 도구 결과가 에이전트의 작업 컨텍스트로 계속 남기 때문에 불필요한 파일 읽기가 비용뿐 아니라 판단 집중도에도 영향을 준다고 설명했다.

AI 코딩 에이전트 경쟁이 기능 추가를 넘어 실제 개발 워크플로의 비용과 신뢰성 개선으로 이동하면서, 이번 사례는 에이전트 제품의 품질 관리 방식에도 시사점을 남긴다. 최종 응답의 정답률만 보는 방식으로는 왜 성능이 흔들렸는지 알기 어렵다. GitHub는 도구 호출 흐름과 검색 실패, 파일 읽기 범위 같은 추적 정보를 함께 봐야 에이전트가 문제 해결에 필요한 근거로 좁혀가고 있는지 판단할 수 있다고 밝혔다.

출처: GitHub Blog https://github.blog/ai-and-ml/github-copilot/better-tools-made-copilot-code-review-worse-heres-how-we-actually-improved-it/