
RubyLLM 개발자 카르미네 파올리노가 오픈소스 AI 도구 Copilot Triage의 운영 경험을 23일 공개했다. 개발자 원문에 따르면 이 도구는 GitHub 이슈를 조사해 다음 작업을 정리하고, 불필요한 자동 답변을 줄인다.
파올리노는 자신이 운영하는 저장소에서 최근 30일 동안 본인의 활동을 제외하고 하루 약 215개의 알림이 발생했다고 설명했다. 사람들의 새 이슈·풀 리퀘스트와 댓글뿐 아니라 코드 검토 봇의 댓글까지 쌓이면서, 직접 판단해야 할 요청이 다른 알림에 묻혔다는 것이다. 이 수치는 개발자가 자신의 저장소를 집계한 결과다.
Copilot Triage는 새 이슈와 토론, 풀 리퀘스트를 읽고 관련 문서와 이전 이슈, 릴리스 기록을 조사한다. 문서에 있는 답을 알려주거나 수정 사항이 포함된 릴리스를 안내하고, 중복 이슈를 찾거나 꼭 필요한 질문 하나를 남기는 방식이다. 분류만으로 충분한 보고에는 답변하지 않는 것도 정상적인 결과로 취급한다.
유지관리자에게 필요한 일은 GitHub 프로젝트 보드에 모은다. 검토가 끝나 최종 확인이 필요한 요청, 유지관리자의 판단이 필요한 사안, 직접 처리할 작업, 상대방의 응답을 기다리는 항목을 구분한다. 각 카드에는 우선순위와 다음 조치를 표시하며, 코드 병합과 판단이 필요한 결정은 사람에게 남긴다.
모델의 조사와 실제 변경을 분리한 점도 특징이다. 개발자 설명에 따르면 에이전트는 저장소 검색과 이슈 검색, 릴리스·변경 이력 조회 등 읽기 전용 도구로 근거를 모으고 구조화된 결정을 제출한다. 별도의 루비 코드가 그 결정과 인용 근거를 검증하고 보고 내용을 다시 읽은 뒤에야 라벨 지정, 댓글 작성, 종료 등의 변경을 수행한다. 조사 도중 보고가 바뀌면 변경을 적용하지 않는다.
답변을 줄이는 규칙은 실제 운영 점검에서 나왔다. 파올리노는 일주일 동안의 작업을 살펴본 결과 라벨은 95%가 맞았지만 답변은 약 3분의 1만 도움이 됐다고 밝혔다. 이는 개발자 자체 점검 결과이며, 다른 저장소에서 같은 정확도를 보장하는 수치는 아니다.
17일 공개된 v0.18.0 릴리스에는 유지관리자의 마지막 댓글 이후 봇이 두 차례 답변하면 추가 응답을 멈추는 제한이 반영됐다. 이미 등장한 관련 이슈 링크를 되풀이하지 않고, 최신 커밋에 대한 검토가 없는 풀 리퀘스트를 최종 확인 단계로 보내지 않는 규칙도 포함됐다. 개발 브랜치의 문서를 읽을 때는 마지막 릴리스 이후의 변경 정도를 표시해, 아직 배포되지 않은 기능을 사용 가능한 기능으로 안내하는 오류를 줄인다.
이 도구는 GitHub가 만든 공식 제품이 아니라 독립 오픈소스 프로젝트다. GitHub Actions에서 실행되며 기본적으로 Copilot 사용량을 활용하고, RubyLLM을 통해 별도 모델 제공자의 API로 연결할 수도 있다. 공식 저장소는 비공개 저장소의 이슈 내용이 선택한 모델 제공자에게 전달된다고 안내한다. 도입 시에는 자동 변경 범위와 함께 데이터 처리 조건을 살펴야 한다.
출처: 카르미네 파올리노 개발자 원문 ‘I Get 215 GitHub Notifications a Day, So I Built a Bot to Triage Them’ https://paolino.me/copilot-triage/
Copilot Triage 공식 GitHub 저장소 https://github.com/crmne/copilot-triage
Copilot Triage 공식 v0.18.0 릴리스 https://github.com/crmne/copilot-triage/releases/tag/v0.18.0