Google, 코딩 에이전트 평가 기준으로 ‘프로액티브성’ 제시

Google Developers Blog는 22일(현지시간) AI 코딩 에이전트의 평가 기준이 단순한 자율 실행 능력을 넘어 ‘프로액티브성’으로 확장돼야 한다는 연구 내용을 공개했다. 연구진은 같은 주제를 다룬 arXiv 논문 ‘Agentic Coding Needs Proactivity, Not Just Autonomy’에서 코딩 에이전트가 무엇을 중요한 신호로 판단하고, 어떤 근거로 개발자에게 알릴지를 평가해야 한다고 설명했다.

이번 글은 Google의 AI 코딩 에이전트 Jules를 둘러싼 평가 논의를 다룬다. 연구진은 현재 널리 쓰이는 SWE-bench 같은 벤치마크가 정해진 버그 수정처럼 비교적 좁은 작업 수행 능력을 측정하는 데 초점을 맞춘다고 봤다. 반면 장기적으로 쓰일 코딩 에이전트는 코드베이스와 이슈 흐름을 계속 읽고, 개발자가 묻기 전에 위험 신호나 진단 단서를 제시하는 역할까지 맡게 된다는 것이 연구진의 관점이다.

Google Labs 연구진은 이를 위해 ‘인사이트 정책’이라는 평가 축을 제안했다. 에이전트가 다음에 무엇을 중요하게 봐야 하는지, 그 판단을 뒷받침하는 증거가 무엇인지, 개발자에게 알릴지 조용히 기다릴지를 결정하는 능력을 별도로 봐야 한다는 뜻이다. 논문은 프로액티브 코딩 에이전트를 반응형, 예약형, 상황 인식형의 세 단계로 구분하고, 혼합 주도 상호작용 관점에서 불필요한 개입과 유용한 선제 제안을 나눠야 한다고 주장했다.

연구진은 내부 Google 코드베이스의 705개 버그와 1,178개 변경 목록을 이용해 초기 평가 세트를 구성했다고 밝혔다. 관련 버그를 시간적 근접성과 의미적 유사성 기준으로 묶고, 각 묶음이 가리키는 상위 개발 목표를 추정한 뒤, 에이전트가 수정 전 상태의 코드베이스에서 어떤 진단 인사이트를 찾아내는지 살폈다.

초기 실험에서는 에이전트가 한 차례 탐색만으로도 관련성이 높은 인사이트를 평균 4.5점 만점에 가까운 수준으로 찾아냈다고 Google은 설명했다. 복잡한 문제에서는 탐색 예산이 결과에 영향을 줬다. 연구진은 탐색 기회를 두 번에서 세 번으로 늘렸을 때 상위 5개 권고 안에 정확한 진단 인사이트가 포함되는 비율이 33%에서 57%로 회복됐다고 밝혔다.

다만 이번 결과는 Google 내부 데이터 기반의 초기 실험이다. 연구진도 공개 GitHub 이슈와 해결 PR 데이터로 평가 범위를 넓히고, 코드 변경 외에 빌드 실패와 테스트 회귀, 배포 신호 같은 더 풍부한 맥락을 반영하는 방향을 다음 과제로 제시했다. 코딩 에이전트 경쟁이 편집·수정 기능에서 장기 목표 관리로 이동하는 가운데, 평가 기준 자체도 개발자 경험과 실제 워크플로에 맞춰 재정의되는 흐름이다.

출처: Google Developers Blog https://developers.googleblog.com/en/measuring-what-matters-with-jules/ · arXiv https://arxiv.org/abs/2605.06717