JetBrains, 코틀린 AI 코딩 에이전트 벤치마크 공개…105개 실제 과제 평가

JetBrains가 Kotlin 공식 블로그를 통해 AI 코딩 에이전트의 실제 코틀린 개발 능력을 평가하는 ‘Kotlin Benchmark’를 공개했다. 첫 공개 버전은 운영 중인 오픈소스 프로젝트에서 가져온 105개 소프트웨어 엔지니어링 과제로 구성됐다.

벤치마크는 Multi-SWE-bench 방법론을 기반으로 코틀린 지원을 추가했다. ktlint와 detekt, ORT, AnkiDroid, Kotlin DataFrame, OkHttp 등 8개 저장소에서 실제로 병합된 수정 작업을 골랐다. 에이전트는 자연어로 작성된 이슈나 풀리퀘스트 설명과 변경 전 저장소 상태를 받고 코드 패치를 만든다.

각 과제에는 기준 커밋, 사람이 작성한 정답 패치, 회귀 테스트, 이슈 설명이 포함된다. 평가는 재현 가능한 컨테이너 환경에서 진행되며, 생성한 패치가 필요한 테스트를 모두 통과해야 해결로 기록된다. 단순한 문법 이해나 짧은 함수 작성 대신 기존 프로젝트를 탐색하고 수정하는 과정을 측정하는 데 초점을 맞췄다.

공식 리더보드의 첫 결과에서는 Claude Code와 Opus 4.7 xhigh 조합이 105개 가운데 90개를 해결해 85.71%로 가장 높았다. JetBrains Junie와 Opus 4.7 max, Codex와 GPT 5.5 xHigh 조합은 각각 86개를 해결해 81.90%를 기록했다. 점수는 에이전트와 모델, 추론 설정을 합친 실행 구성별 결과다.

JetBrains는 이번 결과가 첫 공개 버전이며 최신 모델 전체를 포함하지 않는다고 밝혔다. 특정 벤치마크의 통과율이 개별 기업의 코드 구조와 내부 API, 코딩 규칙, 개발 도구에서 같은 성능을 보장하는 것도 아니다.

현재 평가는 테스트 통과 여부를 중심으로 이뤄진다. JetBrains는 후속 버전에서 안드로이드와 코틀린 멀티플랫폼 과제를 늘리고 비용, 토큰 사용량, 코드 품질, 실행 성능, 유지보수성, 보안까지 평가 지표를 확대할 계획이다. 데이터셋과 테스트 도구는 공식 GitHub 저장소에 공개됐다.

이번 공개로 코틀린 팀은 범용 코딩 벤치마크나 공급업체 설명에만 의존하지 않고 실제 생태계 과제를 기준으로 도구를 비교할 수 있게 됐다. 다만 리더보드 순위는 테스트 집합과 실행 설정에 따라 달라질 수 있어 비용과 지연 시간, 자체 코드베이스 검증을 함께 봐야 한다.

출처: JetBrains Kotlin 공식 블로그 https://blog.jetbrains.com/kotlin/2026/07/introducing-the-kotlin-benchmark-evaluate-ai-coding-agents-on-real-world-kotlin-tasks/
출처: Kotlin Benchmark 공식 리더보드 https://kotlinlang.org/benchmark/
출처: Kotlin Benchmark 공식 방법론 https://kotlinlang.org/benchmark/methodology/
출처: Kotlin Benchmark 공식 GitHub 저장소 https://github.com/Kotlin/kotlin-swe-bench