AI, 1만6천 줄 프로젝트 2001개 테스트 중 2000개 통과…MirrorCode 공개

Epoch AI와 비영리 AI 연구기관 METR이 공개한 연구 원문에 따르면 인공지능 모델이 원본 소스코드를 보지 않고도 프로그램의 동작만 바탕으로 일부 대형 소프트웨어를 거의 완전하게 다시 구현한 것으로 나타났다. 연구진은 장시간 자율 코딩 능력을 평가하는 새 벤치마크 ‘MirrorCode’를 함께 공개했다.

MirrorCode는 버그 수정이나 개별 기능 추가에 초점을 맞춘 기존 코딩 평가와 달리 프로그램 전체를 처음부터 재구현하도록 설계됐다. 모델은 인터넷과 원본 코드베이스에 접근할 수 없는 격리 환경에서 작업하며, 개발 과정에서 볼 수 없는 비공개 종단 간 테스트까지 원본 프로그램과 같은 출력을 내야 한다.

평가 대상은 유닉스 유틸리티와 데이터 직렬화·질의 도구, 생물정보학, 인터프리터, 정적 분석, 암호화, 압축 등 25개 프로그램이다. 연구진은 이 가운데 22개 대상과 평가용 실행 틀을 공개했고, 나머지 3개는 비공개 테스트 세트로 유지했다. 공개된 과제는 6개 프로그래밍 언어에 걸쳐 모두 132개 인스턴스로 구성됐다.

가장 눈에 띄는 결과는 약 1만6000줄의 Go 코드와 40개가 넘는 명령을 포함한 생물정보학 도구 ‘gotree’ 재구현이다. Claude Opus 4.7이 만든 구현은 2001개 테스트 가운데 2000개를 통과했다. 날짜 주석을 다루는 일부 기능의 경계 사례 한 건에서 실패해 엄밀한 의미의 완전 해결은 아니지만, 연구진은 범위에 포함된 기능 대부분을 재현한 결과로 평가했다.

연구진은 이 시도가 14시간 동안 진행됐고 251달러의 추론 비용이 들었다고 밝혔다. AI 도움 없이 사람이 같은 작업을 수행할 경우 2주에서 17주가 걸릴 것으로 추정했다. 더 큰 과제 가운데 한 번의 실행에 2600달러가 투입되고 사람 개입 없이 19일간 이어진 사례도 있었다. 이는 짧은 코딩 문제뿐 아니라 장시간 상태를 유지하며 복잡한 시스템을 구현하는 능력 자체가 새로운 평가 영역으로 떠오르고 있음을 보여준다.

다만 결과를 실제 신규 프로젝트 개발 능력과 동일하게 볼 수는 없다. 평가 대상이 공개소스 프로그램인 만큼 모델이 사전학습 과정에서 원본 코드 일부를 접했을 가능성이 있다. 연구진은 암기 여부를 가리는 별도 검사를 통과한 프로그램에서도 성공 사례가 나왔다고 설명했지만, 학습 데이터의 영향을 완전히 배제할 수 없다고 명시했다.

MirrorCode는 대규모 추론 예산을 제공한다는 점에서도 기존 평가와 차이가 있다. 최신 순위표는 중형·대형 프로그램 15개를 두 가지 구현 언어로 평가해 30개 과제를 만들고, 과제마다 최대 100억 토큰과 7일의 실행 시간을 허용한다. 연구진은 아직 모든 과제가 해결된 것은 아니며, 장기 코딩 역량을 비교할 때 성공률뿐 아니라 비용과 시간, 데이터 오염 가능성을 함께 봐야 한다고 강조했다.

출처: Epoch AI MirrorCode 공식 페이지 https://epoch.ai/MirrorCode
출처: MirrorCode 연구 논문 https://arxiv.org/abs/2606.30182