과학 코딩 AI 평가, 벤치마크 결함이 점수를 낮췄나…연구진 SciCode-Verified 공개

연구진이 arXiv에 공개한 사전논문에 따르면, 과학 코딩 능력을 측정하는 벤치마크 SciCode를 재점검한 결과 정답 코드가 오답으로 처리될 수 있는 결함이 다수 발견됐다. 연구진은 수정 사항을 반영한 ‘SciCode-Verified’를 공개하고, 같은 모델 출력 조건으로 다시 측정했을 때 점수가 크게 높아졌다고 보고했다.

SciCode는 과학 이론을 수치 코드로 구현하는 과제를 통해 언어모델의 과학 코딩 능력을 평가하는 벤치마크다. 연구진은 원래의 65개 문제를 문제별로 검토해 재현되지 않는 정답값, 지나치게 엄격한 허용 오차, 서로 충돌하는 명세 등을 확인했다고 밝혔다. 공개 저장소는 이 가운데 262건의 검증된 수정과, 올바른 코드를 탈락시킬 수 있는 192건의 결함을 기록하고 있다.

수정본은 원 문제의 과학적 난도를 낮추기보다, 문제를 풀 수 있도록 필요한 명세를 보완하고 채점 조건을 고치는 방식이라고 연구진은 설명했다. 저장소에는 변경 근거를 담은 감사 기록과 수정된 데이터셋, 재채점 도구가 함께 공개됐다. 원본 65개 문제 중 명세만으로 검증 가능한 답을 정할 수 없었던 한 문제는 비교 대상에서 제외돼, 수정본의 평가 세트는 64개 문제와 287개 세부 과제로 구성됐다.

논문은 12개 프런티어 모델 스냅샷을 원본과 수정본에서 비교한 결과도 제시했다. 세부 과제 정확도는 원본에서 45.3~60.3%였으나 수정본에서는 83.7~98.3%로, 전체 문제 정확도는 9.4~26.6%에서 68.8~92.2%로 나타났다고 연구진은 보고했다. 모델의 출력 절차와 평가 하네스, pass@1 조건은 유지하고 데이터와 채점만 바꿨다는 설명이다.

이 결과는 AI 모델의 과학 코딩 역량 자체보다 평가 도구의 품질이 점수에 큰 영향을 줄 수 있다는 문제를 제기한다. 특히 벤치마크 점수가 연구·제품 선택의 근거로 쓰이는 상황에서, 과제 명세와 채점 데이터의 재현성은 모델 성능만큼 중요한 검증 대상이 된다.

다만 이번 자료는 동료심사가 완료되지 않은 사전논문이다. 결함 분류와 수정의 타당성, 모델별 점수 변화는 연구진의 감사와 실험에 근거한 것으로, 독립적인 재현과 후속 검토가 필요하다. 연구진은 변경 이력과 재평가 도구를 공개해 검증 가능성을 높이겠다고 밝혔다.

출처: 연구자 원문(arXiv) https://arxiv.org/abs/2608.04975
출처: 연구진 공개 저장소(GitHub) https://github.com/flyingwagner/scicode-verified