연구진, LLM 연구 수준 수학 벤치마크 공개…100문항 중 미해결 2개만 남아

연구자들이 공개한 arXiv 원문에 따르면, 49명의 수학자가 대규모언어모델의 연구 수준 수학 추론 능력을 평가하기 위해 정답이 알려진 100개 문항으로 구성된 ‘Benchmarks in Leipzig’ 데이터셋을 만들었다. 논문은 6월 4일 arXiv에 공개됐다.

연구진은 올해 4월 1일부터 5월 15일까지 문항을 모았고, 핵심 작업은 독일 라이프치히 막스플랑크 수학과학연구소에서 열린 3일간의 워크숍에서 진행됐다고 설명했다. 참여자는 49명이며, 이 가운데 35명이 워크숍에서 주요 문항 구성 작업을 맡았다.

평가는 세 단계로 이뤄졌다. 먼저 5개의 최신 LLM에 단일 시도를 맡겼고, 이후 3개 모델을 대상으로 모델당 20회 실행을 진행했다. 마지막으로 두 개의 고강도 추론 모델에 3회씩 문제를 풀게 했다. 그 결과 첫 단계 이후 완전히 풀리지 않은 문항은 41개였지만, 두 번째 단계 뒤에는 16개로 줄었고 마지막 단계에서는 2개만 남았다.

이번 결과는 LLM의 수학 추론 능력이 빠르게 향상되고 있음을 보여주는 사례로 읽힌다. 다만 연구진의 결론은 새로운 데이터셋과 제한된 평가 조건에 근거한다. 모델별 세부 성능, 문제 공개 이후 벤치마크 오염 가능성, 다회 실행 비용과 실제 연구 생산성의 관계는 후속 검증이 필요한 쟁점이다.

벤치마크 경쟁이 일반 지식과 코딩을 넘어 전문 수학 영역으로 확장되고 있다는 점도 눈에 띈다. AI 모델이 연구 수준 문제에서 어떤 방식으로 실패하고, 반복 실행이나 강한 추론 설정을 통해 얼마나 개선되는지를 측정하는 일은 향후 모델 평가와 안전한 활용 논의의 중요한 기준이 될 수 있다.

출처: arXiv https://arxiv.org/abs/2606.05818