과학 연구 워크플로 평가하는 AI 에이전트 벤치마크 ‘터미널-벤치-사이언스’ 공개

AI 에이전트가 과학 연구의 실제 작업 흐름을 얼마나 수행할 수 있는지 평가하기 위한 벤치마크 ‘Terminal-Bench-Science’가 공개됐다. 프로젝트 공식 발표와 GitHub 릴리스에 따르면 0.1 버전은 생명과학, 물리과학, 지구과학, 수학, 공학의 연구 과제 70개로 구성됐다.

이 벤치마크는 정답이 정해진 짧은 질문보다 연구자가 실제로 수행하는 도구 사용과 분석 과정을 평가 대상으로 삼는다. 프로젝트는 과제들이 연구자 자신의 업무에서 출발했으며, 과제 제안·검토·구현에 참여한 인원이 22개국 376명이라고 밝혔다.

GitHub의 v0.1.0 릴리스는 초기 배포본에 전문가가 큐레이션한 연구 워크플로 과제 70개를 담았다고 설명한다. 과제는 단백질·의료 데이터, 물질·에너지, 환경·지구 관측, 수학적 추론, 공학 설계 등 서로 다른 분야를 가로지른다. 각 과제는 터미널 환경에서 실행되도록 구성돼 있어, 모델이 코드를 작성하는 능력뿐 아니라 파일과 데이터, 과학 소프트웨어를 다루는 과정을 함께 살필 수 있다.

프로젝트가 공개한 비교 자료에서는 기존 소프트웨어·일반 터미널 벤치마크에서 높은 해결률을 보인 모델도 과학 연구 과제에서는 성능이 크게 낮아졌다. 이는 과학 에이전트의 역량을 판단할 때 단일 점수보다 과제의 전문성, 재현 가능성, 도구 사용 과정까지 함께 봐야 한다는 문제의식을 보여준다.

이번 공개는 AI 에이전트 평가가 코드 수정과 일반 업무 자동화를 넘어 전문 연구 환경으로 넓어지는 흐름에 놓여 있다. 다만 프로젝트의 성능 수치는 공개된 벤치마크 환경의 결과이므로, 실제 연구 현장에서의 신뢰성과 검증 체계를 별도로 확인할 필요가 있다.

출처: Terminal-Bench-Science 공식 발표 https://www.terminal-bench-science.ai/announcement · GitHub 릴리스 https://github.com/harbor-framework/terminal-bench-science/releases/tag/v0.1.0 · GitHub 저장소 https://github.com/harbor-framework/terminal-bench-science