OpenAI, 생물학 연구용 AI 벤치마크 ‘GeneBench-Pro’ 공개

OpenAI 공식 발표와 논문에 따르면 회사는 6월 30일(현지시간) AI 에이전트의 생물학 연구 분석 능력을 평가하는 벤치마크 ‘GeneBench-Pro’를 공개했다. 이 벤치마크는 유전체학, 정량생물학, 중개의학 영역에서 모델이 정제되지 않은 데이터와 불완전한 실험 맥락을 바탕으로 올바른 분석 경로를 선택할 수 있는지 측정한다.

GeneBench-Pro는 기존 GeneBench를 확장한 평가 체계다. OpenAI는 생물학 연구에서 필요한 역량이 단순한 지식 검색이나 정해진 절차 실행에 그치지 않는다고 설명했다. 실제 연구자는 데이터 품질을 확인하고, 어떤 질문이 데이터로 답할 수 있는지 판단하며, 분석 결과가 다음 연구 또는 임상적 의사결정에 충분한 근거가 되는지 살핀다. GeneBench-Pro는 이처럼 여러 단계의 통계적 판단과 반복적인 진단 과정을 평가 대상으로 삼았다.

논문에 따르면 GeneBench-Pro는 10개 주요 영역과 21개 세부 영역에 걸친 129개 평가 문제로 구성됐다. 각 문제는 에이전트에게 간단한 실험 맥락, 목표 추정량, 데이터 파일, 표준 과학 컴퓨팅 환경을 제공하되 상세한 분석 절차는 알려주지 않는다. 에이전트는 품질관리와 탐색적 데이터 분석, 모델 선택, 진단, 보정 여부 판단을 스스로 이어가야 한다.

OpenAI는 전체 129개 문제 중 82개를 외부 도메인 전문가가 검토했다고 밝혔다. 대표 문제 10개는 공개 데이터셋 형태로 제공하고, 별도 50개 문제는 Artificial Analysis를 통한 독립 평가에 활용할 계획이다. 이는 벤치마크가 특정 모델의 단기 성능 홍보에 머물지 않고, 외부 평가와 재현 가능한 문제 검토로 이어지도록 설계됐다는 의미가 있다.

성능 결과는 현재 AI 에이전트의 가능성과 한계를 함께 보여준다. 논문은 GPT-5.6 Sol이 최고 추론 수준에서 28.7%의 통과율을 기록했고, 별도로 보고된 Pro 실행에서는 31.5%에 도달했다고 설명했다. GPT-5.5는 12.0%, GPT-5.4는 8.9%였으며, 비 GPT 계열 중 가장 높은 기준선으로 제시된 Claude Opus 4.8은 16.0%를 기록했다.

OpenAI는 모델들이 개별 단서를 발견하는 데서는 진전을 보였지만, 그 단서가 분석 경로를 어떻게 바꿔야 하는지 끝까지 반영하는 데는 여전히 실패가 많았다고 분석했다. 잘못된 추정량을 선택하거나 처음에는 그럴듯해 보이는 분석 경로에 머무는 사례가 남아 있다는 것이다. 이는 AI가 과학 연구를 보조하는 도구로 쓰이더라도, 당분간 전문가 검증과 문제 설계가 핵심 역할을 해야 한다는 점을 시사한다.

이번 발표는 AI 평가가 코딩·수학·지식 검색 중심에서 실제 연구 현장의 판단 능력으로 확장되고 있음을 보여준다. 특히 생물학과 의생명 연구는 데이터 생성보다 해석과 후속 의사결정이 병목이 되는 경우가 많다. GeneBench-Pro는 AI 에이전트가 이 병목을 얼마나 신뢰성 있게 줄일 수 있는지 따져보는 초기 기준점이 될 수 있다.

출처: OpenAI https://openai.com/index/introducing-genebench-pro/ · GeneBench-Pro 논문 PDF https://cdn.openai.com/pdf/21938268-21af-442f-af93-3b2249afb241/genebench-pro.pdf · bioRxiv https://www.biorxiv.org/content/10.64898/2026.06.29.735386v1.full-text