AI 에이전트, AI 연구의 설계·판단 단계서 한계…연구진 ‘두 사례 모두 거절’

연구진이 공개한 사전논문에 따르면, 최신 AI 에이전트는 사람의 도움 없이 연구용 엔지니어링 작업을 수행했지만 개방형 AI 연구의 핵심 질문에는 실질적인 진전을 내지 못했다. 연구진은 두 사례에서 나온 결과물을 각각의 원저자에게 평가받았고, 두 결과 모두 연구 논문으로는 거절됐다고 밝혔다.

‘Can AI agents conduct open-ended AI research? Early evidence from two case studies’라는 제목의 이번 연구는 AI 에이전트가 실제 연구 과정을 어디까지 자동화할 수 있는지 살피기 위해 ‘섀도 평가(shadow evaluation)’ 방식을 제안했다. 이미 완성된 답을 맞히게 하는 대신, 미공개 고품질 논문이 다룬 중심 연구 질문을 에이전트에 다시 맡기고 해당 논문의 원저자가 결과를 채점하는 방식이다.

연구진은 NeurIPS 2026에 투고된 미공개 논문 두 편을 대상으로 최전선 에이전트에 각각 6일의 실행 시간과 수천 달러 규모의 연산 예산을 제공했다. 논문 원문은 에이전트가 구현 단계의 작업을 사람 도움 없이 모두 마쳤다고 설명한다. 그러나 실험 설계의 결함에 대응하거나, 막힌 접근을 되짚어 다른 경로를 찾고, 연구 결과가 출판 가능한 수준인지 판단하는 과정에서는 한계를 보였다는 것이 연구진의 평가다.

두 사례의 원저자는 에이전트가 낸 결과를 모두 거절했다. 연구진은 반복적으로 관찰한 실패 양상으로 출판 기준에 대한 판단 부족, 연구 설계의 문제에 대한 비창의적 대응, 비효율적인 되돌리기, 자원 인식 부족, 지시 이탈을 제시했다. 다른 모델과 실행 틀을 사용한 추가 점검에서도 비슷한 문제가 나타났다고 덧붙였다.

이는 AI 에이전트의 연구 자동화 능력을 단순한 코드 작성이나 벤치마크 정답률만으로 평가하기 어렵다는 점을 보여준다. 연구의 핵심은 구현뿐 아니라 어떤 질문을 좁히고, 실험의 약점을 찾아 고치며, 결과의 의미와 기준을 판단하는 데 있기 때문이다. 이번 평가는 그 과정을 실제 연구자 평가에 연결하려 했다는 데 의미가 있다.

다만 이번 결과는 두 편의 미공개 논문을 대상으로 한 사례 연구다. 원문도 ‘초기 증거’라고 규정하고 있으며, 특정 연구 영역과 에이전트 설정에서 나타난 결과를 모든 과학·기술 연구로 일반화하기는 이르다. 논문은 동료평가 전 사전공개본으로, 후속 독립 재현과 더 다양한 과제의 검증이 필요하다.

출처: 연구진 사전공개 논문 https://arxiv.org/abs/2607.27191