Cursor, 에이전트 스웜 실험 공개…SQLite 과제 비용 최대 8배 차이

Cursor가 20일 공식 연구 블로그를 통해 계획과 실행 역할을 분리한 새 AI 에이전트 스웜의 자체 실험 결과를 공개했다. SQLite 문서만을 바탕으로 Rust 데이터베이스를 구현하도록 한 결과, 새 구조는 모든 모델 조합에서 이전 구조보다 높은 초기 테스트 통과율을 보였다. 다만 같은 과제를 수행하는 비용은 모델 구성에 따라 약 8배까지 차이가 났다.

새 스웜은 작업을 트리 형태로 나눈다. 성능이 높은 모델을 사용하는 계획 에이전트가 목표를 하위 작업으로 분해하고, 상대적으로 빠르고 저렴한 모델을 쓰는 실행 에이전트가 각 작업을 구현한다. Cursor는 계획 에이전트가 세부 구현에 관여하지 않고 실행 에이전트가 좁은 범위에 집중하도록 해 장기 작업에서 문맥이 흐트러지는 문제를 줄였다고 설명했다.

검증 과제는 835쪽 분량의 SQLite 설명서를 바탕으로 호환 데이터베이스를 처음부터 구현하는 것이었다. Cursor는 실험 중 SQLite 원본 코드와 실행 파일, 평가용 테스트, 인터넷 접근을 제공하지 않았다고 밝혔다. 결과는 SQLite 프로젝트가 서로 다른 데이터베이스 구현의 질의 결과를 비교하기 위해 만든 sqllogictest로 측정했다.

Cursor는 네 가지 모델 구성을 비교했다. GPT-5.5와 Grok 4.5를 각각 계획과 실행에 모두 쓰는 구성, Opus 4.8 또는 Fable 5가 계획을 맡고 Composer 2.5가 실행하는 혼합 구성이 대상이었다. 4시간 시점에서 새 스웜의 테스트 통과율은 73~85%였고 이전 구조는 11~77%였다. 회사는 새 구조의 모든 실행이 이후 전체 테스트를 통과했다고 보고했다.

차이는 모델 성능보다 조정 방식에서 크게 나타났다. Grok 4.5를 사용한 이전 스웜은 첫 2시간 동안 6만8000개의 커밋을 만들었고, 중단 전까지 병합 충돌이 7만건을 넘었다. 새 구조는 4시간 전체에서 충돌이 1000건 미만이었다. Cursor는 설계 결정 공유 문서, 충돌을 중재하는 별도 에이전트, 지나치게 커진 파일을 자동 분리하는 절차를 도입했다고 설명했다.

비용은 동일한 수준의 최종 품질이 곧 비슷한 운영비를 뜻하지 않는다는 점을 보여줬다. Opus 4.8을 계획에, Composer 2.5를 실행에 사용한 구성은 1339달러가 들었고 GPT-5.5만 사용한 구성은 1만565달러였다. 모든 실행에서 작업 에이전트가 전체 토큰의 최소 69%를 사용했으며 대부분의 구성에서는 90%를 넘었다. GPT-5.5 단일 구성의 실행 에이전트 비용은 9373달러였지만 Opus·Composer 혼합 구성의 실행 비용은 411달러였다.

이 결과는 복잡한 판단이 필요한 계획에는 상위 모델을 쓰고 반복 구현에는 저렴한 모델을 배치하는 방식이 대규모 에이전트 작업의 비용을 낮출 수 있음을 시사한다. 그러나 비싼 계획 모델이 항상 전체 비용을 줄이는 것은 아니었다. Cursor는 Fable 5가 계획 단계에서 적은 토큰을 사용했지만 실행 에이전트의 토큰 소비가 늘어 전체 비용은 더 커졌다고 밝혔다.

해석에는 한계가 있다. 이번 수치는 Cursor가 설계하고 운영한 자체 실험에서 나온 결과이며, 에이전트 하네스와 초당 대량의 변경을 처리하기 위해 만든 전용 버전관리시스템은 공개되지 않았다. 공개된 minisqlite 저장소도 비교 실험의 스웜 결과가 아니라 Opus 4.8 단독 실행 결과다. Cursor는 해당 코드를 자세히 수동 검증하지 않았다고 밝혔으며, 독립적인 재현 결과도 아직 확인되지 않았다.

출처: Cursor 공식 연구 블로그 https://cursor.com/blog/agent-swarm-model-economics
출처: Cursor 공식 GitHub https://github.com/cursor/minisqlite
출처: SQLite 공식 sqllogictest 문서 https://www.sqlite.org/sqllogictest/doc/trunk/about.wiki