
구글 클라우드 AI 리서치와 노스웨스턴대 연구진이 모델을 다시 학습시키지 않고 에이전트의 실행 환경을 개선하는 ‘Harness²’를 공개했다. Google Research 공식 GitHub 저장소와 연구자 논문에 따르면 프롬프트, 도구 사용 지침, 메모리 등을 과제 수행 결과에 맞춰 수정하는 방식이다. 관련 논문은 10일(한국시간) arXiv에 공개됐다.
하네스는 언어모델이 실제 작업을 수행하도록 둘러싼 실행 체계를 뜻한다. 같은 모델을 쓰더라도 어떤 지침과 도구를 제공하고, 정보를 기억하거나 작업을 나누는 방식을 어떻게 설계하느냐에 따라 결과가 달라질 수 있다. Harness²는 모델 가중치를 고정한 상태에서 이 주변 체계를 개선 대상으로 삼는다.
개선은 두 단계로 이뤄진다. 먼저 현재 과제에 맞는 실행 환경 수정안을 제안하고, 같은 과제에서 시험한 뒤 실행 기록을 비교해 유효한 변경을 조합한다. 연구진은 이를 ‘Propose–Probe–Compose’라고 부른다. 정답이나 채점 결과를 개선 과정에 직접 제공하지 않고, 도구 사용과 작업 결과가 어떻게 달라졌는지를 근거로 삼는다.
과제가 끝나면 채택한 구성과 수정 과정에서 얻은 교훈을 별도 라이브러리에 보관한다. 다음 과제에 이전 실행 환경을 그대로 물려주는 대신, 새 수정안을 만드는 과정에서 이 경험을 참고한다. 여러 후보를 동시에 탐색하는 병렬 방식과 앞선 수정 결과를 이어받아 다듬는 순차 방식을 모두 지원한다.
수정 가능한 요소는 시스템 프롬프트, 가드레일, 메모리, 도구 사용 지침, 서브에이전트, 스킬, 스크립트, 플러그인 등 여덟 가지다. 공개 코드는 OpenCode와 Codex 실행기를 지원하며, 일반 업무용 JobBench, 법률 업무용 LAB, 사무·웹·코딩 과제로 구성된 WorkBuddy-Bench에서 실험할 수 있다.
연구진은 GLM-5와 Gemini 3.5 Flash를 포함한 네 가지 모델·하네스 조합을 세 벤치마크에서 평가했다. 프로젝트가 제시한 Gemini 3.5 Flash·OpenCode 조합의 WorkBuddy-Bench 평균 점수는 기본 구성 72.4점에서 한 차례 개선 후 77.5점으로 올랐다. 병렬 탐색 예산을 k=5로 늘렸을 때는 80.8점이었다. 이 수치는 사무·웹·코딩 세 영역의 점수를 평균한 것으로, 세 차례 실행의 평균값이다.
수치 해석에는 평가 조건을 살펴야 한다. 개발진은 공개 코드가 실행기의 네트워크 접근을 제한하지 않아 공개된 벤치마크 자료와 채점 기준에 접근할 수 있다고 설명했다. 실험 문서는 재현 평가 때 관련 도메인 접근을 차단하고 제한 조건을 결과와 함께 기록하도록 권고한다. 논문에 제시된 점수는 연구진의 평가 결과이며, 일반 업무 환경 전체에서 같은 향상을 보장하는 것은 아니다.
설치 안내는 Linux와 Python 3.12, uv 환경을 기준으로 한다. 모델을 연결한 실험에는 실행과 개선 단계마다 API 비용이 발생하므로, 반복 횟수를 늘릴 때 성능뿐 아니라 비용도 함께 검토해야 한다.
코드는 Apache 2.0 라이선스로 배포되지만 외부 벤치마크와 데이터셋에는 각자의 이용 조건이 적용된다. 저장소는 이 프로젝트가 구글의 공식 지원 제품은 아니라고 명시했다. 새 모델 출시가 아니라, 기존 모델을 쓰는 에이전트의 실행 구조를 자동으로 다듬는 연구용 프레임워크라는 점이 핵심이다.
출처: Google Research 공식 GitHub 저장소 https://github.com/google-research/harness2
Harness² 연구자 논문 https://arxiv.org/abs/2610.14224
Harness² 공식 프로젝트 페이지 https://harness2.github.io/
Harness² 공식 실험 안내 https://github.com/google-research/harness2/blob/main/docs/EXPERIMENTS.md
Harness² 공식 벤치마크 안내 https://github.com/google-research/harness2/blob/main/docs/BENCHMARKS.md









