댄 루, GPT-6 Astra 코딩 실험 공개…테스트 기법 효과 재검토

개발자 댄 루가 공개한 원문 분석에 따르면 GPT-6 Astra는 이전 GPT-5.6 Sol 실험보다 테스트·검증 기법을 유용하게 활용하는 모습을 보였다. 여러 기법이 별도 테스트 방식을 지정하지 않은 기본 조건보다 나은 결과를 냈지만, 작성자는 어떤 방법이 전반적으로 우수한지 판정할 만큼 충분한 데이터는 아니라고 설명했다.

이번 비교는 코딩 에이전트에 규격 문서를 주고 구현을 맡긴 뒤 테스트 지시를 바꾸는 방식이다. 앞선 실험에 썼던 Zstd 압축 규격 구현 과제는 Astra에서 대부분 조건이 높은 정답률에 도달해 기법별 차이를 가리기 어려워졌다. 이에 IMAP 메일 프로토콜과 문서 변환 도구 Pandoc 구현 과제로 난도를 높였다.

IMAP 과제는 조건마다 80회 실행한 결과를 비교했다. 더 어려운 Pandoc 과제에서는 조건당 25회씩, 평균 약 14차례의 작업 턴을 거쳤지만 어느 조건도 완전한 정답에 도달하지 못했다. 따라서 모든 테스트를 통과한 실행의 비율 대신 통과한 테스트의 비율을 살폈다. Pandoc 실험 규모는 공시 요금 기준 약 9만 달러의 비용에 해당한다고 원문은 밝혔다.

관찰된 변화 중 하나는 차등 테스트다. 같은 입력에 대한 구현 결과를 비교하는 이 방식은 Pandoc 과제에서 에이전트가 경계 조건과 불변 조건을 더 면밀히 살피도록 이끌었다고 댄 루는 설명했다. 이전 실험에서는 비슷한 행동을 유도하려 했지만 잘 나타나지 않았다는 것이다.

속성 기반 테스트에서도 개선 신호를 봤다. 작성자는 일부 라이브러리를 지정했을 때 기대한 형태의 속성 검증이 나타났다고 평가했다. Rust용 Proptest와 정리 증명기 ACL2도 관심을 가질 만한 결과를 보였다고 적었으나, 이를 확정적인 도구 순위로 제시하지는 않았다.

테스트 주도 개발(TDD) 조건은 이번에도 상대적으로 부진했다. 다만 작은 테스트를 많이 작성하게 한 다른 조건이 모두 나빴던 것은 아니어서, 테스트 개수만으로 원인을 설명하기 어렵다고 원문은 지적했다. 이 결과를 사람이 수행하는 TDD나 모든 코딩 업무에 대한 평가로 확대할 근거도 제시되지 않았다.

분석의 핵심 제약은 표본과 일반화 가능성이다. Pandoc 과제는 조건당 실행 횟수가 제한돼 있고, 문장 구조 같은 작은 프롬프트 차이와 과제 종류에 따라서도 결과가 달라질 수 있다. 에이전트가 여러 턴에 걸쳐 앞선 코드와 선택의 영향을 받는다는 점도 결과 해석을 어렵게 한다.

이번 글은 모델 공급사의 공식 성능 발표가 아니라 개발자가 직접 수행한 비교 실험이다. 테스트를 쓰거나 쓰지 말라는 단일 처방보다는, 실제 업무와 비슷한 과제에서 정답률과 비용을 함께 확인해야 한다는 문제를 제기한다. 작성자 역시 특정 테스트 기법이 유용하거나 무용하다고 일반적으로 입증한 결과는 아니라고 강조했다.

출처: Dan Luu, Test and verification technique effectiveness with GPT-6 Astra https://danluu.com/astra-testing/ · 앞선 실험 원문, How well do agents use test and verification techniques? https://danluu.com/agentic-testing/