Hex, AI 차트 편집 평가 오류율 21%서 3%로…검증 코드가 개선 주도

데이터 분석 플랫폼 Hex가 AI 차트 편집 기능의 자체 평가에서 잘못된 편집 비율을 21%에서 3%로 낮췄다고 밝혔다. 8일(현지시간) 공개한 공식 기술 블로그에 따르면 개선 효과의 절반 이상은 모델에 보내는 프롬프트가 아니라 출력을 검사하고 보정하는 검증 코드에서 나왔다.

대상은 데이터 앱의 차트를 자연어로 수정하는 ‘Quick Edits’다. 공식 문서는 작은 모델이 색상, 라벨, 축 표시 등 간단한 스타일 변경을 처리하고, 범위를 벗어난 요청은 주 에이전트에 넘기는 구조라고 설명한다. 사용자가 앞선 요청을 다시 설명하지 않아도 후속 수정이나 되돌리기를 할 수 있다.

Hex는 내부 사용자의 실제 차트 편집 요청에서 출발해 평가 사례를 1800개로 늘렸다. 코딩 에이전트가 수백 건의 변경안을 시험하고, 평가 결과가 나아지는 수정만 채택하는 반복 최적화 방식이다. 전체 통과율을 높이는 것보다 사용자가 요청하지 않은 편집을 줄이는 데 우선순위를 뒀다. 처리 가능한 요청을 주 에이전트에 넘기면 속도가 느려지지만, 잘못된 편집은 차트를 직접 바꾸기 때문이다.

검증 코드는 모델의 답을 실제 차트에 적용하기 전에 형식과 제약을 확인한다. Hex는 올바른 색상값에 따옴표가 빠지거나 값의 자료형이 다를 때 이를 보정하고, 숫자를 허용 범위에 맞추도록 수정했다. 최솟값과 최댓값의 관계, 날짜 형식, 해당 차트에 실제 적용할 수 있는 속성인지도 검사한다. 회사는 이런 변경이 반복 최적화 과정의 개선분 가운데 절반 이상을 차지했다고 설명했다.

모델이 차트의 의미를 이해하도록 입력 구조도 손봤다. 가로 막대 차트의 축을 혼동하는 문제는 프롬프트를 늘리는 대신 관련 속성 이름에 축 정보를 붙이고 설명을 명확히 해 개선했다. 이미 요청을 충족했다는 판단도 모델이 남용할 수 있어, 변경이 필요 없는지 확인하는 일부 로직을 검증 코드로 옮겼다.

평가 사례에는 모호하거나 여러 요구가 섞인 요청도 포함했다. 스타일 변경과 데이터 변경이 함께 들어오면 일부만 수정하지 않고 주 에이전트로 넘기도록 했다. 반대로 여러 스타일 변경을 한꺼번에 요청한 경우에는 대상과 예외 조건을 모두 지키는지 시험했다. 약 50개의 기본 차트에 변형과 편집 이력을 더해 문맥을 이해하는 능력도 살폈다.

평가 문제에만 맞춰지는 과적합을 줄이기 위해 전체 사례의 약 40%는 개선 작업을 하는 에이전트에 공개하지 않았다. Hex는 이 별도 평가에서도 결과가 좋아질 때만 변경안을 채택했다고 밝혔다. 사례당 세 번 실행했을 때는 결과 변동이 커 열 번으로 늘렸고, 별도 평가의 변동 폭을 약 0.2%포인트까지 낮췄다고 설명했다.

21%와 3%는 회사가 의도적으로 어렵게 구성한 자체 평가에서 나온 수치다. 실제 고객 이용 환경에서 관측한 오류율이나 다른 AI 제품의 성능을 뜻하지는 않는다. 이번 공개는 차트 편집이라는 제한된 작업에서 모델의 지시문뿐 아니라 출력 검증, 입력 속성 설계, 요청을 다른 에이전트로 넘기는 기준을 함께 개선한 사례다.

출처: Hex 공식 기술 블로그, ‘Hill climbing to glory: using evals to cut AI errors 7x’
https://hex.tech/blog/we-used-evals-to-improve-ai-feature/
Hex 공식 문서, ‘Generative apps’의 Quick edits 안내
https://learn.hex.tech/docs/share-insights/apps/generative-apps