
오픈소스 판단 도구 STROT이 신뢰도가 낮은 결과를 외부 대규모 언어모델(LLM)에 재질의하는 기능을 제거했다. 프로젝트 공식 GitHub 릴리스에 따르면 19일 한국시간 공개된 0.11.1은 직전 버전에 도입했던 ‘escalate_to’를 없애고, 로컬 모델이 판단하기 어려운 입력은 결과를 보류하도록 했다. 같은 버전은 파이썬 패키지 저장소 PyPI에도 배포됐다.
STROT은 자연어로 작업 목적과 선택 가능한 처리 항목을 정하면 LLM으로 실행 코드를 구성하고, 이후에는 그 산출물을 재사용하는 도구다. 고객 문의 분류나 업무 분배처럼 정해진 범위에서 반복적으로 판단하는 작업을 겨냥한다. 기본 로컬 구성에서는 매 입력마다 LLM을 호출하지 않고 별도의 판단 모델이 처리하며, 결과에 신뢰도를 함께 제공한다.
변경 이유는 개발팀의 혐오 표현 분류 시험이었다. 0.11.1 릴리스 노트는 해당 시험에서 Haiku의 정확도가 64.1%, 로컬 모델이 63.5%로 나타나 추가 질의가 거의 개선을 주지 못했다고 설명한다. 외부 모델 호출 비용과 실행 중 의존성은 남았다. 이는 특정 과제에서 프로젝트 측이 측정한 결과이며, 두 모델의 전반적인 성능 비교를 뜻하지 않는다.
목표 정확도에 맞춰 판단 기준을 조정하는 ‘target_accuracy’는 유지된다. 컴파일 단계에서 신뢰도와 분류별 편향을 보정하고, 실행 시 기준을 넘지 못한 입력은 자동 처리를 보류한다. 보류한 입력을 사람이 검토할지 다른 절차로 넘길지는 이 도구를 사용하는 쪽이 결정한다.
다만 목표값을 지정하는 것과 실제 정확도를 보장하는 것은 다르다. 공식 문서는 이 옵션을 경험적 정책으로 설명한다. 직전 버전의 시험에서는 전체 정확도를 높이는 과정에서 혐오 표현을 실제로 찾아내는 재현율이 22%까지 떨어졌다. 일부 범주가 드문 데이터에서는 전체 정답률만 높이는 기준이 중요한 사례를 놓칠 수 있다는 사례다.
로컬 실행도 전체 비용이 없다는 의미는 아니다. 초기 코드 구성과 검증에는 LLM 호출이 필요할 수 있고, 로컬 판단 모델을 구동할 컴퓨팅 자원도 요구된다. 공식 문서는 별도의 호스팅 모델을 판단 엔진으로 연결하는 구성도 구분하고 있다. 입력 데이터의 구조나 설정이 바뀌면 기존 산출물을 그대로 쓰지 않고 다시 컴파일할 수 있다.
개발팀은 생성한 코드를 알려진 정답 사례로 검증하고 배포할 것을 권장한다. 코드 검사 기능은 샌드박스가 아니므로 신뢰할 수 없는 요청을 컴파일할 때는 실행 환경을 별도로 격리해야 한다고 명시했다. 이번 변경은 더 큰 모델을 한 단계 추가하는 대신, 보류할 입력을 가려내고 해당 작업에 맞는 판단 모델을 선택하는 방향에 초점을 맞췄다.
출처: STROT 공식 GitHub 0.11.1 릴리스 https://github.com/strot-ai/Project-STROT/releases/tag/v0.11.1
STROT 공식 GitHub 0.11.0 릴리스 https://github.com/strot-ai/Project-STROT/releases/tag/v0.11.0
STROT 0.11.1 공식 개발자 문서 https://github.com/strot-ai/Project-STROT/blob/v0.11.1/DEVELOPERS.md
PyPI strot-ai 0.11.1 배포 정보 https://pypi.org/project/strot-ai/0.11.1/