
AI가 내놓은 답을 다른 AI가 채점할 때, 그 점수는 얼마나 일관될까. 개발자 Hemanth Dhanasekaran이 공개한 오픈소스 도구 Mistrial은 평가 대상뿐 아니라 ‘평가자’의 신뢰도를 들여다본다. 공식 GitHub README와 릴리스에 따르면 같은 사례를 여러 차례 평가하고, 심사 모델과 평가 기준 문구에 따라 판정이 어떻게 달라지는지 비교한다. 최신 0.2.2 릴리스는 27일 오전(한국시간) 공개됐다.
도구는 평가자별 반복 판정의 일치도와 결과가 뒤집힌 사례를 보여준다. 여러 모델을 함께 사용하면 모델 간 일치율뿐 아니라 우연에 의한 일치를 보정하는 코언의 카파, 크리펜도르프의 알파도 산출한다. 사람이 붙인 정답 라벨이 있으면 그 기준과 얼마나 맞는지도 따로 비교한다. 같은 답을 반복해서 내놓는 것과 올바른 답을 내놓는 것을 구분하는 구조다.
평가 기준을 표현하는 방식도 점검 대상이다. 뜻은 같지만 문구가 다른 기준을 적용해 판정 변화를 확인하고, ‘정확한가’를 ‘부정확한가’로 뒤집었을 때 판단도 적절히 반전되는지 살핀다. 모델 교체 전후의 판정 비교와 기준 실행 대비 변화 감지 기능도 제공한다.
개발 파이프라인에 연결할 수 있는 점도 특징이다. 사용자는 반복 평가의 일치도나 판정 변경 비율에 허용 범위를 정해 지속적 통합(CI) 작업의 통과 조건으로 사용할 수 있다. 여러 번의 판정에서 다수결을 취하는 방식, 처음 두 번의 답이 엇갈린 사례만 추가로 묻는 방식도 지원한다. 사람이 다시 검토할 사례는 CSV 파일로 내보낼 수 있다.
입력은 JSONL·JSON·CSV 형식이며, 모델 이름을 지정하거나 LangSmith·openevals 형식의 기존 평가 함수를 연결한다. 결과는 터미널과 HTML·JSON 보고서 등으로 확인할 수 있다. 원문 응답과 파싱 방식도 기록해 모델의 판정 문제와 응답을 읽는 과정의 오류를 구분하도록 했다.
0.2.2에서는 같은 초에 실행한 작업이 서로의 JSON 기록을 덮어쓰던 문제를 고쳤다. 잘못된 종류의 결과 파일이나 없는 경로를 지정했을 때의 오류 안내도 개선했다. 반올림·단위 변환·답변의 추가 설명처럼 판단이 갈릴 수 있는 요소를 담은 64개 예제도 새로 포함했다.
Mistrial은 파이썬 3.10 이상에서 사용할 수 있으며 MIT 라이선스로 배포된다. 패키지에는 알파 단계로 표시돼 있다. 반복 평가 지표는 심사자의 흔들림을 찾는 자료이지 판단의 정확성을 보장하는 인증은 아니다. 실제 서비스에서는 자체 사례와 사람의 기준 답안을 함께 두고 해석할 필요가 있다.
출처: Mistrial 공식 GitHub 0.2.2 릴리스 https://github.com/hemanth1999k/mistrial/releases/tag/v0.2.2 · Mistrial 0.2.2 공식 README https://github.com/hemanth1999k/mistrial/blob/v0.2.2/README.md · Mistrial 0.2.2 패키지 메타데이터 https://github.com/hemanth1999k/mistrial/blob/v0.2.2/pyproject.toml