임상 AI 평가, 산출물 유사도 대신 의사 업무 절감으로 보자…KnowBench 공개

임상 AI 기업 노우텍스가 의사의 실제 검토·승인 과정을 기준으로 AI의 업무 절감 효과를 측정하자는 벤치마크 ‘KnowBench’를 공개했다. 연구자들이 14일 arXiv에 올린 논문에 따르면, 이 벤치마크는 AI가 생성한 임상 업무 산출물 가운데 담당 의사가 안전성 검토 뒤 수용한 비율을 ‘업무 절감(Effort Reduction·ER)’으로 정의한다.

논문은 진료 기록, 진단·청구 코드, 처방, 전자의무기록 요약, 환자용 사후 안내, 임상 의사결정 지원 등에서 같은 측정 틀을 적용할 수 있다고 설명했다. 기존의 참조 답안 유사도나 전문가 루브릭 평가가 실제 현장의 부담 감소를 충분히 반영하지 못한다는 문제의식에서 출발했다.

연구진은 문서화 업무 적용에서 6개월 이상, 13개 진료과, 100만 건 이상의 서명 완료 진료를 분석한 결과 전체 ER이 97.99%였다고 제시했다. 다만 이 수치는 노우텍스의 자체 미세조정 모델과 폐쇄형 피드백 구조에서 나온 초기 결과다. 논문도 일부 동반 통계를 공개하지 않았다고 밝혀, 다른 의료기관과 독립 시스템에서의 재현성 검증이 뒤따라야 한다.

임상 AI의 성과를 모델 답변의 정확도만으로 판단하기보다, 의료진이 실제로 되돌려받는 수정·검토 부담까지 측정하려는 시도라는 점은 의미가 있다. 다만 의료 현장 적용에서는 환자 안전, 책임 소재, 기관별 진료 흐름의 차이도 함께 검증돼야 한다.

출처: arXiv 연구자 원문 ‘KnowBench: Effort Reduction as a Unified, Deployment-Grounded Benchmark for Clinical AI’ https://arxiv.org/abs/2609.15794