Moonshot AI, 시각 인식 벤치마크 공개…평가 대상 모두 60% 미만

Moonshot AI 공식 연구 페이지에 따르면 Kimi 팀이 16일 멀티모달 대형언어모델의 시각 인식 능력을 세부 단위로 진단하는 ‘PerceptionBench’를 공개했다. 추론이나 외부 지식의 영향을 걷어내고, 모델이 이미지에서 실제로 무엇을 정확히 보는지 평가하는 데 초점을 맞춘 벤치마크다.

Kimi 팀은 기존 40개 이상의 멀티모달 벤치마크에서 나타난 오류를 분석해, 각 실패가 처음 발생한 시각적 원인을 분류했다고 설명했다. 이를 바탕으로 시각 관계, 개수 세기, 속성, 깊이와 3차원 이해, 위치 찾기, 비교, 세밀한 식별, 맥락 통합, 문자 인식, 환각 등 10개 능력으로 평가 체계를 구성했다.

전체 문항은 3,000개다. 회사는 각 문항이 추론이나 배경지식 없이 이미지를 보는 것만으로 답할 수 있도록 설계됐으며, 하나의 검증 가능한 정답을 갖도록 검수와 난이도 조정을 거쳤다고 밝혔다. 기존 벤치마크의 오류 유형이 서로 겹치는 정도가 낮았다는 분석도 여러 평가 영역을 한데 묶은 배경으로 제시했다.

자체 평가 결과는 현재 멀티모달 모델의 시각 능력이 일관적이지 않다는 점을 드러냈다. Kimi 팀에 따르면 평가 대상 가운데 정확도 60%를 넘긴 모델은 없었다. 종합 점수가 비슷한 모델끼리도 항목별 강점과 약점이 달랐고, 같은 질문을 반복했을 때 앞서 맞힌 답을 유지하지 못하는 사례도 적지 않았다. 회사는 이를 모델이 안정적으로 지각하기보다 일부 문항에서 추측에 의존한다는 신호로 해석했다.

이 구분은 멀티모달 AI 평가에서 중요하다. 복합 문항의 오답은 이미지 자체를 잘못 본 것인지, 본 내용을 바탕으로 한 추론이 틀린 것인지 판별하기 어렵다. PerceptionBench는 가장 먼저 발생한 시각 오류를 분리해 모델 개선 지점을 좁히려는 접근이다. 문서 판독, 화면 조작, 로봇과 자율 시스템처럼 작은 인식 오류가 뒤 단계 판단을 연쇄적으로 흔드는 분야에서 활용 가능성이 있다.

다만 결과는 Moonshot AI가 자체 제작하고 자체 평가한 벤치마크에 기반한다. Kimi K3 기술 문서도 PerceptionBench를 사내 벤치마크로 명시하고 있으며, 멀티모달 점수는 별도 설명이 없는 경우 세 차례 실행 평균을 사용했다고 적었다. 벤치마크의 일반성과 모델 간 비교의 공정성을 판단하려면 평가 데이터와 실행 조건에 대한 외부 검토와 독립 재현이 뒤따라야 한다.

출처: Kimi 공식 연구 페이지 https://www.kimi.com/blog/perception-bench
Kimi K3 공식 기술 블로그 https://www.kimi.com/blog/kimi-k3
Moonshot AI 공식 사이트 https://www.moonshot.ai/