단일 토큰 응답 분포로 LLM API 검증…165개 모델 실험

연구자 원문에 따르면 프라하경제대학교 정보통계학부의 토마시 브루크너는 대규모언어모델(LLM)이 내놓는 단일 토큰 답변의 분포를 행동 지문처럼 활용하는 검증 방법을 공개했다. 7월 11일 arXiv에 제출된 단독 저자 사전논문으로, API 중개업체나 추론 서비스가 표시한 모델과 실제 응답 모델이 같은지 낮은 비용으로 확인하는 문제를 다뤘다.

방법은 단순한 질문을 여러 차례 반복해 답변 분포를 비교하는 방식이다. 연구자는 ‘1부터 100 사이의 무작위 숫자를 말하라’는 유형을 포함해 무작위 숫자·글자·단어·색상·동물·도시와 동전 던지기 등 10개 과제를 영어, 러시아어, 중국어, 아랍어로 구성했다. 한 번의 응답은 한 단어나 짧은 값으로 제한하고, 10개 과제와 4개 언어를 결합한 40개 질문 셀의 분포를 모델별 지문으로 삼았다.

실험은 OpenRouter에 등록된 165개 모델과 53개 추론 제공 경로를 대상으로 진행됐다. 전체 요청은 32만6047건이었다. 연구자는 같은 모델의 표본을 둘로 나눴을 때의 분포 거리가 서로 다른 모델 사이의 거리보다 뚜렷하게 작았다고 보고했다. 무작위 답변이 실제로는 균등하지 않고 모델마다 반복되는 선호를 보인다는 특성을 신원 신호로 활용한 셈이다.

검증 성능은 생체인증 평가에 쓰이는 동등오류율로 측정했다. 잘못된 모델을 받아들이는 비율과 정상 모델을 거부하는 비율이 같아지는 지점의 오류율로, 낮을수록 구분력이 높다. 40개 질문 셀 전체를 사용했을 때 동등오류율은 7.3%였다. 8개 셀에서 각 15회씩, 모두 120개의 단일 토큰 응답을 모은 경우에는 10.6%를 기록했다. 한 개 셀만 사용했을 때는 23.3%로 올라가 여러 질문과 언어를 결합할수록 안정성이 높아졌다.

모델 계보를 구분하는 실험에서는 가장 가까운 지문을 기준으로 문서화된 모델 계열을 맞히는 정확도가 59.5%였다. 표본의 계열 분포를 반영한 우연 기준 18.4%보다는 높지만, 이 수치만으로 특정 모델의 정체를 확정하기에는 오차가 남는다. 연구자가 제안한 용도도 단일 응답의 출처 판정이 아니라, 신뢰할 수 있는 기준 배포판의 지문과 서비스 엔드포인트의 반복 응답을 비교하는 감사 절차다.

연구에서는 같은 모델을 내세운 제공 경로 사이에서도 일부 분포 차이가 확인됐다. 저자는 독점 모델로 소개된 한 엔드포인트가 공개 가중치 Qwen 모델과 통계적으로 구분되지 않는 사례를 보고했지만, 이를 고의적인 모델 대체의 증거로 단정하지 않았다. 모델 업데이트, 허용된 양자화, 캐시와 추론 설정 차이도 비슷한 편차를 만들 수 있다는 설명이다.

적용 범위에는 제약이 있다. 모델이 업데이트되면 지문도 달라질 수 있어 기준 자료를 다시 수집해야 하고, 비교를 시작하려면 신뢰할 수 있는 기준 배포판이 필요하다. 숨겨진 추론 단계를 끌 수 없는 모델은 실험에서 제외됐으며, 전체 조사는 하나의 API 집계 서비스 안에서 이뤄졌다. 다른 사업자와 장기간 운영 환경에서도 같은 성능이 유지되는지는 확인되지 않았다.

논문과 함께 익명화된 원시 응답 데이터와 분석 소프트웨어가 Zenodo에 공개돼 재현 기반은 마련됐다. 다만 현재 자료는 단독 저자의 arXiv 사전논문이며 독립 연구진의 재현이나 학술지·학회의 동료평가 결과는 확인되지 않았다. 이번 연구는 LLM API 시장에서 표시된 모델과 실제 제공 모델의 일치 여부를 행동 데이터로 감사할 수 있다는 가능성을 제시한 초기 결과로 보는 것이 적절하다.

출처: arXiv 연구자 원문 https://arxiv.org/abs/2607.10252
출처: Zenodo 연구 데이터 https://doi.org/10.5281/zenodo.21278557
출처: Zenodo 분석 소프트웨어 https://doi.org/10.5281/zenodo.21278793