Graphite, Opus 5.5 문체 특징 2548개 확인…단어 분포는 인간 글에 가까워져

Graphite가 10월 1일 공개한 연구 원문에 따르면 Claude Opus 5.5의 단어 분포는 인간 기사에 가까워졌지만, 인간보다 두 배 이상 자주 쓰는 단어·구문 패턴 2548개가 남았다. 알려진 문체 특징이 줄어도 AI와 인간 글쓰기의 통계적 차이가 모두 사라지는 것은 아니라는 분석이다.

이번 보고서는 Graphite가 9월 공개한 ‘AI Tells’ 연구에 Opus 5.5를 추가한 후속 분석이다. 연구진은 ChatGPT 출시 이전에 작성된 웹 기사 1만 편을 수집하고, 각 기사의 요약을 바탕으로 여러 AI 모델에 같은 주제의 기사를 쓰게 했다. 최신 비교에는 인간 기사와 10개 모델의 기사가 모두 확보된 9974개 공통 주제가 사용됐다.

연구진이 문체 특징으로 분류한 대상은 텍스트 길이를 보정한 뒤에도 인간 글보다 두 배 이상 자주 등장하는 단어, 두세 단어 구문, 일정한 빈칸을 포함하는 표현 틀이다. 지나치게 드문 표현을 제외하기 위한 빈도 기준도 적용했다. 이 조건을 충족한 패턴은 Opus 5의 2666개에서 Opus 5.5의 2548개로 약 4% 줄었다.

전체 단어 사용 분포는 더 큰 변화를 보였다. 인간 기사와의 차이를 재는 옌센·섀넌 발산 값은 Opus 5의 0.064에서 Opus 5.5의 0.052로 약 19% 낮아졌다. 같은 비교에서 GPT-5.6 Sol은 0.101, GPT-6 Astra는 0.109였다. 이 지표는 단어 분포의 차이를 나타내며, 글의 사실성이나 답변 품질을 평가한 점수는 아니다.

대표적인 문장부호 특징도 바뀌었다. 긴 대시인 엠대시의 사용량은 Opus 5에서 1000단어당 평균 2.92회였지만 Opus 5.5에서는 0.015회로 줄었다. 연구진은 두 모델 사이 감소 폭을 99%로 제시했다. 최신 모델이 이 문장부호를 적게 쓴다는 사실만으로 다른 문체 특징까지 사라졌다고 볼 수는 없다.

과도하게 쓰는 표현의 종류도 달라졌다. Opus 5.5는 ‘can help you’를 Opus 5보다 여덟 배 자주 사용했다. 반대로 ‘is genuinely’는 Opus 5에서 Opus 5.5보다 26배 자주 등장했다. 모델 버전이 바뀌면서 익숙한 표현 일부가 줄고 다른 표현이 늘어나는 양상이다.

Graphite는 연구의 적용 범위를 웹 기사와 비교한 모델 버전으로 한정했다. AI 기사에는 하나의 고정 프롬프트를 사용했기 때문에 지시문이 달라지면 결과도 달라질 수 있다. 인간 기사가 ChatGPT 출시 전 자료라는 점도 한계다. 2022년 이후의 일반적인 문체 변화가 AI 특유의 특징처럼 잡힐 가능성이 있다.

연구진은 특정 표현 하나만으로 작성자가 인간인지 AI인지 분류하는 것을 권하지 않았다. 이번 수치는 정해진 말뭉치에서 나타난 집단적 차이로, 개별 기사나 특정 작성자의 AI 사용 여부를 입증하는 결과는 아니다.

출처: Graphite 연구 원문 ‘AI Tells: Opus 5.5 Update’
https://graphite.io/five-percent/research/ai-tells-opus-5-5-update
Graphite 선행 연구 원문 ‘AI Tells’, 연구 방법 및 한계
https://graphite.io/five-percent/research/ai-tells