AI 논문 심사, 내용 같아도 자신감 있는 문체 선호

논문을 평가하는 인공지능이 연구의 내용뿐 아니라 자신감 있는 표현에도 영향을 받는다는 실험 결과가 나왔다. 독일 CISPA 헬름홀츠 정보보안센터 등 공동 연구진이 현지시간 26일 arXiv에 공개한 예비논문 ‘Style over Substance? Linguistic Bias in LLM-based Peer Review’에 따르면, 평가에 사용한 대규모 언어모델 6종 모두 조심스러운 문체보다 자신감 있는 문체의 논문에 더 자주 높은 점수를 줬다.

연구진은 국제학술대회 ICLR 2026에 제출된 논문을 21개 분야에서 각각 24편씩 뽑았다. 분야별로 채택 논문 12편과 탈락 논문 12편을 포함해 총 504편을 구성하고 저자 정보를 익명화했다. 이후 Claude Opus 5로 같은 논문을 자신감이 높은 문체와 낮은 문체로 각각 재작성했다. 연구 주장과 수치, 구조를 유지하도록 지시하고, 의미 유사도와 어휘 보존 지표로 원문과의 유사성을 점검했다.

심사에는 GPT-5.5, Claude Sonnet 4.6, Gemini 3.5 Flash와 공개 가중치 모델 Gemma 3, Qwen3 VL, GLM 4.7을 사용했다. 각 모델은 두 버전을 따로 받아 강점과 약점 등을 서술하고 10점 만점의 종합 점수를 매겼다. 자신감 있는 버전이 더 높은 점수를 받은 빈도는 조심스러운 버전보다 모델별로 약 1.3배에서 7배 높았다. 이는 점수가 그만큼 높아졌다는 뜻이 아니라, 두 문체 중 어느 쪽에 더 높은 점수를 줬는지를 비교한 비율이다.

Claude Sonnet 4.6에서는 자신감 있는 버전이 높은 점수를 받은 논문이 약 40%, 조심스러운 버전이 높은 점수를 받은 논문이 약 6%였고, 나머지 약 54%는 동점이었다. 연구진이 종합 점수 4.5점을 채택 기준선으로 정한 분석에서는 논문의 21%가 자신감 있는 버전에서만 기준선을 넘었다. 반대 방향은 2.8%였다. 이 수치는 AI 점수에 기준선을 적용한 실험상 판정이며, 실제 ICLR 심사나 채택 결과가 바뀌었다는 의미는 아니다.

문체의 영향은 점수에만 나타나지 않았다. 연구진의 심사평 분석에서는 자신감 있게 작성된 논문의 방법론과 이론, 기여를 더 긍정적으로 평가하는 경향도 관찰됐다. 반면 영어 원어민과 비원어민의 학술 문체 특성을 모사해 비교한 별도 실험에서는 점수 선호가 상대적으로 약하고 모델마다 달랐다. 두 종류의 언어적 차이를 같은 수준의 편향으로 묶기는 어렵다는 결과다.

연구진은 AI 심사 도구를 도입하기 전에 연구 내용을 보존한 여러 문체의 논문으로 평가의 일관성을 시험해야 한다고 제안했다. 종합 점수뿐 아니라 심사평에서 제시하는 근거까지 살펴, 자신감 있는 어투를 더 강한 증거나 높은 연구 수준으로 오인하는지 확인해야 한다는 취지다. 모델별 평균 점수와 반복 평가의 변동 폭도 달라, 보정 없이 서로 다른 모델의 원점수를 직접 비교하는 데 주의가 필요하다고 설명했다.

이번 연구는 ICLR 2027에 제출한 예비논문으로, 학회 채택이나 동료심사가 완료된 연구로 제시되지는 않았다. ICLR 제출 논문과 특정 모델·프롬프트를 사용한 실험인 만큼 모든 분야의 논문 심사로 일반화할 수는 없다. 내용 보존 역시 재작성 지시와 유사도 지표로 점검한 것이어서 모든 문장의 과학적 의미가 완전히 같다고 보증하는 것은 아니다. 결과는 AI가 실제 학회의 심사 결정을 좌우했다는 증거보다, 자동 평가 도구가 표현의 강도에 얼마나 민감한지 보여주는 검증 사례로 볼 수 있다.

출처: CISPA 등 연구진 arXiv 예비논문 https://arxiv.org/abs/2610.35254
연구자 논문 HTML 원문 https://arxiv.org/html/2610.35254v1
연구자 논문 PDF 원문 https://arxiv.org/pdf/2610.35254