
AI 모델의 답변이 얼마나 정확한지를 넘어 어떤 말투와 방식으로 전달되는지를 비교하는 평가가 공개됐다. AI 평가기관 Artificial Analysis의 공식 평가 페이지와 방법론에 따르면, AA-PersonalityBench는 모델의 글쓰기와 소통 방식에서 드러나는 성향을 측정한다. 추론·코딩 능력이나 정답률을 평가하는 벤치마크와는 목적이 다르다.
평가 질문은 성향별 30개씩 총 900개다. 각 모델은 시스템 프롬프트 없이 하나의 사용자 메시지로 제시된 질문에 한 번씩 답한다. 별도의 역할이나 말투를 지정하기보다 모델이 기본적으로 어떻게 응답하는지를 살피는 구성이다. 모든 질문은 영어로 작성됐다.
직접 수치화하기 어려운 표현력과 자신감 등 30개 성향은 대형언어모델(LLM) 심사 패널이 비교한다. 심사 모델은 같은 질문에 대한 두 답변을 모델명을 가린 상태로 보고, 해당 성향이 더 강하게 드러난 쪽을 고르거나 무승부로 판정한다. 답변의 제시 순서는 무작위로 바꾸며, 모델별 비교가 세 심사 모델에 대체로 고르게 배분되도록 했다.
비교 결과는 성향별 Elo 점수로 환산한 뒤 8개 지수로 묶는다. 표현력, 구성, 정보성, 투명성, 따뜻함, 확신, 상상력, 군더더기·상투적 표현을 뜻하는 Slop이 그 대상이다. 지수는 성향별 점수를 표준화해 평균을 구한 다음 평가 대상 모델 안에서 1~100의 백분위로 표시한다. 투명성 지수에는 사용자에게 아부하는 성향을 반대로 반영한다.
점수가 높다고 모든 용도에서 좋은 모델이라는 뜻은 아니다. Artificial Analysis는 성향의 바람직함이 독자와 상황에 따라 달라질 수 있어, 품질이 아니라 해당 특성이 얼마나 두드러지는지를 측정한다고 설명한다. 지수 역시 평가에 포함된 모델 사이의 상대적 위치이므로 절대적인 능력 점수와 구분해야 한다.
응답에서 직접 셀 수 있는 소통 특성 21개는 별도로 계산한다. 글자·단어·문장 수와 평균 문장 길이, 목록·제목·표 사용, 문장부호와 강조 표현, 이모지 사용 등이 포함된다. 이를 통해 장황함이나 목록 위주의 답변처럼 이용자가 체감하는 문체 차이를 살펴볼 수 있다.
평가 페이지는 모델 간 비교와 성향별 결과를 제공하고, 이용자가 성향의 가중치를 조절해 순위를 구성할 수 있도록 했다. 다만 전체 질문은 평가 오염을 막기 위해 비공개이며 일부 예시만 공개됐다. 영어 질문에 대한 기본 응답을 측정한 결과라는 점에서 한국어 서비스나 별도 시스템 지침을 적용한 환경에서도 같은 문체가 나타난다고 단정할 수는 없다.
출처: Artificial Analysis 공식 평가 페이지 https://artificialanalysis.ai/evaluations/aa-personalitybench
Artificial Analysis 공식 방법론 https://artificialanalysis.ai/methodology/aa-personalitybench