연구진 “잘못된 AI 조언, ‘모른다’ 응답 줄여”…3,132명 실험

PsyArXiv에 공개된 연구자 사전연구본에 따르면, 의도적으로 틀린 AI 조언에 접근할 수 있었던 참가자들은 답을 모를 때 판단을 유보하는 비율이 크게 낮아졌다. AI가 없는 조건보다 더 많은 질문에 답했지만 정확도는 떨어졌고, 신뢰도는 높아지는 양상이 나타났다.

파리 고등사범학교, 로마 사피엔차대, 밀라노-비코카대 연구진은 미국의 온라인 연구 참여 플랫폼 Prolific에서 모집한 3,132명을 대상으로 5개 실험을 진행했다. 참가자들은 영화 속 의상 색상이나 소품처럼 기억하기 어려운 세부 질문 6개에 답했고, 언제든 ‘모른다’고 답하거나 빈칸으로 남길 수 있었다.

연구진은 온라인 텍스트에 잘 나타나지 않는 세부 정보를 골라 StepFun의 Step 3.5 Flash가 대체로 틀린 답을 내도록 실험을 설계했다. 첫 실험에서는 314명에게 AI를 실시간으로 물어볼 수 있는 조건과 AI가 없는 조건을 무작위로 배정했다. 판단 유보 비율은 AI가 없는 집단에서 36%였지만 AI 접근 집단에서는 6%로 낮아졌다.

실시간 도구가 요청의 약 10%에 응답하지 못한 문제를 제거한 두 번째 실험에는 310명이 참여했다. 연구진은 앞서 모델이 만든 오답을 미리 저장해 제시했고, 판단 유보 비율은 AI가 없는 조건 44%, AI 조건 3%로 다시 큰 차이를 보였다.

812명이 참여한 세 번째 실험은 AI 접근 여부와 금전적 보상 여부를 교차했다. 보상 조건에서는 정답마다 0.10달러를 받고 오답마다 같은 금액을 잃었으며, 답변 유보에는 손익이 없었다. 보상이 없을 때 판단 유보 비율은 AI가 없는 조건 17%, AI 조건 1%였다. 보상이 있을 때도 각각 21%와 2%로 격차가 유지됐다.

이 실험에서 AI 조언은 참가자의 자기 신뢰를 크게 높였다. 보상이 없는 조건의 평균 신뢰도는 AI가 없을 때 100점 만점에 29.6점, AI가 있을 때 75.9점이었다. 같은 조건에서 정답률은 27.6%에서 10.0%로 낮아졌다. 금전적 보상은 AI를 요청하는 횟수를 줄이고 정답률을 10.0%에서 17.3%로 높였지만, 답변 유보를 AI가 없는 수준으로 회복시키지는 못했다.

후속 실험은 보상 규칙을 매 문항마다 다시 알리거나 AI 답변을 요청 없이 자동으로 표시하는 방식으로 진행됐다. 843명이 참여한 실험과 853명이 참여한 실험에서도 AI 조언이 있을 때 판단 유보가 급감했다. 연구진이 보상이 없는 조건을 합산한 결과, 정답률은 AI가 없을 때 27.5%, AI가 있을 때 9.2%였다.

다만 이번 결과를 일반적인 AI 사용 전체로 확대해서는 안 된다. 연구진은 AI 조언의 정확성과 행동 효과를 분리하기 위해 모델이 틀리기 쉬운 영화 세부 질문을 의도적으로 사용했다. 실제 업무처럼 AI가 대체로 정확하거나 이용자가 답을 검증할 자료를 함께 보는 환경에서는 결과가 달라질 수 있다. 참가자도 미국 Prolific 이용자로 제한됐고, 소액 보상이 실제 고위험 의사결정의 압박을 재현한다고 보기 어렵다.

연구는 아직 동료평가를 거치지 않은 사전연구본이다. 판단 유보와 정답 여부는 두 연구자가 수작업으로 분류했으며, 연구진은 이해관계가 없다고 밝혔다. 연구 데이터와 코드, 사전등록 문서, 실험 지침은 OSF에 공개돼 있다.

출처: PsyArXiv https://osf.io/preprints/psyarxiv/5y6m4_v1
출처: OSF 연구자료 https://osf.io/nwx6r/overview?view_only=a03ae0ca587c4c84a442c44d55ab97b6