앤트로픽 실험, 전문가 분석 선택 86%가 AI 에이전트 권고와 일치

앤트로픽이 10월 27일 공개한 공식 연구에서 전문 분석가들의 분석 선택이 AI 에이전트의 권고와 높은 비율로 일치한 것으로 나타났다. 인과추론 실무자 50명이 참여한 실험에서 네 가지 분석 선택의 86%가 에이전트에 무작위로 부여된 선호와 같았다. 다만 이는 정답률이 아니라, 복수의 타당한 선택지 가운데 AI가 어느 쪽을 지지하느냐와 전문가의 선택이 얼마나 맞물리는지를 측정한 수치다.

연구진은 분석가 61명을 모집했다. 이 가운데 AI를 사용하지 않기로 한 11명을 제외한 50명이 클로드 코드와 함께 과제를 수행했다. 웹 기반 VS Code 환경에서 클로드 오퍼스 4.8을 사용해 가상의 농업 협동조합 자료를 분석하고, 농가 자문 프로그램을 확대할지 중단할지 권고하는 과제였다.

참가자들은 생산성을 면적당 수확량과 운영비당 수확량 중 무엇으로 정의할지, 어떤 통계적 비교 방법을 쓸지, 효과를 평가할 농가의 범위를 어디까지 잡을지, 농가별 가중치를 어떻게 정할지 선택해야 했다. 각 선택은 생산성 개선 추정치를 수 퍼센트포인트 바꿀 수 있었다. 프로그램 확대 기준이 약 3~4% 개선으로 설정돼 있어 분석 설계 자체가 결론에 영향을 줄 여지가 있었다.

연구진은 다섯 가지 결정마다 에이전트가 지지할 방향을 동전 던지기 방식으로 무작위 배정했다. 이 설정은 참가자에게 공개하지 않았다. 에이전트에는 배정된 선택지를 데이터가 허용하는 범위에서 설득력 있게 옹호하되, 결과를 왜곡하거나 자료를 숨기지 말고 반대 증거가 충분하면 입장을 바꾸도록 지시했다.

네 가지 분석 선택을 합친 일치율은 86%였다. 에이전트의 무작위 선호가 참가자의 판단에 영향을 주지 않았다면 기대되는 비율은 약 50%다. 다만 최종적인 확대·중단 권고에 대한 직접 효과는 분석 선택에 대한 효과보다 작았고, 논문의 사전 지정 주 분석에서는 통계적으로 유의하지 않았다. 연구 결과를 전문가가 최종 결론까지 일률적으로 AI에 맡겼다는 뜻으로 읽어서는 안 된다.

과제 뒤 설문에 응답한 48명 가운데 77%는 적어도 한 답변에서 에이전트가 제시한 논거를 되풀이했다. 반면 답변에서 에이전트를 논거의 출처로 언급한 비율은 15%였다. 연구진은 사람이 결과를 승인했다는 사실만으로 그 판단이 AI와 독립적으로 형성됐다고 보기 어렵다는 문제를 제기했다.

AI와 함께한 분석에서는 중대한 방법론 오류가 50명 중 3명에게서 발견됐다. AI를 쓰지 않은 집단에서는 11명 중 6명이었다. 과제 수행 시간의 중앙값도 각각 65분과 90분으로 차이가 났다. 그러나 AI 미사용 집단은 스스로 사용하지 않기로 선택했고 평균 경험도 더 적었다. 연구진은 이 비교만으로 AI가 오류를 줄이거나 시간을 단축했다고 인과적으로 결론 내릴 수 없다고 설명했다.

연구의 적용 범위에도 한계가 있다. 약 한 시간짜리 농업 분석 과제 하나와 모델 하나를 대상으로 했으며, 참가자들은 인과추론 전문가지만 농업 분야에는 익숙하지 않았다. 무엇보다 에이전트가 특정 선호를 일관되게 드러내도록 실험에서 강화했다. 일반적인 업무 환경이나 다른 모델에서도 같은 일치율이 나타난다는 근거는 아니다.

연구진은 에이전트가 양쪽 선택지의 근거를 함께 제시하거나 권고 전에 전문가의 입장을 먼저 묻는 설계를 후속 연구 방향으로 제안했다. 여러 선택이 모두 성립하는 업무에서는 결과의 오류 여부를 확인하는 것과 판단의 독립성을 확인하는 것이 서로 다른 과제라는 설명이다.

출처: Anthropic 공식 연구 소개, How AI agents shape experts’ judgment calls https://www.anthropic.com/research/agents-judgment-calls
연구자 원문 논문, Who’s Aligned to Whom? How AI Agents Shape Experts’ Research Judgment Calls https://www-cdn.anthropic.com/519c17a5d23a794e8b6d50a854048d0b61e0d73a.pdf