AI 쓸 땐 잘 풀었지만…도움 끊자 독립 수행 성과 낮아졌다

인공지능(AI)이 눈앞의 문제를 푸는 데 도움을 주더라도, 그 성과가 사용자의 독립적인 문제 해결 능력으로 이어지는 것은 아니라는 연구 결과가 나왔다. UC버클리가 10월 9일 공개한 공식 연구 소개와 논문 원문에 따르면, AI 도움을 받은 참가자들은 도구를 사용할 때 정답률이 높았지만 도구를 거둔 직후에는 처음부터 AI를 쓰지 않은 집단보다 성과가 낮았다.

연구에는 카네기멜런대, UC버클리, 옥스퍼드대, 매사추세츠공대(MIT), UCLA 소속 연구자들이 참여했다. 논문 제목은 ‘AI Assistance Reduces Persistence and Hurts Independent Performance’다. UC버클리는 올해 봄 공개된 초기 원고를 보완한 동료심사 논문이 이번 주 언어모델링학회(COLM)에서 발표됐다고 설명했다. arXiv의 최신 원고는 10월 3일 갱신됐다.

연구진은 온라인 연구 참여 플랫폼 Prolific에서 미국 참가자 1,222명을 모집해 무작위 대조실험 세 건을 진행했다. 분수 계산 실험 두 건과 독해 실험 한 건이다. AI 사용 집단에는 일부 문제를 푸는 동안 GPT-5 기반 보조 도구를 제공한 뒤, 마지막 세 문제에서는 도구를 거뒀다. 대조군은 같은 문제를 AI 없이 풀었다. 실험별 참여 시간은 약 13~15분이었다.

보조 도구에는 문제와 정답을 미리 제공해 참가자가 원하면 곧바로 정확한 답을 받을 수 있도록 했다. 연구진은 정답률과 함께 문제를 건너뛰는 비율을 측정했다. 틀린 답을 제출해도 불이익이 없다고 알린 상황에서 문제를 건너뛰는 행동을 과제에 계속 매달리는 정도를 나타내는 지표로 삼았다.

첫 분수 계산 실험의 최종 분석 대상 307명에서, 도구를 거둔 뒤 AI 사용 집단의 평균 정답률은 57%, 대조군은 73%였다. 문제를 건너뛴 비율은 각각 20%와 11%로 차이가 통계적으로 유의했다. 다만 첫 실험은 학습 단계의 성과를 기준으로 일부 참가자를 제외해 집단 간 원래 실력 차이가 결과에 영향을 줬을 가능성이 있었다.

연구진은 두 번째 분수 실험에서 AI를 제공하기 전 기초 문제를 풀게 하고, 대조군에도 별도 참고 패널을 제공했다가 거둬 화면 변화의 영향을 통제했다. 최종 분석 대상 585명에서 정답률은 AI 사용 집단 71%, 대조군 77%로 유의한 차이를 보였다. 문제를 건너뛴 비율은 10%와 7%였지만, 이 차이는 통계적으로 유의하지 않았다.

독해 실험의 최종 분석 대상 168명에서는 AI 사용 집단의 정답률이 76%, 대조군이 89%였다. 문제를 건너뛴 비율은 각각 8%와 1%였다. 이 실험에서는 두 지표 모두 통계적으로 유의한 집단 차이가 확인됐다.

AI를 어떻게 사용했는지도 살폈다. 두 번째 실험에서 답을 직접 얻는 데 AI를 썼다고 보고한 참가자들은 힌트나 설명을 구한 참가자들보다 도구를 거둔 뒤 성과가 낮았다. 다만 사용 방식은 무작위로 배정한 것이 아니라 참가자의 자기보고로 나눴기 때문에, 이 비교만으로 특정 사용 방식이 성과 차이의 원인이라고 단정할 수는 없다.

이번 결과는 짧은 실험에서 AI 도움을 중단한 직후를 측정한 것이다. 효과가 몇 시간이나 며칠 뒤에도 유지되는지, 일상적인 장기 사용에서 누적되거나 줄어드는지는 확인하지 않았다. 분수 계산과 독해의 결과를 모든 업무에 그대로 적용하거나 ‘AI를 잠깐 쓰면 능력이 영구적으로 떨어진다’고 해석할 근거도 아니다. 연구진은 즉각적인 정답 제공뿐 아니라 사용자가 스스로 이해하고 해결하는 능력을 기르는 방향으로 AI의 목표를 넓혀야 한다고 제안했다.

출처: UC버클리 공식 연구 소개 https://vcresearch.berkeley.edu/news/using-ai-just-10-minutes-erodes-your-ability-persist-hard-things
출처: 연구자 논문 원문(arXiv v5) https://arxiv.org/html/2604.04721v5