1Password 연구 “AI 취약점 패치, 완전 해결률 26%”…전문가 검토 필요

1Password 보안 연구팀 Off-by-1 Labs의 공식 연구 공개에 따르면, AI 모델이 생성한 취약점 패치 가운데 애플리케이션 동작을 바꾸지 않으면서 취약점을 완전히 해결한 비율은 평균 26.0%였다. 연구팀은 AI가 만든 패치를 실제 적용하기 전 해당 코드와 서비스 맥락을 아는 전문가의 검토가 필요하다고 밝혔다.

연구는 최근 공개된 복잡한 오픈소스 취약점 6건을 대상으로 진행됐다. 연구팀은 두 개의 프런티어 보안 추론 모델로 총 6,080개의 패치를 만들고, 취약점 해소 여부와 애플리케이션 동작 변화, 새 취약점 유입 여부를 확인했다. 대상에는 Linux 권한 상승, ActiveMQ 원격 코드 실행, Chrome 파일 시스템 접근 API의 use-after-free, EXIM 원격 코드 실행, SpringAI SpEL, Gemini CLI 원격 코드 실행 취약점이 포함됐다.

완전한 해결에는 이르렀지만 애플리케이션 동작을 바꾼 패치는 평균 20.1%였다. 반대로 취약점을 해결하지 못했거나 새 취약점을 추가한 패치는 평균 53.9%로 집계됐다. 연구팀은 단순히 특정 공격 입력을 막는 식의 패치가 근본 원인을 남길 수 있으며, 겉으로는 성공한 수정처럼 보여도 보안상 취약할 수 있다고 설명했다.

실험에서는 각 취약점과 모델 조합마다 540개의 패치를 생성했다. 환경 설정과 구조화된 프롬프트를 달리했고, 공개된 정답 패치를 찾아보려 한 사례는 별도로 표시해 결과 산정에서 제외했다. 그럼에도 완전 해결 비율이 기대보다 낮았다는 것이 연구팀의 결론이다.

이번 결과는 AI가 취약점 탐지와 코드 작성에 더 많이 쓰이더라도 패치 검증의 중요성이 줄어들지는 않는다는 점을 보여준다. 자동화된 테스트와 불변 조건 검증을 보완하더라도, 현 단계에서는 도메인 지식을 가진 사람이 최종 수정안을 확인하는 절차가 필요하다는 의미다.

출처: 1Password Off-by-1 Labs https://1password.com/blog/why-ai-generated-patches-still-require-human-review