아이키도 시큐리티 "오픈 모델, 취약점 재발견 평가서 폐쇄형 모델 앞서"

애플리케이션 보안 기업 아이키도 시큐리티가 공개한 자체 기술 평가에 따르면, 오픈 가중치 AI 모델이 최근 공개된 소프트웨어 취약점 재발견 과제에서 일부 폐쇄형 모델보다 높은 누적 탐지 성능을 보였다. 회사는 21일 블로그를 통해 10개 모델에 최근 공개 CVE 32건을 소스코드에서 다시 찾도록 하는 평가를 진행했다고 밝혔다.

아이키도 시큐리티는 각 모델을 같은 조건에서 세 차례씩 실행해 결과를 합산했다. 회사 설명에 따르면 딥시크 V4 프로 0813은 32건 가운데 28건을 찾아 가장 높은 누적 재현율을 기록했다. 그록 4.6과 오픈AI의 솔, 앤트로픽의 오퍼스 5는 각각 26건을 찾은 것으로 집계됐다.

이번 평가는 알려진 취약점의 설명이나 패치가 모델 학습 데이터에 포함됐을 가능성을 줄이기 위해 최근 공개된 CVE를 골랐다고 회사는 설명했다. 모델에는 인터넷 접근을 주지 않았고, 코드 탐색과 추론을 담당하는 단계만 모델별로 교체했다. 한 번의 실행보다 반복 실행 결과를 모을 때 탐지 범위가 넓어졌다는 점도 평가의 주요 결론으로 제시됐다.

다만 이 결과는 아이키도 시큐리티가 구성한 데이터셋, 에이전트 하니스, 판정 정책 안에서 나온 자체 평가다. 실제 보안 점검의 품질은 모델의 취약점 후보 탐지뿐 아니라 오탐 처리, 개발 환경 이해, 검증과 수정 절차에 영향을 받는다. 회사도 오픈 모델이 더 많은 후보를 내는 대신 후속 단계에서 걸러야 할 잘못된 신호가 늘어날 수 있다고 밝혔다.

보안 개발 도구에 AI 에이전트를 연결하는 기업이 늘면서 모델 하나의 성능보다 반복 실행과 결과 검증을 포함한 운용 방식이 중요해지고 있다. 이번 평가는 공개 모델의 성능 격차가 좁혀지는 흐름과 함께, 취약점 탐지 자동화에서 비용·재현율·오탐 관리의 균형을 어떻게 잡을지 보여주는 사례로 볼 수 있다.

출처: Aikido Security 기술 블로그 https://www.aikido.dev/blog/ai-model-benchmarks-aug-21-2026