Semgrep, GLM 5.2 보안 벤치마크 공개…“특정 IDOR 탐지서 Claude Code 앞서”

Semgrep 연구 블로그에 따르면 공개 가중치 모델 GLM 5.2가 Semgrep의 IDOR 취약점 탐지 벤치마크에서 Claude Code 일부 구성보다 높은 F1 점수를 기록했다. Semgrep은 같은 데이터셋과 같은 IDOR 프롬프트를 여러 모델·실행 환경에 적용해 비교했다고 설명했다.

이번 실험의 대상은 Insecure Direct Object Reference, 즉 IDOR 취약점이다. IDOR는 애플리케이션이 내부 식별자를 그대로 노출하면서 접근 권한 확인을 충분히 하지 않을 때 발생하는 접근통제 문제다. 위험 함수 호출처럼 명확한 패턴이 드러나는 취약점이 아니라, 빠진 권한 검사를 찾아야 한다는 점에서 정적 분석 도구와 LLM 모두에 까다로운 유형으로 꼽힌다.

Semgrep이 공개한 결과표에서 자체 멀티모달 파이프라인은 GPT 5.5 구성에서 F1 61%, Opus 4.8 구성에서 F1 53%를 기록했다. GLM 5.2는 단순 Pydantic AI 기반 프롬프트 환경에서 F1 39%를 기록해, Claude Code Opus 4.6 구성의 37%와 Claude Code Opus 4.8·4.7 구성의 28%를 앞섰다. Semgrep은 GLM 5.2 실행 비용도 취약점 발견 건당 약 0.17달러 수준으로 추산했다.

다만 이 결과는 전체 보안 성능의 우열을 단정하는 자료로 보기는 어렵다. Semgrep도 원문에서 한 작업, 한 데이터셋, 한 실행 조건의 결과라는 점을 caveat로 제시했다. 특히 Semgrep Multimodal은 엔드포인트 탐색과 코드 맥락 선별을 포함한 전용 하네스를 사용한 반면, GLM 5.2와 다른 공개 가중치 모델은 상대적으로 단순한 프롬프트 환경에서 평가됐다. 모델 자체 성능과 주변 실행 구조의 영향을 분리해 해석해야 하는 이유다.

Z.ai 공식 릴리스 노트는 GLM 5.2가 2026년 6월 16일 공개됐으며 1M 컨텍스트와 장기 작업 성능 개선을 지원한다고 소개한다. Hugging Face 모델 카드에는 GLM 5.2가 MIT 라이선스로 제공되며, 장기 작업용 최신 플래그십 모델이라는 설명이 담겼다. 모델 카드는 1M 토큰 컨텍스트, 코딩 성능 개선, 사고 노력 수준 조절, IndexShare 기반 구조 개선 등을 주요 특징으로 제시한다.

이번 발표가 주목받는 배경에는 보안 업무에서 LLM을 실제 코드베이스에 적용하려는 흐름이 있다. 대형 상용 모델만으로 모든 보안 분석을 처리하기보다, 공개 가중치 모델과 전용 하네스, 정적 분석 규칙을 조합해 비용과 성능을 조정하려는 시도가 늘고 있다. Semgrep의 실험은 공개 가중치 모델이 일부 보안 탐지 과제에서 실무 검토 대상이 될 수 있음을 보여주지만, 동시에 하네스 설계와 데이터셋별 검증이 여전히 핵심이라는 점도 확인시킨다.

출처: Semgrep Research Blog https://semgrep.dev/blog/2026/we-have-mythos-at-home-glm-52-beats-claude-in-our-cyber-benchmarks/ · Z.ai Release Notes https://docs.z.ai/release-notes/new-released · Hugging Face GLM-5.2 https://huggingface.co/zai-org/GLM-5.2