
구글 딥마인드는 공식 블로그를 통해 암호학적 보호 환경에서 프런티어급 비공개 AI 모델을 평가하는 이중맹검 방식을 시범 운영한다고 밝혔다. 모델이 시험 문항을 미리 학습해 성능이 부풀려지는 벤치마크 오염 문제를 줄이는 것이 목표다.
이번 시범 운영에는 싱가포르 AI 안전연구소, OpenMined, AVERI, MLCommons가 참여한다. 이들은 기밀 벤치마크를 활용해 Gemini Flash Lite 모델을 평가하며, 구글은 평가기관의 시험 프롬프트를 볼 수 없고 평가기관 역시 Gemini 모델 가중치를 볼 수 없도록 구성했다고 설명했다.
구글 딥마인드는 Google Cloud의 Confidential Space를 활용해 평가 데이터와 모델을 각각 소유자에게 비공개로 유지하는 암호학적 검증을 적용했다고 밝혔다. 기존 외부 평가는 평가자가 프롬프트를 제공하거나 모델 개발사가 가중치를 제공해야 하는 선택지 사이에서 보안과 지식재산권 문제가 발생할 수 있었다는 설명이다.
회사는 이런 방식이 사이버보안이나 정부 기관용처럼 민감도가 높은 평가에서 특히 중요해질 수 있다고 봤다. 독립 기관이 데이터 주권과 보안을 훼손하지 않고 고도화된 모델을 검증할 수 있는 경로를 넓히려는 시도다.
출처: Google DeepMind 공식 블로그, “Piloting the world's first double-blind AI evaluations” (2026년 8월 27일) https://deepmind.google/blog/piloting-the-worlds-first-double-blind-ai-evaluations/









