암호화 회로에 숨긴 AI 능력, 미세조정 평가의 한계 드러냈다

AI 모델이 평가에서 특정 능력을 드러내지 않았다는 사실만으로 그 능력이 없다고 보장하기는 어렵다는 연구가 나왔다. 옥스퍼드대 등이 참여한 연구진은 지난 9일 아카이브(arXiv)에 공개한 논문 ‘AI Models Can Provably Hide Arbitrary Capabilities’에서, 모델 가중치 안에 암호화한 신경망을 넣고 비밀 입력이 들어왔을 때만 실행하는 개념증명을 제시했다.

연구가 가정한 위협은 배포 전에 모델 가중치를 바꿀 수 있는 공격자다. 악의적인 내부자나 공급망 침해로 모델이 변조됐을 때, 평가자가 구조와 가중치 전체를 확보해도 숨은 기능을 충분히 파악할 수 있는지를 물었다. 현재 상용 AI에서 이런 공격이 발생했다는 보고는 아니다.

연구진은 비밀 입력 없이는 내용을 풀기 어렵도록 설계한 ‘디지털 로커’에 작은 신경망의 가중치를 넣었다. 올바른 입력이 들어오면 가중치를 복원하고 숨은 신경망을 실행한다. 이전 연구가 특정 문자열을 숨기는 데 초점을 맞췄다면, 이번 연구는 실행 가능한 신경망 계산으로 범위를 넓혔다.

논문은 명시한 암호학적 가정과 구현 조건 아래에서 비밀 입력을 찾거나 숨겨진 능력의 내용을 알아내는 일이 계산적으로 어렵다고 설명한다. 이는 암호화 회로의 존재까지 탐지할 수 없다는 뜻은 아니다. 연구진도 직접 구성한 회로의 가중치 분포가 일반 모델과 달라 변조 흔적을 이상 징후로 잡아낼 가능성이 있다고 밝혔다.

실험에는 화학 반응의 재료와 후보 생성물을 보고 반응 가능 여부를 분류하는 작은 신경망이 쓰였다. 암호화한 모델은 올바른 비밀 입력을 받았을 때 정확도 73.5%를 기록했지만, 정답 데이터로 500단계 지도 미세조정을 해도 50.9%에 머물렀다. 무작위 신경망을 넣은 대조군의 미세조정 결과는 50.6%였다. 이 수치들은 세 차례 실행의 평균이다.

비밀 입력의 길이는 결과를 바꿨다. 입력 공간이 8비트일 때는 가능한 256개 조합을 모두 살펴보는 탐색으로 숨은 능력을 끌어낼 수 있었다. 16비트 입력에서는 연구가 정한 탐색 예산 안에서 정확도가 52.7%에 머물렀다. 작은 실험에서의 저항성과 암호학적 조건 아래의 이론적 보장은 구분해서 읽어야 한다.

적용 범위에도 제약이 있다. 실험은 통제된 작은 과제를 다뤘고, 암호화와 실행 회로를 넣는 데 상당한 계산·저장 비용이 든다. 연구진은 개별 연산 단위가 Gemma 3 270M 내부에서 작동하는 것은 확인했지만, 전체 구조를 사전학습 모델에 통합하는 작업은 후속 과제로 남겼다. 일반적인 학습 과정에서 이런 암호화 회로가 저절로 생긴다고 주장하지도 않았다.

연구의 초점은 모든 AI 평가가 무용하다는 데 있지 않다. 의도적으로 변조한 모델을 상대로는 숨은 행동을 유도하는 시험만으로 안전을 보장할 수 없다는 점이다. 연구진은 모델의 출처와 학습·배포 이력을 확인하고 실행 중 행동을 감시하는 접근을 보완책으로 제시했다. 이번 화학 과제 역시 합성 계획이 아닌 제한된 분류 실험으로, 실제 유해 물질 제조 능력을 입증한 결과와는 다르다.

출처: 연구진 논문 ‘AI Models Can Provably Hide Arbitrary Capabilities’, arXiv https://arxiv.org/abs/2610.13928
연구자 논문 원문 https://arxiv.org/html/2610.13928v1