영지식 증명만으로 대형 LLM 실행 보장 못 한다…Hollow-LLM 공격 제시

연구자 원문 논문에 따르면 영지식 증명으로 대규모 언어 모델(LLM)의 추론 결과를 검증하더라도 서비스 제공자가 광고한 규모의 계산을 실제로 수행했다고 단정할 수 없는 보증 공백이 확인됐다. Chen Gong, Beijie Liu, Mengyuan Li 연구팀의 논문은 이 문제를 ‘Hollow-LLM 공격’으로 정의했으며, IEEE Symposium on Security and Privacy 2026에 채택됐다.

영지식 기반 LLM 추론은 모델 가중치를 공개하지 않으면서도 특정 입력과 출력이 공개된 모델 구조 및 비공개 가중치에 부합한다는 사실을 증명하는 방식이다. 연구팀은 이런 증명이 계산식의 일관성은 보장하지만, 결과를 만들기 위해 실제로 얼마나 많은 연산을 수행했는지는 묶어 두지 못한다고 지적했다. 영지식 증명 자체의 암호학적 건전성이 깨진 것이 아니라, 증명이 제공하는 보증을 실제 계산 노력까지 확장해 해석할 때 생기는 배치 단계의 허점이라는 설명이다.

Hollow-LLM 공격에서는 제공자가 겉으로는 큰 모델 구조와 매개변수 수를 선언하면서 내부에는 훨씬 작은 모델과 ‘고스트 가중치’를 배치한다. 일부 계층은 입력을 사실상 그대로 통과시키고, 넓어진 계층에서는 작은 부분 공간만 실제 신호를 처리하도록 구성한다. 공개된 계층 배열과 텐서 크기, 매개변수 수는 유지되기 때문에 검증 회로는 유효한 증명을 받아들이지만, 서비스 시점의 연산은 작은 내부 모델에 가까워진다.

연구팀은 학습을 다시 하지 않고도 적용할 수 있는 두 가지 구성을 제시했다. 하나는 항등 잔차 블록을 더해 선언된 깊이만 늘리는 방식이고, 다른 하나는 활성 신호를 제한된 부분 공간에 남겨 둔 채 임베딩 차원을 확장하는 방식이다. 두 방법을 함께 적용하면 모델의 공개 구조는 깊고 넓어지지만 실제 입력과 출력의 동작은 내부 모델과 같게 유지될 수 있다는 분석이다.

실험은 zkGPT의 증명 절차와 6계층·512차원 GPT-2 계열 내부 모델을 기준으로 진행됐다. 연구팀은 선언 구조를 12계층 또는 1024차원으로 확장하고 두 변형을 결합한 12계층·1024차원 구조도 시험했다. 모든 공격 구성에서 서비스 단계의 프리필과 디코딩 시간은 기준 모델과 같은 1배로 유지됐고, 영지식 증명 비용은 선언된 큰 회로의 규모를 따라 증가했다. 출력과 퍼플렉서티도 변하지 않았다고 연구팀은 밝혔다.

다만 이 결과를 실제 상용 LLM 전체에 곧바로 일반화하기는 어렵다. 실험은 완전한 종단 간 증명을 재현하기 위해 소형 모델과 고정 길이 64토큰 프롬프트를 사용했다. 연구팀도 외부 모델과 내부 모델의 차이가 지나치게 크면 품질이나 동작의 이상으로 탐지될 수 있으며, 실제 배치 환경에서 어느 수준까지 구분하기 어려운지는 후속 연구가 필요하다고 선을 그었다.

대응책으로는 가중치 행렬의 활성도와 구조적 속성을 추가로 증명하거나, 행동 기반 감사와 도전형 프롬프트를 함께 쓰는 방법이 제시됐다. 신뢰 실행 환경과 원격 증명을 결합하는 하드웨어 기반 접근도 대안이 될 수 있다. 그러나 추가 증명은 비용을 키우고, 신뢰 실행 환경은 특정 하드웨어와 펌웨어에 의존한다는 한계가 있어 단일 해법보다는 여러 검증 수단을 함께 설계해야 한다는 결론이다.

이번 연구는 ‘정확한 추론 결과의 증명’과 ‘광고한 규모의 모델을 실제로 실행했다는 증명’이 서로 다른 보안 목표임을 드러낸다. 검증형 AI 서비스를 설계하는 개발자와 블록체인 기반 AI 시장은 모델 구조와 가중치 약정뿐 아니라 계산량, 실행 환경, 감사 방식까지 어떤 보증에 포함할지 명확히 구분할 필요가 있다.

출처: arXiv https://arxiv.org/abs/2607.28884
출처: 연구자 원문 전체 본문 https://arxiv.org/html/2607.28884v1
출처: IEEE DOI https://doi.org/10.1109/SP63933.2026.00258