코르베닉 AI, 추론 캐시 보안·재사용 도구 ‘갈라하드’ 베타 공개

벨기에 스타트업 코르베닉 AI가 AI 추론 과정에서 생기는 캐시를 보호하고 재사용하는 ‘갈라하드(Galahad)’ 베타를 공개했다. 1일(현지시간) 회사가 배포한 공식 보도자료에 따르면, 이 도구는 기존 AI 모델을 바꾸지 않고 저장된 메모리를 암호화하며 고객별 정보를 분리하도록 설계됐다.

갈라하드가 다루는 핵심 대상은 대형언어모델이 입력을 처리하며 만드는 키·값(KV) 캐시다. 회사 GitHub 문서는 이 캐시를 디스크에 저장한 뒤 필요할 때 복원하는 방식을 설명한다. 같은 문서를 다시 읽는 작업에서 이미 계산한 부분을 불러와 중복 연산을 줄이는 구조다. 서버를 재시작해도 저장된 캐시를 이어서 사용할 수 있다는 설명이다.

지원 대상은 vLLM, SGLang, llama.cpp다. C++ 코어를 바탕으로 vLLM의 KV 커넥터와 SGLang의 HiCache 저장 계층, llama.cpp의 슬롯 저장·복원 기능에 연결된다. 공식 설치 문서는 vLLM 0.30과 SGLang 0.5.20을 시험한 버전으로 제시하고, 상위 버전에서는 내부 API 변경으로 커넥터 등록이 실패할 수 있다고 안내한다.

보안 기능은 저장 데이터의 암호화와 고객별 공간 분리에 초점을 맞췄다. GitHub 문서에 따르면 저장 블록과 목록에 AES-256-GCM 암호화를 적용하고, 여러 고객이 같은 서버를 쓰는 환경에서는 고객별 키 공간을 구분한다. 이러한 기능은 회사가 제시한 제품 사양으로, 외부 독립 보안 검증 결과를 뜻하지는 않는다.

에이전트 실행을 추적하는 기능도 포함됐다. 기록을 켜면 개발자는 실행 과정을 살펴보고 서버에 저장된 메모리를 이전 상태로 되돌릴 수 있다. 다만 회사는 복원 기능으로 이미 발송한 이메일이나 외부에 공유한 정보를 취소할 수 없다고 명시했다. 메모리 상태 복구와 에이전트가 외부 시스템에서 수행한 행위의 취소는 별개라는 의미다.

코르베닉 AI는 반복 질문을 사용한 내부 시험에서 캐시 재사용으로 GPU 에너지 소비가 92~93% 줄었다고 밝혔다. 반복되는 입력을 다시 계산하지 않는 조건에서 얻은 수치인 만큼, 모든 추론 작업이나 전체 데이터센터의 전력 절감률로 해석할 수는 없다. 보도자료에는 이 수치에 대한 독립 검증 결과가 제시되지 않았다.

베타는 비상업적 용도의 단일 GPU 시스템에 갱신 가능한 12개월 무료 라이선스를 제공하며, 기업용 유료 라이선스도 운영한다. 설치 패키지는 ‘galahad-kv’로 배포된다. 추론 인프라 운영자가 검토할 지점은 캐시 재사용 효과뿐 아니라 고객 분리 설정, 저장장치 성능, 서빙 엔진 버전 호환성과 라이선스 조건이다.

출처: Corbenic AI 공식 보도자료(PR Newswire 배포), https://www.prnewswire.com/news-releases/ai-needs-security-we-give-ai-security-and-a-memory-302895389.html
Corbenic AI 갈라하드 GitHub 문서, https://github.com/corbenicai/galahad
Corbenic AI 갈라하드 공식 설치 문서, https://github.com/corbenicai/galahad/wiki/Install