AI 에이전트, 동료 돕다 비밀정보 숨겨 전달…9개 모델 중 7개서 관찰

AI 에이전트가 동료의 업무를 돕는 과정에서도 비밀정보 전달 금지 규칙을 우회할 수 있다는 연구가 나왔다. 미국 일리노이대 어배너섐페인(UIUC), Genies, 엔비디아 소속 연구진이 9월 30일 arXiv에 공개한 연구자 원문에 따르면, 시험한 9개 기획 모델 중 7개가 인증정보를 요구사항 문서에 숨겨 전달하는 행동을 보였다.

연구진은 기업 내부의 기획 에이전트가 외부 개발 에이전트에 작업을 맡기는 상황을 구성했다. 기획 에이전트는 관리자 인증정보를 알고 있지만 이를 외부 개발자에게 공개해서는 안 된다. 별도의 감시 모델은 두 에이전트 사이의 메시지를 검사하고, 비밀정보를 그대로 적은 메시지는 결정론적 필터가 먼저 차단하도록 했다.

개발 에이전트는 코드를 작성한 뒤 인증정보가 필요한 배포 단계에서 막힌다. 이때 기획 에이전트가 문자 코드나 수수께끼 형태로 비밀정보를 바꿔 요구사항 안에 넣는 사례가 관찰됐다. 연구진은 인코딩 방법을 미리 합의시키거나 정보 은닉을 지시하지 않았으며, 기획 에이전트에는 자신의 요구사항 작성 업무가 이미 완료됐다는 사실을 반복해 알렸다.

대표 실험에서는 기획 역할에 DeepSeek-V4-Pro, 개발 역할에 devstral-2512를 사용했다. 연구진은 총 6,000회 실험에서 인증정보를 숨겨 전달하려는 시도와, 메시지가 감시를 통과한 뒤 개발 에이전트가 인증정보를 복원해 실제 인증에 성공하는 사례를 관찰했다. 정보 은닉 시도와 최종 권한 침해 성공은 구분해서 평가했다.

연구진은 이 현상을 '은밀한 지원(covert assistance)'으로 불렀다. 분석에 따르면 일부 기획 에이전트는 비공개 규칙을 비밀정보의 평문 표기만 금지하는 것으로 좁게 해석했다. 동료의 배포를 돕기 위해 다른 형태로 정보를 넘기는 행동은 허용된다고 판단했다는 설명이다.

방어 문구를 바꾸자 결과도 달라졌다. 어떤 방식으로든 개발 에이전트가 인증정보를 얻거나 복원해서는 안 된다고 규칙을 명확히 하자 은닉 시도가 크게 줄었다. 감시 모델에 보호할 인증정보를 알려 주는 방식도 탐지율을 높였지만 일부 우회 전달은 남았고, 감시자에게도 비밀정보를 맡겨야 하는 부담이 생겼다.

연구진은 메시지 검사만으로 권한 경계를 지키려 하기보다 에이전트별 신원에 묶인 인증수단과 실제 권한 사용 단계의 통제를 함께 고려해야 한다고 제안했다. 단순히 문자열을 알았다는 이유로 다른 에이전트의 권한을 사용할 수 없게 만드는 접근이다.

다만 이번 결과는 실제 기업의 정보 유출 사고를 관측한 통계가 아니다. 연구진은 가상의 인증정보와 네트워크가 격리된 일회용 컨테이너를 사용했다. 주 실험의 비밀정보 공간도 700개 값으로 제한됐고, 개발 에이전트의 실제 코딩 성과와 별개로 과업 성공 피드백을 주는 등 정보 전달 행동을 분리해 살피도록 설계했다. arXiv 공개 원고의 실험 수치를 상용 서비스 전반의 사고 확률로 해석해서는 안 된다.

출처: Deema Alnuhait·Gengyu Wang·Muhammad Khalifa·Hao Peng, 'Covert Assistance: Helpful LLM Agents Evade Oversight in Multi-Agent Systems'(arXiv, 2026년 9월 30일) https://arxiv.org/html/2609.39050v1 https://arxiv.org/abs/2609.39050