
대규모 언어모델(LLM)이 로봇의 작업 순서를 정하는 과정에 백도어가 심기면, 평범한 지시도 위험한 행동으로 바뀔 수 있다는 연구가 나왔다. 미국 빙엄턴대학교는 20일(현지시간) 공식 연구 발표에서 로봇 작업 계획을 겨냥한 공격 ‘MuTRAP’과 방어기술 ‘PROTEA’를 소개했다. 두 연구는 국제 지능형 로봇·시스템 학술대회(IROS 2026)에서 발표됐다.
연구에는 빙엄턴대 컴퓨팅 분야의 아드난 시라즈 라킨(Adnan Siraj Rakin) 교수와 스치 장(Shiqi Zhang) 교수, 박사과정 연구자들이 참여했다. 연구진이 겨냥한 대상은 사람이 내린 지시를 받아 구체적인 행동 순서로 바꾸는 LLM 기반 로봇 계획 시스템이다. 텍스트 생성의 오류가 화면 안에 머무르지 않고 물리적 동작으로 이어질 수 있다는 점에 주목했다.
MuTRAP 실험에서는 특정 트리거가 나타나면 악성 작업 계획을 만들도록 해당 응용 시스템의 언어모델을 사전에 변조했다. 세그웨이 기반 이동 로봇은 평소 플라스틱 과일 모형을 자르는 동작을 수행했지만, 트리거가 포함된 지시에서는 대상을 손 모형으로 바꿨다. 실제 사람을 다치게 한 사고가 아니라 모형을 이용해 위험한 계획의 실행 가능성을 보여준 시연이다.
이 결과는 정상적인 모든 로봇이 특정 단어만으로 공격된다는 뜻은 아니다. 실험의 전제는 작업 계획에 쓰는 모델에 백도어가 미리 삽입돼 있다는 것이다. 연구진은 로봇 업체가 분야별 전문성이나 학습 자원을 갖춘 제3자의 모델을 활용할 수 있다는 점에서, 신뢰하기 어려운 외부 AI 자원을 도입하는 과정의 위험을 짚었다.
대응책으로 제시한 PROTEA는 LLM을 이용해 작업 계획에서 공격 징후를 살피고, 실행의 각 단계에서 다음 동작이 안전한지 평가한다. 처음 만들어진 계획만 한 번 확인하는 것이 아니라 작업이 진행되며 달라지는 주변 상황을 판단에 반영하는 방식이다.
대학은 약이 담긴 상자를 버리는 상황을 예로 들었다. 상자를 쓰레기통에 넣는 행동 자체는 문제가 없어 보여도, 앞선 단계에서 중요한 약을 넣었다면 전체 맥락에서는 위험할 수 있다. 방어 시스템은 개별 동작의 겉모습뿐 아니라 이전 행동으로 바뀐 상태까지 고려해 이런 계획을 가려내도록 설계됐다.
다만 대학 발표에는 공격 탐지 정확도나 실패율 같은 구체적인 수치가 제시되지 않았다. 연구진의 실험 결과를 상용 로봇 전반의 안전성 보장으로 확대해석하기는 어렵다. 연구팀은 앞으로 로봇 제어기와 인지 기능의 취약점까지 검토할 계획이라고 밝혔다.
이번 연구는 외부에서 받은 모델의 신뢰성과 실행 중 안전 검증을 함께 살펴야 한다는 문제를 제기한다. LLM이 로봇의 행동 계획을 만드는 환경에서는 유용한 답변을 생성하는 능력과 실제 동작의 안전성을 구분해 평가할 필요가 있다.
출처: 빙엄턴대학교 공식 연구 발표 https://www.binghamton.edu/news/story/6544/secret-trigger-words-could-make-ai-powered-robots-dangerous-and-these-researchers-developed-a-defense









