AI 코딩 에이전트, 공급망 신뢰 신호 검증은 0.5%에 그쳐

AI 코딩 에이전트가 소프트웨어를 설치할 때 공급망 신뢰 신호를 실제로 확인하는 사례가 매우 드물었다는 실험 결과가 나왔다. 연구자 Pengyin Shan이 7일 arXiv에 공개한 사전등록 연구에 따르면, 관찰 대상 에이전트는 1,920회 실험 가운데 9회(0.5%)에서만 설치 전에 출처 증명 신호를 열어봤다.

연구는 고성능컴퓨팅(HPC)과 양자컴퓨팅 분야의 오픈소스 연구 소프트웨어 6개를 대상으로 했다. 연구진은 각 프로젝트의 복제본에 소프트웨어 자재명세서(SBOM), 서명된 릴리스, 빌드 출처 증명, 공식 배포 채널 등 네 종류의 기계 판독형 신뢰 신호를 각각 또는 함께 넣고, 일부에는 잘못된 발급자의 서명·증명도 배치했다.

세 모델을 승인 단계 유무가 다른 방식으로 운용한 결과, 신뢰 신호가 있다는 사실만으로는 설치 전 검증 행동이 늘지 않았다. 논문은 대조군 384회에서는 출처 증명 신호를 열어본 경우가 없었고, 전체 실험에서 검증 명령을 실행한 사례도 없었다고 적었다. 연구진은 대화 응답이 아니라 컨테이너 로그를 기준으로 실제 행동을 측정했다고 설명했다.

이번 결과는 공개된 신뢰 메타데이터가 공급망 보안에 필요하지만, 에이전트가 이를 따르도록 보장하지는 않는다는 점을 보여준다. 연구진은 검증 책임을 모델의 자발적 판단에만 맡기기보다 에이전트를 실행하는 프로그램과 도구 체인에 강제 규칙으로 넣어야 한다고 제안했다.

다만 이번 연구는 6개 연구용 오픈소스 프로젝트와 특정 실험 환경을 대상으로 한 사전등록 논문이다. 상용 개발 환경과 모든 AI 코딩 도구로 결과를 일반화하려면 후속 검증이 필요하다.

출처: arXiv 연구자 원문 https://arxiv.org/abs/2609.07754