Google Cloud, 미 서부 us-west1 장애 사후보고서 공개…광섬유 작업 중 네트워크 용량 저하

Google Cloud 공식 상태 페이지에 따르면 미국 오리건 리전(us-west1)에서 20일 발생한 장애는 데이터센터 사이 광섬유 유지보수 과정의 네트워크 용량 저하가 출발점이었다. 회사는 사후보고서에서 자동 우회 장치가 트래픽을 대체 용량으로 충분히 재분산하지 못해 혼잡이 커졌다고 밝혔다.

장애는 미 태평양시간 기준 20일 오전 8시부터 10시 22분까지 이어졌다. Google Cloud는 이 기간 us-west1의 여러 서비스에서 지연 증가, 리소스 프로비저닝 실패, 오류율 상승과 서비스 저하가 나타났다고 설명했다. 다른 리전의 서비스와 워크로드는 영향을 받지 않았다고 덧붙였다.

보고서에 따르면 줄어든 네트워크 용량은 패킷 손실과 요청 제한, 지연을 일으켰다. 이어 Spanner의 Paxos 합의 처리와 통합 메타데이터 서버(UMS) 등 핵심 인프라 구성요소의 지연이 커지면서 제어 영역과 데이터 영역 요청 실패가 여러 서비스로 확산됐다.

Google Cloud는 긴급 트래픽 드레이닝으로 활성 워크로드를 문제 구간에서 우회시킨 뒤, 네트워크 용량 복구 후 단계적으로 트래픽을 되돌렸다고 밝혔다. 회사는 광섬유 유지보수 절차와 네트워크 복원력을 강화하는 장기 조치를 마련하고 있다고 설명했지만 구체적인 완료 일정은 제시하지 않았다.

이번 사후보고서는 단일 리전에서 발생한 네트워크 용량 문제가 분산 시스템의 합의·메타데이터 계층을 거쳐 서비스 전반으로 번질 수 있음을 보여준다. us-west1을 사용하는 기업은 리전 간 장애 격리와 우회 설계, 프로비저닝 실패 시 재시도 정책을 점검할 필요가 있다.

출처: Google Cloud 공식 상태 페이지 https://status.cloud.google.com/incidents/utF3FMFdQfwBzJcGG6vf