Google Cloud, BigQuery Managed Python UDF 정식 출시

Google Cloud 공식 블로그에 따르면 Google은 BigQuery Managed Python User-Defined Functions(UDFs)를 정식 출시했다. 이 기능은 데이터 과학자와 엔지니어, 분석가가 표준 SQL 쿼리나 BigQuery DataFrames에서 Python 코드를 직접 실행할 수 있도록 하는 BigQuery 확장 기능이다.

Google은 그동안 복잡한 절차형 로직, 과학 계산, 고급 문자열 처리, 머신러닝 워크플로를 순수 SQL만으로 표현하기 어렵다는 점을 출시 배경으로 들었다. 기존에는 사용자가 별도 컨테이너 이미지나 컴퓨트 서비스를 관리해야 했지만, Managed Python UDF는 BigQuery 관리형 서버리스 리소스에서 Python 함수를 실행한다.

정식 출시 버전은 프로덕션 워크로드 지원과 BigQuery 과금 체계 통합을 내세운다. Google Cloud 블로그는 BigQuery가 Python 코드의 컴파일, 이미지 빌드, 보안 패치, 배포, 실행을 처리한다고 설명했다. 사용자는 SQL 문 안에서 NumPy, SciPy, pandas, scikit-learn 등 Python 생태계의 주요 라이브러리를 호출할 수 있다.

외부 서비스 연동도 지원 범위에 포함됐다. Google은 BigQuery 테이블을 실시간으로 정제하거나 보강할 때 Cloud Translation, Gemini Enterprise Agent Platform, 외부 API, 맞춤형 마이크로서비스 등을 Python 코드에서 안전하게 호출할 수 있다고 밝혔다. 이는 데이터 웨어하우스가 단순 저장·분석 계층을 넘어 AI와 애플리케이션 로직을 연결하는 실행 환경으로 확장되고 있음을 보여준다.

고급 기능으로는 PyArrow RecordBatch 기반 벡터화 처리, 함수별 컨테이너 메모리와 CPU 설정, 컨테이너당 동시 요청 수 설정, Cloud Monitoring과 연결된 실시간 CPU·메모리·동시성 지표 확인이 제시됐다. Google은 PyArrow 기반 일괄 처리가 행 단위 처리보다 Python 직렬화와 변환 부담을 줄여 데이터 집약 계산에서 처리량을 높일 수 있다고 설명했다.

비용은 BigQuery Services SKU로 과금된다. Google Cloud 문서는 Python UDF 실행과 빌드 비용을 INFORMATION_SCHEMA.JOBS와 billing labels로 관찰할 수 있으며, 외부 또는 인터넷 네트워크 egress가 발생하면 별도 egress 비용이 생길 수 있다고 안내한다. 정식 출시 이후에도 사용자는 UDF 할당량과 제한, 보안 연결 설정, 외부 서비스 호출 권한을 함께 검토해야 한다.

이번 출시는 데이터 분석 현장에서 SQL과 Python의 경계가 더 낮아지고 있음을 보여준다. BigQuery 이용자는 데이터 이동 없이 같은 플랫폼 안에서 데이터 정제, 자연어 처리, 머신러닝 전처리, 외부 API 호출을 하나의 쿼리 흐름으로 묶을 수 있다. 다만 운영 환경에서는 비용 추적, 라이브러리 의존성, 외부 호출 권한, 리전과 네트워크 정책을 함께 관리해야 한다.

출처: Google Cloud Blog, Google Cloud Documentation