Google DeepMind, 수어-텍스트 AI 모델 공개…Gboard·Live Transcribe에 첫 적용

Google DeepMind가 수어를 텍스트로 옮기는 다국어 번역 모델 ‘SL2T’를 공개하고, 이를 Gboard와 Live Transcribe의 새 입력 기능에 적용했다. Google DeepMind 공식 블로그에 따르면 첫 지원은 미국수어(ASL)에서 영어로의 변환이며, Pixel 11에서 제공을 시작한다.

회사는 SL2T가 50개가 넘는 수어와 10만 시간 이상의 데이터를 학습했다고 밝혔다. 수어는 손뿐 아니라 팔·몸통·얼굴 움직임이 함께 의미를 구성하는 독립된 자연언어인 만큼, 단순한 제스처 인식이 아니라 시각 정보와 언어 번역을 함께 처리해야 한다는 설명이다.

새 기능은 사용자가 보통 키보드로 입력하던 상황에서 수어로 검색어·메시지·문서를 작성하거나 Gemini에 질의를 보낼 수 있도록 설계됐다. Live Transcribe에서는 대화 중 답변을 타이핑하는 대신 수어로 입력할 수 있다.

개인정보 처리 방식도 함께 제시했다. 스마트폰의 온디바이스 MediaPipe Holistic 모델이 수어 사용자의 신체 랜드마크 좌표를 추출하고, 번역에는 이 좌표만 전송한다. Google은 원본 카메라 영상은 즉시 폐기된다고 설명했다.

Google DeepMind는 기존 수어 번역에서 널리 쓰인 중간 표기 체계인 글로스(gloss)를 거치지 않고, 랜드마크 시퀀스에서 텍스트를 직접 생성하는 방식을 택했다. 회사는 이 접근이 비수지 표지와 공간적 표현 등 수어의 비선형적 특성을 다루는 데 도움이 된다고 밝혔다.

이번 적용은 음성 받아쓰기 중심이던 모바일 입력 방식에 수어를 포함하려는 시도다. 다만 지원 언어와 기기는 단계적으로 확대될 예정이다. Google DeepMind는 추가 수어와 더 많은 기기에 대한 지원을 예고했다.

출처: Google DeepMind 공식 블로그 https://deepmind.google/blog/putting-sign-language-ai-into-users-hands/