Liquid AI, 엣지용 결정 모델 d1 공개…문장 생성 없이 분류·점수 반환

Liquid AI가 엣지 기기에서 분류와 점수 산정을 수행하는 결정 모델 d1-3B와 d1-omni-600M의 가중치를 공개했다. 회사가 7일 공개한 공식 블로그에 따르면 두 모델은 문장을 토큰 단위로 생성하지 않고, 한 차례의 순방향 연산으로 미리 정한 질문에 답한다. 모델은 Hugging Face에서 내려받을 수 있다.

개발자는 텍스트나 이미지 등 입력 데이터와 함께 질문, 선택지, 평가 기준을 지정한다. 모델은 예·아니오에 대한 확률, 여러 선택지 중 하나, 또는 정해진 척도상의 점수를 반환한다. 고객 문의를 담당 부서로 보내거나 이미지 속 대상을 분류하는 작업처럼 결과가 일정한 형식으로 정해진 용도에 초점을 맞췄다. 자유로운 대화나 글·코드 생성용 모델과는 구분된다.

d1-3B는 LFM2.5-VL-3B를 바탕으로 만든 약 31억 개 매개변수 모델로 텍스트와 이미지를 입력받는다. 같은 입력에 대해 여러 질문을 한 번에 처리할 수 있으며, 문맥 길이는 3만2768토큰이다. 공식 모델 카드는 시각 검사, 콘텐츠 분류, 검색 결과 재정렬, 에이전트의 처리 경로 선택 등을 활용 대상으로 제시했다.

더 작은 d1-omni-600M은 실제 매개변수가 약 5억8700만 개다. 텍스트와 이미지 또는 텍스트와 음성을 처리하지만, 한 요청에 이미지와 음성을 동시에 넣을 수는 없다. 음성은 최대 30초로 제한되며, 관련 학습은 영어 화자와 어시스턴트 사이의 요청을 중심으로 이뤄졌다. Liquid AI는 이 모델을 초기 연구용 공개본으로 설명하고 추론 속도 수치를 별도로 제시하지 않았다.

회사가 공개한 d1-3B 측정치에서 단일 질문의 응답 지연은 NVIDIA RTX 4090에서 8밀리초, Jetson AGX Thor에서 16밀리초, Jetson Orin Nano에서 50밀리초였다. RTX 4090 수치는 워밍업 후 CUDA 그래프를 적용한 조건이다. 같은 표에서 3400토큰 입력은 Orin Nano에서 1640밀리초, 384픽셀 이미지 입력은 202밀리초가 걸려 입력 길이와 종류에 따라 지연이 달라졌다. 이 수치는 회사 측 시험 결과이며 모든 작업의 응답 시간을 보장하지 않는다.

d1-3B의 Decision Index v0.2.1 공개 데이터 점수는 48.57, d1-omni-600M은 15.95로 제시됐다. 모델 카드에 따르면 공식 채점기를 사용한 자체 평가이며 공개 순위표에 제출한 결과는 아니다. 회사는 이번 발표에서 비공개 시각 평가 점수를 공개하지 않았고, 음성 결정 작업을 위한 전용 평가 체계도 아직 해결할 과제로 남겼다.

NVIDIA Jetson AI Lab도 d1-3B 실행 가이드를 공개했다. Jetson에서 PyTorch 컨테이너와 Transformers를 이용해 텍스트·이미지 분류를 실행하는 예제를 제공한다. 가중치를 기기에 내려받아 반복적인 판단을 로컬에서 처리할 수 있다는 점이 이번 공개의 특징이다.

가중치 공개가 상업적 사용의 무제한 허용을 뜻하지는 않는다. 두 저장소의 LFM Open License v1.0에는 연매출 1000만 달러를 기준으로 한 상업적 사용 제한이 명시돼 있다. 제5조는 이 기준을 초과하는 법인의 상업적 이용을 해당 계약으로 허용하지 않는다. 기업이 도입할 때는 모델별 라이선스와 실제 입력에서의 정확도·지연 조건을 함께 검토해야 한다.

출처: Liquid AI 공식 블로그, ‘Open d1: Edge decision models for text, vision, and audio’ https://www.liquid.ai/blog/d1-open
Liquid AI 공식 모델 카드, d1-3B https://huggingface.co/LiquidAI/d1-3B
Liquid AI 공식 모델 카드, d1-omni-600M https://huggingface.co/LiquidAI/d1-omni-600M
Liquid AI 공식 문서, Decision Models https://docs.liquid.ai/lfm/models/decision-models
NVIDIA Jetson AI Lab, d1-3B 실행 가이드 https://www.jetson-ai-lab.com/models/d1-3b/
Liquid AI d1-3B 라이선스, LFM Open License v1.0 https://huggingface.co/LiquidAI/d1-3B/blob/main/LICENSE
Liquid AI d1-omni-600M 라이선스, LFM Open License v1.0 https://huggingface.co/LiquidAI/d1-omni-600M/blob/main/LICENSE