Liquid AI, 실시간 기업 업무용 추론 엔진 RIPL 공개

Liquid AI가 실시간 기업 업무를 겨냥한 추론 엔진 RIPL(Real-time Inference Pipeline)을 공개했다. 회사가 22일 게재한 공식 블로그에 따르면 RIPL은 자사 Liquid Foundation Models(LFM)를 이용해 전체 응답 생성까지 걸리는 시간을 50밀리초, 즉 0.05초 미만으로 줄이는 데 초점을 맞췄다. 회사는 요청이 계속 들어오는 최대 부하 상황에서도 이 수준의 지연을 유지한다고 설명했다.

대상은 검색 순위 조정, 상품 추천, 이상거래 탐지, 결제 승인처럼 이용자의 요청 처리 과정에서 곧바로 결과가 필요한 업무다. 긴 대화나 여러 단계의 에이전트 작업보다 짧은 시간 안에 답을 내야 한다는 제약이 크다. Liquid AI는 이런 작업에 소형 언어 모델과 전용 추론 엔진을 함께 적용하는 방식을 제시했다.

공개된 자체 비교에서는 RIPL에서 실행한 LFM2.5-1.2B의 p95 지연 시간이 vLLM에서 실행한 Qwen3.5-0.8B보다 14.4~28.4배 낮았다고 밝혔다. LFM2.5-2.6B와 Qwen3.5-2B를 비교한 수치는 5.6~7.7배다. p95 지연 시간은 전체 요청의 95%가 그 시간 안에 처리된다는 뜻으로, 평균값만으로 드러나지 않는 느린 응답을 살펴보는 지표다.

다만 이 결과는 서로 다른 모델과 추론 엔진을 조합한 회사 측 비교다. 같은 모델에서 엔진만 바꾼 시험이 아니므로 차이를 RIPL의 효과만으로 해석할 수는 없다. 실제 응답 지연도 사용하는 GPU와 요청 길이, 동시에 들어오는 요청량에 따라 달라진다.

Liquid AI는 도입 사례로 Shopify를 소개했다. Shopify가 지연에 민감한 커머스 업무에 LFM을 적용하고 있으며, 검색 개선 작업에서 실제 운영 환경의 추론 시간이 20밀리초 미만이라고 설명했다. 이 수치는 회사가 소개한 특정 작업의 사례로, RIPL을 사용하는 모든 업무의 응답 시간을 뜻하지는 않는다.

RIPL은 엔비디아 GPU에서 LFM을 운영하려는 기업을 대상으로 제공된다. 회사는 지원 하드웨어의 예로 H100, H200, B200, RTX PRO 6000을 들었다. 공식 발표 페이지에는 GPU와 요청 형태, 요청량에 따른 지연 시간을 추정하는 도구와 기업 도입 문의 창구도 마련했다.

출처: Liquid AI 공식 블로그, ‘RIPL: Real-time Intelligence When Every Millisecond Counts’ https://www.liquid.ai/blog/low-latency