Mesh LLM, 분산 GPU 묶어 OpenAI 호환 API 제공…P2P AI 인프라 실험

Iroh 공식 블로그와 Mesh LLM GitHub 저장소에 따르면, Mesh LLM은 여러 기기의 GPU와 메모리를 하나의 OpenAI 호환 API처럼 묶어 쓰는 분산 LLM 실행 방식을 공개했다. 이 프로젝트는 개별 노드가 가진 연산 자원을 메시 네트워크로 연결하고, 애플리케이션에는 로컬 주소의 API 엔드포인트처럼 보이도록 설계됐다.

Mesh LLM이 겨냥하는 문제는 대형 언어모델 실행 비용과 인프라 통제권이다. 일반적인 LLM 활용은 대형 클라우드 사업자의 API나 데이터센터 GPU에 의존한다. 반면 Mesh LLM은 사무실, 개인 장비, 서버에 흩어진 GPU와 메모리를 묶어 더 큰 모델을 실행하거나 요청을 가능한 노드로 라우팅하는 방식을 제시한다.

공식 설명에 따르면 요청 처리 방식은 세 가지다. 한 기기가 모델 전체를 올릴 수 있으면 로컬 GPU에서 실행하고, 이미 모델을 올려둔 피어가 있으면 해당 노드로 라우팅한다. 어떤 단일 장비도 모델 전체를 감당하기 어렵다면 모델 레이어를 여러 단계로 나눠 여러 장비가 파이프라인처럼 처리하는 방식도 지원한다.

네트워크 계층에는 Iroh가 사용된다. Iroh는 공개키 기반 엔드포인트와 인증된 QUIC 연결, NAT traversal, relay fallback을 통해 중앙 서버 없이 노드 간 연결을 만들도록 설계된 네트워킹 프로젝트다. Mesh LLM은 이를 기반으로 gossip, 추론 요청, 라우팅 질의, 피어 상태 이벤트를 주고받는 구조를 설명하고 있다.

개발자 경험 측면에서는 기존 OpenAI 호환 클라이언트를 의식했다. GitHub 저장소의 README는 Mesh LLM이 로컬 9337 포트의 /v1 API로 모델 목록과 채팅 완성 요청을 제공한다고 설명한다. 공개 메시 참여, 사설 메시 구성, 초대 토큰 기반 참여, API 전용 클라이언트, 대형 모델 split 실행 같은 흐름도 문서화돼 있다.

이번 공개는 AI 인프라 논의가 클라우드 API 사용 편의성에서 벗어나, 분산 실행과 데이터 통제권, 로컬 자원 활용으로 확장되고 있음을 보여준다. 특히 에이전트형 워크플로와 장시간 추론 작업이 늘어날수록 모델 실행 위치, 네트워크 지연, 비용 예측 가능성은 개발자와 조직 모두에게 더 중요한 변수가 된다.

다만 Mesh LLM은 저장소에서 실험적 분산 시스템 소프트웨어임을 밝히고 있다. 공식 블로그의 구조 설명과 GitHub 문서는 기술 방향을 확인하는 근거가 되지만, 실제 서비스 환경에서의 안정성, 성능, 비용 절감 효과는 배포 조건과 모델 구성에 따라 달라질 수 있다. 따라서 현재 단계에서는 대체 인프라의 완성형이라기보다 분산 AI 실행을 향한 공개 실험으로 보는 것이 적절하다.

출처: Iroh 공식 블로그 https://www.iroh.computer/blog/mesh-llm · Mesh LLM GitHub 저장소 https://github.com/Mesh-LLM/mesh-llm