OpenAI·Broadcom, LLM 추론용 자체 칩 Jalapeno 공개

OpenAI와 Broadcom 공식 발표에 따르면 양사는 24일(현지시간) 대규모 언어모델 추론에 최적화한 맞춤형 AI 가속기 Jalapeno를 공개했다. OpenAI는 이 칩을 자사 첫 ‘Intelligence Processor’라고 소개하며, 모델과 제품뿐 아니라 칩·메모리·네트워킹·배포 시스템까지 아우르는 풀스택 인프라 전략의 일부라고 설명했다.

Jalapeno는 범용 AI 가속기를 기존 워크로드에 맞춰 쓰는 방식이 아니라, LLM 추론 패턴을 전제로 새로 설계된 칩이다. OpenAI는 ChatGPT, Codex, API, 향후 에이전트형 제품을 운영하며 축적한 커널, 메모리 이동, 네트워킹, 서빙 패턴을 설계에 반영했다고 밝혔다. Broadcom은 실리콘 구현과 Tomahawk 네트워킹 기술을, Celestica는 보드와 랙 시스템 통합을 맡았다.

양사는 엔지니어링 샘플이 연구실에서 생산 목표 주파수와 전력 조건으로 머신러닝 워크로드를 실행 중이라고 밝혔다. OpenAI와 Broadcom은 초기 시험에서 Jalapeno의 와트당 성능이 현행 최첨단 가속기보다 상당히 높게 나왔다고 설명했지만, 최종 성능 측정은 진행 중이며 상세 기술 보고서는 향후 공개될 예정이라고 덧붙였다.

개발 속도도 발표의 핵심이다. 양사는 Jalapeno가 초기 설계부터 제조 테이프아웃까지 9개월 만에 진행됐고, 이 과정에서 OpenAI 모델이 설계와 최적화 일부를 가속하는 데 쓰였다고 설명했다. AI 모델이 다음 세대 AI 인프라 설계에도 투입되는 구조가 현실화되고 있다는 점에서 의미가 있다.

이번 발표는 AI 서비스 경쟁의 무게 중심이 모델 성능뿐 아니라 추론 비용, 지연시간, 공급망 통제, 데이터센터 전력 효율로 이동하고 있음을 보여준다. 생성형 AI가 더 많은 사용자와 기업 업무에 들어갈수록 병목은 학습보다 대규모 추론 운영에서 커질 수 있다. OpenAI가 자체 칩을 앞세운 것은 Nvidia 등 외부 가속기 생태계를 곧바로 대체한다기보다, 주요 워크로드에 맞춘 전용 인프라를 병행해 비용과 안정성을 낮추려는 시도로 볼 수 있다.

Broadcom 발표에 따르면 Jalapeno는 2026년 말 초기 배포를 목표로 하며, Microsoft와 다른 데이터센터 파트너를 포함한 기가와트 규모 배포 로드맵의 첫 단계로 제시됐다. 다만 실제 성능, 공급 규모, 비용 절감 폭은 아직 상세 자료가 공개되지 않은 만큼 향후 기술 보고서와 배포 결과를 통해 검증될 필요가 있다.

출처: OpenAI https://openai.com/index/openai-broadcom-jalapeno-inference-chip/ · Broadcom https://investors.broadcom.com/news-releases/news-release-details/openai-and-broadcom-unveil-llm-optimized-intelligence-processor