
스탠퍼드 Hazy Research 연구진이 문장을 토큰 하나씩 이어 쓰는 대신 거친 표현에서 세부 표현으로 단계적으로 완성하는 언어모델링 방식 NCM(Next-Concept Modeling)을 제시했다. 연구자 원문과 논문에 따르면 기사 요약 벤치마크 XSum에서 비교 대상 확산 언어모델과 비슷한 요약 점수를 유지하면서 31배 빠른 생성 속도를 기록했다.
논문은 10월 9일 arXiv에 제출됐으며 연구진은 공식 블로그와 GitHub 저장소를 통해 구조와 실험 결과를 설명했다. 상용 챗봇 출시가 아니라 텍스트 생성의 표현 방식과 계산 순서를 바꾼 연구다.
일반적인 자기회귀 모델은 앞서 나온 토큰을 바탕으로 다음 토큰을 순서대로 예측한다. 확산 언어모델은 여러 위치를 병렬로 다룰 수 있지만, 전체 문장을 반복해서 다듬는 과정이 필요하다. NCM은 텍스트를 여러 해상도의 이산 코드로 압축한 뒤 짧고 거친 단계부터 길고 세밀한 단계까지 차례로 생성한다. 같은 단계 안의 코드는 한꺼번에 예측한다.
학습은 두 단계로 나뉜다. 먼저 텍스트를 계층적 코드로 바꾸고 원문으로 복원하는 토크나이저를 학습한다. 이후 토크나이저를 고정하고 트랜스포머가 앞 단계의 정보를 토대로 다음 단계를 예측하도록 한다. 논문에서 말하는 개념은 사람이 작성한 문장 개요가 아니라, 이 계층의 거친 단계에 담긴 학습된 정보다.
속도 실험은 NVIDIA H100 SXM 80GB GPU 한 대에서 배치 크기 16으로 1,024개 시퀀스를 생성하는 데 걸린 시간을 측정했다. LM1B에서는 확산 모델 DUO보다 생성 퍼플렉서티가 낮으면서 21배 빨랐다. XSum에서는 AURORA-LM과 비슷한 ROUGE 점수로 31배 빨랐으며, 연구진은 OpenWebText에서 비교한 확산 기준선 대비 10배의 속도 향상도 보고했다. 퍼플렉서티는 생성 텍스트에 대한 모델 기반 평가 지표이며, ROUGE는 참조 요약과의 중첩을 측정하는 지표다.
이 수치를 모든 대형 언어모델보다 31배 빠르다는 뜻으로 해석할 수는 없다. 논문의 주요 비교는 약 1억 매개변수 규모의 모델을 중심으로 이뤄졌고, 배수는 과제별 확산 모델 기준선에 대한 결과다. 연구진은 생성 퍼플렉서티만으로 품질을 충분히 설명하기 어렵다고 밝히고 번역, 요약, 스도쿠 과제도 평가했다.
학습 데이터 사용량에서도 차이를 보였다. LM1B에서 토크나이저와 생성기를 합한 학습 토큰 노출량은 약 133억6,000만 개로, 비교 기준선의 660억 개보다 약 4.9배 적었다. 반복 학습분을 포함한 토큰 수 비교이므로 이를 같은 비율의 연산량이나 비용 절감으로 곧바로 바꿔 말할 수는 없다.
연구진 GitHub에는 MIT 라이선스 코드와 평가 실행 안내가 공개돼 있으며 모델 체크포인트와 평가 데이터 링크도 제공된다. 토큰을 순차 출력하거나 전체 문장을 반복 수정하는 방식과 달리, 표현을 계층화해 생성 경로를 줄이는 접근을 재현해 볼 수 있도록 한 것이다.
다만 이번 결과는 연구진이 보고한 사전공개 논문의 벤치마크 성과다. 더 큰 모델과 다양한 실제 서비스 조건에서도 같은 이점이 유지되는지는 별개의 문제다. 연구진은 모델 규모 확대, 표현 학습과 생성 학습의 결합, 과제 난도에 따른 계산량 조절 등을 후속 과제로 제시했다.
출처: 스탠퍼드 Hazy Research 연구자 블로그 https://hazyresearch.stanford.edu/blog/2026-10-12-ncm
arXiv 연구진 사전공개 논문 https://arxiv.org/abs/2610.14162
논문 본문 https://arxiv.org/html/2610.14162v1
연구진 GitHub 저장소 https://github.com/HazyResearch/ncm









