Ant Group·중국 대학 연구진, 1조 매개변수 ‘Zero RL’ 훈련 실험 공개

연구자 원문 사전논문에 따르면 Ant Group과 중국인민대·칭화대·저장대 공동 연구진은 1조 매개변수 규모 언어모델에 ‘Zero RL’을 적용한 Ring-Zero 연구를 공개했다. 연구진은 사람이 작성한 추론 풀이 없이 검증 가능한 보상을 이용해 기반 모델의 수학 추론 행동을 끌어내는 실험을 진행했다.

Zero RL은 감독 미세조정으로 정답 풀이 과정을 먼저 가르치지 않고, 답의 정확성처럼 확인 가능한 신호를 보상으로 삼아 모델을 강화학습하는 방식이다. 연구진은 1조 매개변수 중 추론 때 630억 개가 활성화되는 Ling-2.5-1T-Base와, 1천40억 매개변수 중 74억 개가 활성화되는 Ling-2.5-flash-Base를 비교했다.

훈련은 320대의 NVIDIA H200 GPU에서 진행됐다. 학습 엔진에는 Megatron, 응답 생성에는 SGLang, 전체 강화학습 조정에는 Areal 프레임워크가 사용됐다. 응답 길이를 4천 토큰에서 6만4천 토큰까지 단계적으로 늘리고, 학습 엔진과 추론 엔진 사이의 확률 차이를 보정하는 기법을 적용했다.

논문이 ‘첫 단계 Zero RL’로 구분한 실험에서 1조 매개변수 모델은 AIME 2026 정확도 84.2%를 기록했다. 같은 조건의 1천40억 매개변수 모델은 65.3%였다. 연구진은 각 평가를 64회 반복해 pass@1 정확도의 평균을 산출했다고 설명했다.

이후 모델이 만든 풀이를 다시 학습하는 자기 증류와 표본 단위 손실을 적용한 두 번째 강화학습을 거치면서 성능은 더 높아졌다. 두 번째 단계에서 문맥 확장 기법을 적용한 모델의 AIME 2026 정확도는 93.2%로 보고됐다. 다만 난도별 추론 예산을 따로 학습한 세 번째 단계의 고예산 모드는 91.4%로 낮아져, 여러 길이를 함께 학습할 때 나타나는 성능 간섭도 확인됐다.

연구진은 대규모 모델의 학습이 새로운 풀이 행동을 찾는 ‘발견’ 단계와 기존 행동을 다듬는 ‘정교화’ 단계로 나뉜다고 분석했다. 또 구조화된 서술, 자기 검증, 여러 풀이 경로의 병렬 탐색 등이 별도 규칙 없이 나타났다고 보고했다. 논문에서 ‘맥락 불안’과 ‘의인화’라고 부른 표현도 관찰됐지만, 이는 모델의 내적 인지 상태가 아니라 출력 문장에서 나타난 행동 패턴을 연구진이 분류한 것이다.

연구진은 최종 답의 정오뿐 아니라 추론 과정의 이해 가능성·재현 가능성·효율성을 함께 평가하는 틀도 제안했다. 비교 실험에서 Ring-2.5-1T-Zero는 정답을 맞힌 AIME 문제에 평균 6천368개 토큰을 사용했다고 보고했다. 다만 추론 품질 비교에는 다른 언어모델이 판정하는 방식이 포함돼 있어, 사람 평가와 독립 재현을 통한 추가 검증이 필요하다.

이번 결과는 대규모 기반 모델에서 정답 풀이 데이터 없이 강화학습을 시작할 수 있다는 실험적 근거를 제시한다. 동시에 320대의 H200 GPU를 사용한 훈련 규모는 같은 접근법을 다른 연구기관이 재현하기 쉽지 않다는 한계도 보여준다. 모델 크기 자체의 효과와 데이터 구성·학습 인프라의 영향을 분리하려면 후속 연구가 필요하다.

이번 연구는 arXiv에 공개된 동료평가 전 사전논문이다. 논문에 보고된 수치와 ‘창발’ 해석은 연구진의 자체 실험 결과이며, 독립 연구팀의 재현 결과로 확인된 것은 아니다.

출처: arXiv https://arxiv.org/abs/2607.12395
InclusionAI Ring-2.5-1T Model Card https://huggingface.co/inclusionAI/Ring-2.5-1T