Mistral AI, 형식 검증 특화 모델 ‘Leanstral 1.5’ 공개

Mistral AI 공식 발표에 따르면 회사는 7월 2일 Lean 4 기반 수학 증명과 코드 검증에 특화한 모델 ‘Leanstral 1.5’를 공개했다. Mistral AI는 이 모델이 Apache-2.0 라이선스로 제공되며, 가중치는 Hugging Face에서 공개되고 무료 API 엔드포인트로도 사용할 수 있다고 밝혔다.

Leanstral 1.5는 일반 대화형 모델보다 형식 증명과 검증 워크플로에 초점을 맞춘 모델이다. Mistral AI는 모델이 정리 문장을 받고 증명 또는 반례를 시도한 뒤, Lean 컴파일러 피드백을 반영해 다시 증명을 고치는 방식으로 학습됐다고 설명했다. 저장소 안에서 파일을 수정하고, 셸 명령을 실행하며, Lean 언어 서버를 통해 목표와 오류, 타입 정보를 확인하는 에이전트형 작업 흐름도 강조했다.

회사가 공개한 성능 수치도 수학·검증 분야에 맞춰 제시됐다. Mistral AI는 Leanstral 1.5가 miniF2F를 포화시켰고, PutnamBench 672문제 중 587문제를 해결했으며, FATE-H 87%, FATE-X 34%로 새로운 최고 성능을 기록했다고 밝혔다. FLTEval에서는 pass@1 28.9, pass@8 43.2를 기록했다고 설명했다.

다만 이 수치는 회사가 공개한 자체 발표 기준이다. 형식 검증 모델의 실효성은 벤치마크 점수뿐 아니라 실제 저장소에서 요구사항을 올바르게 해석하는지, 생성한 명세가 개발자의 의도와 맞는지, 증명 실패를 버그로 판단하는 과정에서 오탐을 줄일 수 있는지에 따라 달라진다. 독립 재현과 실제 프로젝트 적용 사례가 쌓여야 산업적 의미를 더 명확히 평가할 수 있다.

Mistral AI는 Leanstral 1.5가 코드 검증에서도 활용 가능하다고 주장했다. 회사는 Aeneas로 Rust 코드를 Lean으로 변환하고, Leanstral이 코드 의도를 추론해 정확성 속성을 만들며, 증명 실패 시 반례를 찾는 파이프라인을 테스트했다고 설명했다. 이 과정에서 57개 저장소를 대상으로 확인해 알려지지 않았던 버그 5개를 발견했다고 밝혔다.

이번 공개는 AI 모델 경쟁이 자연어 답변과 코딩 보조를 넘어 검증 가능한 추론으로 확장되고 있음을 보여준다. 형식 증명은 금융, 인프라, 보안, 컴파일러, 암호 구현처럼 오류 비용이 큰 영역에서 오래전부터 중요했지만, 전문 인력과 도구 장벽이 높았다. Leanstral 1.5 같은 특화 모델이 실제 개발 워크플로에 들어온다면 증명 작성과 코드 검증의 접근성을 낮추는 계기가 될 수 있다.

출처: Mistral AI 공식 발표 https://mistral.ai/news/leanstral-1-5/
출처: Hugging Face 모델 페이지 https://huggingface.co/mistralai/Leanstral-1.5-119B-A6B
출처: Mistral AI 모델 문서 https://docs.mistral.ai/models/model-cards/leanstral-1-5