
AI 평가기관 Artificial Analysis의 자체 평가에서 구글 제미나이 4 카본(Gemini 4 Carbon)이 종합 지능지수 59점으로 1위를 기록했다. 코딩 에이전트 평가는 클로드 오퍼스 5.5에 이어 2위였으며, 모델은 아직 일부 사용자에게만 제공되고 있다.
Artificial Analysis가 공개한 평가 원문에 따르면, 추론 강도를 높음(high)으로 설정한 제미나이 4 카본은 Intelligence Index v5에서 59점을 받았다. 같은 기관이 평가한 제미나이 4 아르곤보다 9점 높은 수치다. 이 지수는 9개 평가를 종합하며, 카본은 HLE-Diamond, Terminal-Bench-Science, AA-Omniscience, AutomationBench-AA 등 4개 평가에서 가장 높은 점수를 기록했다.
코딩 에이전트 부문에서도 이전 제미나이 계열보다 성능이 개선됐다. 다만 종합 지능지수와 순위는 달랐다. 안티그래비티 CLI와 결합한 카본의 코딩 에이전트 지수는 59점으로, 클로드 코드에서 최대 추론 설정으로 실행한 클로드 오퍼스 5.5의 62점에 3점 뒤졌다. 모델과 실행 도구를 함께 평가한 결과인 만큼 모델 단독의 코딩 능력 순위로 해석해서는 안 된다.
지식업무에서도 개선과 한계가 함께 나타났다. 문서·업무 수행을 평가하는 AA-Briefcase에서 카본은 1609 Elo를 기록했다. 아르곤의 1483보다 126점 높지만, 같은 원문에 제시된 그록 4.7, 뮤즈 원더, 키미 K3.1 프로에는 미치지 못했다. 종합 1위가 모든 업무에서의 우위를 뜻하는 것은 아니다.
지식 신뢰성을 측정하는 AA-Omniscience v1.1 점수는 54로, 아르곤보다 8점 높았다. 정답률은 48%에서 58%로 올랐지만 평가기관이 집계한 환각률도 4%에서 11%로 상승했다. 이 수치는 해당 평가의 조건과 산식에 따른 결과로, 실제 서비스의 모든 답변에서 같은 비율로 오류가 발생한다는 뜻은 아니다.
비용 비교는 할인 가격이 아닌 표준 가격을 기준으로 이뤄졌다. Artificial Analysis가 제시한 카본의 지능지수 과제당 가중평균 비용은 7.76달러로, 클로드 오퍼스 5.5의 10.04달러보다 약 23% 낮았다. 같은 비교에서 GPT-6 아스트라는 6.25달러였다. 과제당 비용은 토큰 사용량까지 반영한 평가값이므로 API의 토큰 단가와 구분할 필요가 있다.
접근성은 아직 제한적이다. 평가기관은 카본이 일부 사용자를 대상으로 제공되고 있으며 일반 공개 상태가 아니라고 설명했다. 모델 분석 페이지에도 공개 API가 없다고 표시돼 있다. 이번 결과는 평가기관이 접근한 모델과 설정에 대한 측정이며, 일반 개발자가 같은 환경을 곧바로 재현할 수 있다는 의미는 아니다.
출처: Artificial Analysis, Gemini 4 Carbon 평가 원문 https://artificialanalysis.ai/articles/gemini-4-carbon-new-number-1 · Gemini 4 Carbon 모델 분석 https://artificialanalysis.ai/models/gemini-4-carbon · Intelligence Index v5.0 평가 안내 https://artificialanalysis.ai/evaluations/artificial-analysis-intelligence-index