OpenAI, AI 투자 성과지표 제안…‘유용한 지능/달러’로 비용·신뢰성 측정

OpenAI 공식 발표에 따르면 회사는 17일 기업의 AI 투자 성과를 평가하는 지표로 ‘유용한 지능/달러(Useful Intelligence per Dollar)’를 제안했다. 좌석 수나 활성 사용자, 토큰 단가보다 AI가 실제로 완료한 업무와 그 결과를 얻는 데 들어간 전체 비용을 함께 봐야 한다는 취지다.

OpenAI가 제시한 평가 틀은 네 가지 질문으로 구성된다. AI가 중요한 업무를 끝냈는지, 성공한 작업 한 건에 얼마가 들었는지, 결과를 신뢰할 수 있는지, 사용 규모가 커질수록 같은 비용으로 더 많은 가치를 만들어내는지가 핵심이다.

첫 단계는 업무별 완료 기준을 정하는 것이다. 고객지원에서는 문의 해결, 개발 조직에서는 테스트를 통과한 코드 변경, 법무 조직에서는 정확하고 제때 끝낸 계약 검토가 측정 대상이 될 수 있다. 토큰 사용량을 성과로 간주하지 않고 실제 업무 시스템에서 완료 여부를 확인하라는 설명이다.

비용 계산에도 모델 사용료만 넣지 않는다. OpenAI는 성공한 작업 수로 모델 비용과 연산량, 직원 시간, 사람의 검토, 재시도와 재작업 비용을 모두 나누는 방식을 제시했다. 토큰 가격이 낮은 모델도 여러 차례 시도하거나 많은 검토가 필요하면 최종 성과 비용은 더 높을 수 있다는 논리다.

결과의 신뢰성은 ‘바로 사용 가능’, ‘수정 필요’, ‘사람에게 이관 필요’로 구분해 추적하도록 했다. AI가 초안 작성을 넘어 도구와 데이터를 활용하고 실제 행동을 수행할수록 접근 가능한 데이터와 시스템, 사람의 승인 시점, 안전·보안·개인정보 보호 경계를 함께 정해야 한다고 OpenAI는 설명했다.

규모 확대 단계에서는 같은 업무를 시간에 따라 비교한다. 품질 기준을 충족한 작업 수와 전체 비용, 성공 작업당 비용을 지속적으로 기록해 완료된 업무가 총비용보다 빠르게 늘어나는지 확인하는 방식이다. 모델 성능과 추론 효율, 하드웨어 활용률, 라우팅, 제품 설계가 이 경제성에 함께 영향을 준다고 봤다.

이번 제안은 기업용 AI 평가의 초점을 도입량에서 업무 성과로 옮기려는 시도다. 다만 OpenAI가 제시한 방법론인 만큼 실제 적용에서는 업무별 품질 기준과 비용 산정 범위, 사람의 검토 필요 수준을 조직이 별도로 정의해야 한다. 서로 다른 모델과 업무를 비교할 때도 동일한 성공 기준과 관찰 기간을 유지해야 지표가 의미를 갖는다.

출처: OpenAI 공식 발표 https://openai.com/index/a-scorecard-for-the-ai-age/