
OpenAI가 개인의 대화 이력과 선호를 반영해 일상 업무를 수행하는 AI 비서의 능력을 평가하는 벤치마크 LifeVal을 공개했다. 회사 공식 소개와 11월 3일자 연구 논문에 따르면, 단순히 그럴듯한 답을 내놓는지를 넘어 사용자가 원한 일을 실제로 마쳤는지에 평가의 초점을 맞췄다.
연구팀은 생활시간 조사 자료와 소비자가 AI 도움에 지불할 의향을 묻는 설문을 바탕으로 148개 활동 범주의 우선순위를 정했다. 이를 토대로 만든 최종 평가 과제는 169개다. 재무 관리, 이사, 구직, 돌봄처럼 개인의 상황을 알아야 적절한 결과를 낼 수 있는 업무가 포함된다.
각 과제에는 요청 문장뿐 아니라 작성자의 실제 ChatGPT 대화와 메모리, 참고 파일, 추가 상황 정보가 제공된다. 과제 작성자는 해당 업무를 여러 차례 직접 수행하고 장기간 결과를 경험한 사람으로 선발했다. 연구용 대화 자료는 비식별화했으며, 작성 과정에서도 개인을 식별할 수 있는 정보는 가상 데이터로 바꿨다고 논문은 설명한다.
AI는 모의 업무 환경에서 웹사이트 조작, 양식 입력, 파일 작성 등 필요한 행동을 수행한다. 채점에는 최종 답변뿐 아니라 만들어진 파일과 업무 환경의 시작·종료 상태 차이도 반영한다. 문서나 작업을 완료했다고 말했더라도 실제 산출물이나 상태 변화가 확인되지 않으면 해당 행동에 점수를 주지 않는 방식이다.
과제는 최소 세 차례의 사람 검토를 거쳤다. 자동 채점에는 GPT-5.6 기반의 두 평가기를 사용한다. 하나는 과제별 기준에 따라 결과를 채점하고, 다른 하나는 AI가 일반 사용 경로 대신 평가 환경의 내부 API에 접근했는지 살핀다. 후자가 감지되면 해당 시도의 점수는 0점으로 처리한다.
논문에 제시된 비교 대상은 GPT-5.2, GPT-5.4, GPT-5.5, GPT-5.6, GPT-6 Astra 등 OpenAI 모델이다. 연구팀은 브라우저·컴퓨터 사용과 커넥터 관련 훈련이 개선되면서 전반적인 점수가 높아졌다고 설명했다. 다만 개인 대화에 담긴 중요한 정보를 놓쳐 부정확한 정보나 추천을 내놓는 문제는 모델 전반에서 지속됐다. 이는 OpenAI가 자사 모델로 수행한 평가이며, 다른 회사 모델까지 비교한 독립 평가 결과는 아니다.
연구팀은 148개 활동에 대한 미국 소비자의 연간 지불 의향을 합산해 약 1조7000억 달러로 추정했다. 이 수치는 이상적인 디지털 비서에 얼마를 내겠다는 설문 응답을 확대 추정한 값이다. 실제 AI 서비스 매출이나 실현된 시장 규모를 뜻하지 않으며, 과제의 중요도를 정하기 위한 참고치로 사용됐다.
평가 범위에도 한계가 있다. 지불 의향 설문은 미국 중심의 영어 조사여서 다른 국가나 집단의 생활 업무를 충분히 반영하지 못할 수 있다. 자기보고식 응답은 실제 장기 사용 행동과 다를 수 있고, 일부 웹 탐색에 쓰는 캐시도 고정돼 있지 않아 반복 실행 시 점수가 달라질 수 있다고 연구팀은 밝혔다.
LifeVal은 AI 비서의 성능을 정답 문장뿐 아니라 개인 맥락의 활용과 실제 업무 완료까지 함께 살피려는 시도다. 다만 이번 연구는 평가 방법과 자사 모델의 실험 결과를 제시한 것으로, 소개된 모든 업무를 ChatGPT에서 곧바로 자동 처리할 수 있다는 제품 제공 약속과는 구분해야 한다.
출처: OpenAI 공식 소개 'LifeVal' https://openai.com/index/lifeval/ · OpenAI 연구 논문 'LifeVal: Evaluating AI Model Performance on Personalized Agentic Consumer Tasks'(2026년 11월 3일) https://cdn.openai.com/pdf/lifeval.pdf