Vercel, AI 에이전트 실행 추적 기능 공개…도구 호출·토큰 사용량까지 확인

Vercel 공식 변경 로그에 따르면 회사는 오픈소스 에이전트 프레임워크 eve 프로젝트에서 AI 에이전트 실행 과정을 추적하는 Agent Runs 관측성 기능을 공개했다. 이 기능은 별도 OpenTelemetry 설정 없이 Vercel 대시보드에서 에이전트 세션의 트리거, 실행 시간, 토큰 사용량을 확인하도록 설계됐다.

Agent Runs는 에이전트가 수행한 각 실행을 세션 단위로 보여준다. 개발자는 특정 실행을 열어 대화의 각 턴, 모델 호출, 도구 호출을 따라갈 수 있다. 기존에는 함수 로그 안에서 흩어지기 쉬웠던 런타임 오류도 실패한 단계와 연결해 볼 수 있다는 것이 Vercel의 설명이다.

Vercel은 같은 실행 데이터를 두 가지 관점으로 제공한다. Developer mode는 도구 이름, 입력·출력 JSON, 단계별 토큰 수처럼 엔지니어가 장애를 디버깅하는 데 필요한 원시 정보를 보여준다. Business mode는 도구 이름을 사람이 읽기 쉬운 표현으로 바꾸고 JSON을 숨기며, 비기술 검토자가 에이전트가 수행한 작업을 감사할 수 있도록 평문 요약을 생성한다.

보관 기간은 플랜별로 다르다. Vercel은 실행 데이터가 기본적으로 암호화되며 Hobby는 12시간, Pro는 1일, Enterprise는 3일 동안 보관된다고 밝혔다. Pro와 Enterprise 팀은 Observability Plus를 통해 보관 기간을 30일까지 늘릴 수 있다.

이번 기능은 에이전트 개발 경쟁이 모델 호출 자체를 넘어 운영 관측성과 감사 가능성으로 이동하고 있음을 보여준다. 에이전트가 여러 도구를 호출하고 장기 작업을 수행하는 구조에서는 최종 응답만으로 실패 원인을 파악하기 어렵다. 어떤 도구가 어떤 입력으로 실행됐고, 어느 단계에서 오류가 났으며, 비용과 지연이 어디서 발생했는지를 확인할 수 있어야 실제 서비스 운영으로 이어질 수 있다.

Vercel은 커스텀 OpenTelemetry 백엔드를 사용하는 팀도 AI SDK span을 Braintrust, Datadog 같은 외부 대상으로 계속 내보낼 수 있다고 설명했다. 따라서 Agent Runs는 Vercel 대시보드 안의 기본 관측성 경험을 제공하되, 이미 자체 관측성 체계를 갖춘 조직의 흐름을 대체하기보다 보완하는 위치에 가깝다.

다만 이번 발표는 Vercel의 eve 프로젝트와 Vercel 대시보드 환경을 전제로 한다. 다른 에이전트 프레임워크나 자체 호스팅 환경에서 동일한 수준의 실행 추적을 얻으려면 별도 계측과 로그 설계가 필요할 수 있다. 그럼에도 에이전트가 프로덕션 소프트웨어의 한 구성요소로 들어가는 흐름이 빨라지는 만큼, 실행 기록과 권한, 비용, 오류를 함께 보는 관측성 기능은 개발 플랫폼의 주요 경쟁 축이 될 가능성이 크다.

출처: Vercel Changelog https://vercel.com/changelog/eve-agent-observability
출처: Vercel Docs https://vercel.com/docs/eve/observability