
코딩 에이전트용 프로그래밍 언어 Tov의 성능 홍보를 두고 벤치마크 설계 논쟁이 제기됐다. Fyra Labs가 22일 공개하고 23일 갱신한 원문 분석에 따르면, Tov와 비교한 Rust 코드의 자료구조와 호출 방식을 바꾸자 일부 시험에서 성능 격차가 크게 줄었다.
Tov는 공식 웹사이트에서 TypeScript와 비슷한 문법으로 코드를 작성하고 네이티브 실행 파일을 만드는 언어라고 소개한다. 코드를 C로 변환한 뒤 clang으로 컴파일하는 구조다. 사이트는 ‘Rust보다 빠르다’는 문구와 함께 개별 프로그램·웹 서버의 측정 결과를 제시하고, 비교 코드와 실행 방법을 GitHub에 공개하고 있다.
Fyra Labs가 살펴본 항목은 큰 정수 피보나치 계산(bigint_fib), 도형 객체의 메서드 호출(dispatch), 문자열 키 삽입·조회(map_insert) 등 세 가지다. 분석은 공개 저장소의 특정 커밋을 대상으로 하며, Linux 환경 세 곳의 하드웨어 사양과 실행 명령, 측정 결과를 함께 실었다.
메서드 호출 시험의 원래 Rust 코드는 서로 다른 도형을 Vec<Box<dyn Shape>>에 담아 동적으로 호출한다. Fyra Labs는 이를 열거형(enum)과 고정 크기 배열을 사용하는 방식으로 바꿨다. 공개한 한 환경의 평균 실행 시간은 기존 Rust 298.2밀리초, 변경한 Rust 48.8밀리초, Tov 52.4밀리초였다. 다른 환경에서는 변경한 Rust와 Tov가 비슷한 수준을 보였다.
이 수치는 Fyra Labs의 측정 결과다. Rust 구현을 바꾸면 해당 작업을 더 빠르게 처리할 수 있다는 사례이지만, 동적 호출을 열거형 분기로 바꾼 결과이기도 하다. 원래 시험이 겨냥한 가상 메서드 호출과 최적화한 코드의 측정 대상이 완전히 같다고 볼 수는 없다.
문자열 키 시험에서는 Rust 표준 HashMap 대신 AHashMap을 쓰고, 키 문자열을 미리 만들어 재사용했다. 원래 공개 코드가 삽입과 조회 단계에서 각각 키를 만드는 것과 달라, 결과의 차이를 해시맵 교체 하나의 효과로만 해석하기 어렵다. 피보나치 계산에서도 Tov의 우위가 모든 환경에서 재현되지는 않았다는 것이 분석의 설명이다.
Tov 측 벤치마크 문서는 각 언어가 같은 알고리즘과 데이터를 사용하고 동일한 출력을 내도록 설계했다고 밝힌다. 다만 최종 출력이 같아도 메모리 할당, 자료구조, 동적 호출과 최적화 여지는 서로 다를 수 있다. 이번 분석은 이런 구현 선택이 성능 수치에 미치는 영향을 보여주며, 특정 언어가 모든 작업에서 더 빠르거나 느리다는 결론과는 구분할 필요가 있다.
출처: Fyra Labs 원문 분석 https://blog.fyralabs.com/debunking-faster-than-rust-malicious-benchmarks-in-tov/
Tov 공식 소개 https://tov.sh/
Tov 공식 저장소 벤치마크(분석 대상 커밋) https://github.com/richiemcilroy/Tov/tree/c2048582de4e9468267f801313144d75c12e983f/bench