arXiv:2605.24217 cs.AI

Identifying and Mitigating Systemic Measurement Bias in Production LLM Inference Benchmarks

제출 2026-05-22

한국어 초록

대규모 언어 모델(LLM)이 연구 환경에서 프로덕션 배포로 전환되면서, 엄격한 서비스 수준 목표(SLO)에 대한 성능 평가가 매우 중요해졌습니다. 하지만 현재 평가 방법론은 규모 확장 시 심각한 측정 편향으로 인해 문제를 겪고 있습니다. 널리 사용되는 벤치마크 유틸리티는 단일 프로세스, asyncio 기반 아키텍처에 의존하며, 높은 동시성 환경에서 근본적인 클라이언트 측 큐잉 병목을 초래함을 보여줍니다. 벤치마크 클라이언트를 M/G/1 큐로 모델링함으로써, Python의 전역 인터프리터 락(GIL)이 요청률 증가에 따라 첫 토큰까지의 시간(TTFT)과 출력 토큰당 시간(TPOT) 메트릭을 어떻게 인위적으로 증가시키는지 수학적으로 보여줍니다. 이러한 체계적 부정확성을 해결하기 위해, 클라이언트 측 부하를 효과적으로 분산하고 무시할 수 있는 수준의 큐잉 오버헤드를 보장하는 편향되지 않은 다중 프로세스 평가 프레임워크를 제안합니다. 더욱이, 시퀀스 길이에 걸쳐 프리필과 스케줄링 지연을 포함한 엔드-투-엔드 레이턴시를 견고하게 상각하는 정규화된 출력 토큰당 시간(NTPOT)이라는 복합 메트릭을 형식화합니다. 우리의 경험적 평가는 이 방법론이 순수 서빙 엔진 성능을 성공적으로 격리하며, 초당 수천 개 이상의 쿼리를 처리하는 프로덕션 규모에서 대규모 언어 모델의 정확하고 재현 가능한 프로파일링을 가능하게 함을 보여줍니다.

요약

대규모 언어 모델이 연구 환경을 벗어나 실제 프로덕션 환경으로 배포되면서, 엄격한 서비스 수준 목표에 부합하는 성능 평가의 정확성이 매우 중요한 문제가 되었습니다. 그러나 현재 LLM 벤치마킹 생태계에서 널리 사용되는 평가 도구들이 높은 동시성 상황에서 심각한 측정 편향을 야기하고 있다는 점은 충분히 인식되지 못하고 있습니다. 기존의 벤치마킹 유틸리티들은 대부분 단일 프로세스 Python 스크립트에 의존하며 비동기 이벤트 루프를 활용하는데, 이러한 아키텍처는 프로덕션 규모의 높은 요청 처리율에서 Python의 전역 인터프리터 락에 의해 근본적으로 제한되어 클라이언트 측 큐잉 병목을 초래합니다. 본 논문은 벤치마킹 클라이언트를 수학적으로 M/G/1 큐로 모델링함으로써 이벤트 루프의 이용률이 포화에 가까워질수록 클라이언트 측 대기 시간이 무한대로 수렴하게 되며, 이것이 첫 토큰까지의 시간과 출력 토큰당 시간 같은 지연 메트릭을 인위적으로 부풀리는 메커니즘을 엄밀하게 증명합니다. 문제 해결을 위해 논문은 부하를 여러 격리된 프로세스에 분산시키는 편향되지 않은 다중 프로세스 평가 프레임워크를 제안하며, 이를 통해 초당 5,000개 이상의 쿼리 규모에서도 무시할 수 있는 수준의 클라이언트 측 오버헤드를 유지할 수 있음을 입증합니다. 더하여 논문은 정규화된 출력 토큰당 시간이라는 새로운 합성 메트릭을 정의하여, 요청 큐 시간, 입력 처리 단계, 디코드 단계를 포함한 엔드투엔드 지연 시간을 출력 토큰 수에 대해 정규화함으로써 서로 다른 시퀀스 길이와 모델 간 공정한 성능 비교를 가능하게 합니다. 경험적 검증에서 기존 단일 프로세스 도구는 초당 1,000개 쿼리 수준에서 146~443개 쿼리에만 도달하는 속도 실패를 보인 반면, 제안된 다중 프로세스 방식은 전체 부하를 성공적으로 처리했으며, 지연 시간 측정에서도 58초에 달하는 인위적 지연을 완전히 제거하여 0.63밀리초 수준의 정확한 측정을 달성했습니다. 나아가 논문은 범용 HTTP 부하 테스트 도구들과의 비교를 통해 Go 기반 프레임워크는 5,000 쿼리를 처리할 수 있으나 Python 기반 도구들은 모두 1,000~2,000 쿼리에서 포화되는 현상을 확인함으로써 GIL이 주요 병목임을 명확히 입증합니다. 이 연구는 Python의 풍부한 생태계와 토크나이저 라이브러리를 활용하면서도 다중 프로세스 아키텍처를 통해 프로덕션 규모의 평가를 신뢰할 수 있게 수행할 수 있음을 보여주며, 향후 인프라 최적화 결정이 수학적으로 견고하고 재현 가능한 측정 데이터에 기반할 수 있도록 하는 중요한 방법론적 기초를 제시합니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.