인간 비개입 LLM 서빙: 처리량에 대한 인간 세금 정량화
Human-Less LLM Serving: Quantifying the Human Tax on Throughput
모든 주요 LLM 서빙 시스템은 TTFT와 TPOT SLO를 충족하도록 설계되어 있다. 이러한 지표는 인간 사용자가 인지하는 지연 시간을 반영하며, 이를 충족하기 위해 구축된 메커니즘은 이제 표준 인프라가 되었다. 우리는 장기 AI 작업이 TTFT나 TPOT을 관찰하는 인간 없이 긴밀한 루프에서 프로그래밍 방식으로 LLM을 호출한다는 점을 관찰한다. 우리는 다음을 묻는다: 이러한 워크로드가 전혀 필요로 하지 않는 TTFT 및 TPOT SLA를 충족하기 위해 서빙 시스템은 처리량을 얼마나 희생하는가? 우리는 청크 크기, SLO 설정, 컨텍스트 길이, 동시성 수준에 걸친 체계적인 측정 연구를 수행한다. 우리는 처리량에 대한 인간 세금이 컨텍스트 길이에 따라 실질적으로 증가하며 60-93% 범위에 이른다는 것을 발견한다. 64K 토큰 컨텍스트에서 TTFT SLO를 프로덕션 수준의 일반적인 설정으로 강화하면, 인간 비개입 기준선 대비 처리량의 상당 부분을 잃게 된다. 인간 세금은 동시성이 높을수록 더 크며, SGLang과 Sarathi-Serve 전반에서 질적으로 유사하다. 우리는 제약 없는 최적을 인간 비개입 서빙(human-less serving)이라 명명하고, 실제 워크로드에서 실용적임을 보여주는 프로토타입을 제공한다. 우리의 발견은 서빙 시스템이 모든 트래픽에 인간 세금을 묵묵히 균일하게 적용하기보다, 워크로드 클래스 인식 SLA 구성을 노출해야 한다고 주장한다.