SMetric: 균형 잡힌 세션 중심 스케줄링으로 에이전트 서빙을 위한 LLM 스케줄링 재고
SMetric: Rethink LLM Scheduling for Serving Agents with Balanced Session-centric Scheduling
에이전트가 LLM 요청을 발행하는 에이전틱 서빙 환경에서 기존 스케줄러들이 KV 캐시 재사용을 과도하게 우선시해 일부 인스턴스에 과부하가 걸리고 클러스터 TPS가 제한된다는 문제를 분석하여, 각 세션의 첫 번째 요청은 로드 밸런싱 중심으로, 후속 요청은 캐시 인식 방식으로 라우팅하는 세션 중심 스케줄링 기법 SMetric을 제안한다. SMetric은 기존 최신 스케줄러 대비 프리필-디코드 코로케이션 환경에서 클러스터 TPS를 10-16%, 분리(disaggregation) 환경에서 프리필 TPS를 2-34% 향상시키며 토큰당 지연 시간도 함께 개선한다.