PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.22327v3cs.AI

LLM 서빙을 위한 기하학 인지 온라인 스케줄링: 이론적 경계에서 시스템 구현까지

Geometry-Aware Online Scheduling for LLM Serving: From Theoretical Bound to System Practice

대화형 대규모 언어 모델(LLM) 서빙이 급격히 증가함에 따라 동적 키-값(KV) 캐시 풋프린트의 효율적인 관리가 추론 성능에 점점 더 중요해지고 있습니다. 최신 추론 시스템은 최단 작업 우선(Shortest Job First)과 같은 시간 중심의 스케줄링 휴리스틱에 압도적으로 의존하고 있습니다. 그러나 이러한 방식의 고전적 보장은 전통적인 스케줄링 모델링에 기반을 두고 있어, LLM 추론 메커니즘 특유의 고도로 동적인 2차원 시공간 기하학적 증가를 포착하지 못합니다. 이를 해결하기 위해 본 논문에서는 최소 볼륨 우선(Smallest Volume First, SVF) 알고리즘과 그 고효율 변형인 1-bit SVF를 도입하여 기하학 인지 온라인 스케줄링을 제안합니다. 새로운 볼륨 인증서(volume-certificate) 증명을 통해, 고동시성 LLM 서빙 환경에서 SVF의 최악 조건 근사비가 \textbf{3}에 근접함을 규명하였으며, 이는 기존 최선의 상수인 48을 대폭 개선한 결과입니다. 이러한 핵심적 돌파구를 바탕으로, 다양한 트래픽 시나리오와 정보 가용성에 걸쳐 알고리즘을 분석하는 포괄적인 이론적 분류 체계를 완성했습니다. 시스템 구현 측면에서는 본 접근법을 vLLM의 플러그 앤 플레이 계층으로 매끄럽게 통합했습니다. Llama-3.1 모델을 대상으로 한 광범위한 평가는 종합적인 성능 향상을 입증합니다. SVF는 평균 지연 시간과 꼬리 지연 시간(tail latency)을 모두 크게 단축하며, 1-bit SVF는 단 1비트의 정보만으로도 경쟁력 있는 처리량과 지연 시간을 달성합니다. 본 연구는 최신 LLM 배포 환경에서 메모리 제약적 스케줄링 문제를 해결하기 위한 이론적으로 건실하고 실증적으로 검증된 접근법을 제시합니다. 향후 연구를 촉진하기 위해 코드는 https://github.com/Li-Beverly-Kong/Geometry-Aware-Online-Scheduling.git 에 공개되어 있습니다.