PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23130v1cs.AI

추론 엔진에서 추론 제어 평면으로: vLLM, llm-d, 그리고 효율적 분산 LLM 서빙의 진화

From Inference Engine to Inference Control Plane: Connecting vLLM, llm-d, and the Evolution of Efficient Distributed LLM Serving

대규모 언어 모델(LLM) 추론은 엔진 단위 최적화 문제에서 재사용 가능한 상태, 단계 배치(phase placement), 이기종 가속기, 네트워킹, 오토스케일링, 신뢰성, 서비스 수준 목표(SLO)를 아우르는 분산 제어 문제로 진화하고 있다. 본 논문은 동료 검수 시스템 연구, 오픈소스 구현, 문서화된 프로덕션 사례 연구를 가로질러 이러한 전환을 연결한다. vLLM과 llm-d를 상보적 계층으로 다룬다. 모델 서빙 엔진은 PagedAttention, continuous batching, 커널, 양자화, 병렬 처리 등의 메커니즘으로 실행을 최적화하는 반면, 추론 제어 평면은 플릿 전체에 걸쳐 어디서, 언제, 어떤 정책 하에 실행이 이루어질지를 최적화할 수 있다. 기여는 새로운 벤치마크가 아니라 종합에 있으며, 보고된 모든 성능 및 배포 결과는 원 출처에 대한 귀속을 유지한다. 종합된 증거는 현대 추론에서 희소 자원이 순수 FLOPs만이 아니라 관리되는 상태, 배치(placement), 네트워크 이동, 신뢰성, 의사결정 품질 쪽으로 이동하고 있음을 시사한다. 우리는 엔드포인트만이 아니라 실행 가능한 실행 계획을 선택하는 Inference Execution Planner를 제안한다. 여기에는 집약(aggregated) 대 비집약(disaggregated) 토폴로지, KV 소스 및 전송 동작, 하드웨어 변형, 라우팅/입장(admission) 정책, 더 느린 스케일링 결정이 포함된다. 또한 출처별 벤치마크 지도(atlas), 병목 이동(bottleneck-migration) 분류체계, 실용적 배포 지침, SLO-goodput 기반 평가 프레임워크, 에이전트(agentic), 멀티모달, 이기종, 복원력(resilient) 추론에 대한 연구 질문을 제공한다.

arXiv:2607.09172v2cs.SE

세부 사항에 대한 어텐션: vLLM 설정 간 에너지, 성능, 정확도 트레이드오프 평가

Attention to Detail: Evaluating Energy, Performance, and Accuracy Trade-offs Across vLLM Configurations

대규모 언어 모델(LLM)은 소프트웨어가 개발되고 유지되는 방식을 재편하고 있다. LLM은 일반적으로 vLLM과 같은 추론 엔진을 통해 프로덕션 환경에 배포되며, 이러한 엔진은 사전학습된 고도로 설정 가능한 모델을 효율적으로 서빙할 수 있다. 기존 연구는 모델 아키텍처와 하드웨어 가속에 초점을 맞춰왔지만, 추론 엔진 설정이 에너지 소비, 성능, 출력 품질에 미치는 영향은 아직 충분히 이해되지 않은 상태이다. 본 논문에서는 세 가지 선택된 vLLM 설정 옵션인 어텐션 커널 유형, 접두 문맥 캐싱(prefix caching), 청크 단위 프리필(chunked prefill)에 대한 대규모 통제 연구를 제시한다. 5개의 오픈 가중치 LLM과 5가지 다양한 추론 태스크에 걸쳐 이러한 설정의 모든 조합을 평가하였으며, 총 9,000회 실행과 93,600건의 측정값을 수집하였다. 에너지 소비, 지연 시간, 정확도를 분석하고, 설정 옵션과 태스크 간의 주효과 및 상호작용 효과를 모두 검토하였다. 결과에 따르면, 연구된 설정 옵션은 에너지와 성능에 유의미한 영향을 미치며, 이는 주로 어텐션 유형과 접두 문맥 캐싱에 의해 주도된다. 반면 청크 단위 프리필은 기본 vLLM 서빙 설정 및 평가된 워크로드 하에서 제한적인 효과를 보인다. 이러한 효과는 모델 및 워크로드에 따라 크게 달라지며, 보편적으로 최적인 설정은 존재하지 않는다. 또한 모델 선택이 전반적인 트레이드오프를 지배하는 반면, 설정 튜닝은 파레토 프런티어를 따라 국소적 개선을 제공함을 보인다. 예상치 못하게도, 추론 옵션이 모델 정확도에도 영향을 미칠 수 있음을 확인하였다.

arXiv:2607.02119v1eess.AS

An Efficient vLLM-Based Inference Pipeline for Unified Audio Understanding and Generation

vLLM 기반의 음성 언어 모델(SpeechLM) 고처리량 추론 파이프라인을 제안하며, 다중 코드북 오디오 토큰의 지연 패턴 디인터리빙과 동기식 멀티-토큰 예측(MTP)을 자동회귀 디코딩 루프에 통합하고 GPU 내 음향 디코더를 직접 결합하여 엔드-투-엔드 파형 합성을 구현한다. 또한 Classifier-Free Guidance(CFG)의 조건부·비조건부 요청을 동일 연속 배치(continuous batch) 내에서 쌍으로 공동 스케줄링함으로써 CFG 적용 시에도 비CFG 처리량의 80%를 유지하는 효율적인 추론을 달성한다.

arXiv:2606.07362v1cs.LG

장벽 깨기: vLLM의 콜드 스타트 지연 시간 분석

Breaking the Ice: Analyzing Cold Start Latency in vLLM

확장 가능한 추론 서비스가 대중화됨에 따라, 추론 엔진의 콜드 스타트 지연 시간이 중요해지고 있습니다. 오늘날 vLLM은 많은 추론 워크로드에서 사실상 표준이 되는 추론 엔진으로 발전했습니다. 인기가 높음에도 불구하고, 그 복잡성과 빠른 발전으로 인해 시작 지연 시간에 대한 체계적인 연구는 없었습니다. V1 API와 torch.compile 도입과 같은 주요 아키텍처 혁신과 함께, 본 논문은 vLLM 시작 지연 시간에 대한 최초의 상세한 성능 특성 분석을 제시합니다. 우리는 시작 과정을 6가지 기본 단계로 분해하고, 이것이 주로 CPU 바운드임을 입증합니다. 각 단계는 모델 수준 및 시스템 수준 파라미터에 대해 일관되고 해석 가능한 스케일링 추세를 보여주어, 지연 시간 원인의 정밀한 규명을 가능하게 합니다. 이러한 통찰력을 바탕으로, 우리는 주어진 하드웨어 구성에 대해 vLLM 시작 지연 시간을 정확하게 예측하는 경량 분석 모델을 개발하여, 대규모 추론 환경에서의 리소스 계획에 실질적인 지침을 제공합니다. 모든 벤치마킹 데이터셋, 분석 도구 및 예측 스크립트는 https://github.com/upb-cn/vllm-startup-profiler에서 오픈 소스로 공개됩니다.