PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23130v1cs.AI

추론 엔진에서 추론 제어 평면으로: vLLM, llm-d, 그리고 효율적 분산 LLM 서빙의 진화

From Inference Engine to Inference Control Plane: Connecting vLLM, llm-d, and the Evolution of Efficient Distributed LLM Serving

대규모 언어 모델(LLM) 추론은 엔진 단위 최적화 문제에서 재사용 가능한 상태, 단계 배치(phase placement), 이기종 가속기, 네트워킹, 오토스케일링, 신뢰성, 서비스 수준 목표(SLO)를 아우르는 분산 제어 문제로 진화하고 있다. 본 논문은 동료 검수 시스템 연구, 오픈소스 구현, 문서화된 프로덕션 사례 연구를 가로질러 이러한 전환을 연결한다. vLLM과 llm-d를 상보적 계층으로 다룬다. 모델 서빙 엔진은 PagedAttention, continuous batching, 커널, 양자화, 병렬 처리 등의 메커니즘으로 실행을 최적화하는 반면, 추론 제어 평면은 플릿 전체에 걸쳐 어디서, 언제, 어떤 정책 하에 실행이 이루어질지를 최적화할 수 있다. 기여는 새로운 벤치마크가 아니라 종합에 있으며, 보고된 모든 성능 및 배포 결과는 원 출처에 대한 귀속을 유지한다. 종합된 증거는 현대 추론에서 희소 자원이 순수 FLOPs만이 아니라 관리되는 상태, 배치(placement), 네트워크 이동, 신뢰성, 의사결정 품질 쪽으로 이동하고 있음을 시사한다. 우리는 엔드포인트만이 아니라 실행 가능한 실행 계획을 선택하는 Inference Execution Planner를 제안한다. 여기에는 집약(aggregated) 대 비집약(disaggregated) 토폴로지, KV 소스 및 전송 동작, 하드웨어 변형, 라우팅/입장(admission) 정책, 더 느린 스케일링 결정이 포함된다. 또한 출처별 벤치마크 지도(atlas), 병목 이동(bottleneck-migration) 분류체계, 실용적 배포 지침, SLO-goodput 기반 평가 프레임워크, 에이전트(agentic), 멀티모달, 이기종, 복원력(resilient) 추론에 대한 연구 질문을 제공한다.

arXiv:2607.08930v1cs.LG

BlockServe: 고처리량 확산 LLM 서빙을 위한 블록 단위 연속 배치

BlockServe: Block-Grained Continuous Batching for High-Throughput Diffusion LLM Serving

확산 대규모 언어 모델(dLLM)의 효율적인 서빙은 수렴 이질성(convergence heterogeneity)으로 인해 저해된다: 여러 요청을 배치 처리할 때 서로 다른 시퀀스가 상이한 속도로 수렴하여, 빠른 요청이 느린 지연 요청(straggler) 뒤에서 대기하게 되고 연산 버블(compute bubble)과 꼬리 지연(tail latency)이 발생한다. 우리는 BlockServe를 제시한다. 이는 블록 경계에서 완료된 요청을 즉시 축출하는 블록 단위 스케줄링과, 수집-분산 인덱싱(gather-scatter indexing)을 통해 이종 배치에 듀얼 캐시 및 병렬 디코딩을 확장하는 혼합 상태 실행(mixed-state execution)을 통합한 연속 배치 프레임워크이다. 나아가, 연산 인식 입력 제어기(compute-aware admission controller)가 토큰 예산 기반 보충(token-budgeted refill)을 통해 실효 배치 용량을 확대한다. Dream 및 LLaDA에 대해 5개 벤치마크에서 BlockServe는 유사한 생성 품질을 유지하면서 Fast-dLLM 대비 1.9–10.6배의 처리량을 달성하며, 블록 단위 스케줄링을 고처리량 오프라인 dLLM 추론의 토대로 확립한다.