PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.29094v1cs.LG

DiLaServe: 확산 언어 모델을 위한 높은 SLO 달성 서빙

DiLaServe: High SLO Attainment Serving for Diffusion Language Models

확산 언어 모델(DLM)을 서빙할 때 신뢰도 기반 디노이징의 속도-품질 트레이드오프, 변동 부하에 따른 병렬화 수준 결정, 근사 KV 캐싱의 비균일 비용 문제를 해결하기 위해 클러스터 수준 서빙 시스템 DiLaServe를 제안한다. DiLaServe는 SLO 인식 신뢰도 임계값 조정과 적응형 부하 제어, 품질 인식 최적화 기반 동적 클러스터 재구성을 통해 기존 대비 SLO 달성률을 최대 56.6 퍼센트포인트 향상시키고 정확도 하락 1% 미만으로 종단 간 지연 시간을 최대 46% 단축한다.