DiLaServe: 확산 언어 모델을 위한 높은 SLO 달성 서빙
DiLaServe: High SLO Attainment Serving for Diffusion Language Models
확산 언어 모델(DLM)을 서빙할 때 신뢰도 기반 디노이징의 속도-품질 트레이드오프, 변동 부하에 따른 병렬화 수준 결정, 근사 KV 캐싱의 비균일 비용 문제를 해결하기 위해 클러스터 수준 서빙 시스템 DiLaServe를 제안한다. DiLaServe는 SLO 인식 신뢰도 임계값 조정과 적응형 부하 제어, 품질 인식 최적화 기반 동적 클러스터 재구성을 통해 기존 대비 SLO 달성률을 최대 56.6 퍼센트포인트 향상시키고 정확도 하락 1% 미만으로 종단 간 지연 시간을 최대 46% 단축한다.