Omni-Diffusion-Distill: 통합 멀티모달 확산 대규모 언어 모델의 소수 스텝 증류
Omni-Diffusion-Distill: Few-Step Distillation of Unified Multimodal Diffusion Large Language Models
통합 멀티모달 확산 대규모 언어 모델(diffusion large language models, dLLM)은 이미지 생성과 멀티모달 이해 모두를 위한 단일 아키텍처를 제공하지만, 이들의 반복적 디코딩은 수십에서 수백 번의 순전파(forward pass)를 필요로 한다. 기존의 소수 스텝(few-step) 증류(distillation) 기법들은 주로 이미지 생성이나 텍스트 생성 중 한쪽에만 초점을 맞추고 있어, 생성과 이해 성능을 모두 보존하면서 완전 이산형 멀티모달 dLLM을 단일한 효율적 학생(student) 모델로 압축하는 방법은 명확하지 않았다. 본 연구에서는 통합 멀티모달 dLLM의 추론 비용을 대폭 줄이면서도 강력한 생성 및 이해 능력을 유지하는 통합 2단계 증류 프레임워크인 Omni-Diffusion-Distill을 제안한다. Omni-Diffusion-Distill은 이산 토큰 공간에서 이미지와 텍스트 모두에 대해 생성과 이해의 증류를 정렬한다. 첫 번째 단계에서 학생 모델은 캐시된 교사(teacher) 궤적을 재생함으로써 디코딩 스텝을 건너뛰도록 학습되며, 두 번째 단계에서는 자체 롤아웃을 따른 중간 상태에서 학생 모델을 미세조정한다. 나아가 병렬 텍스트 디코딩 시 반복을 줄이는 쌍별 충돌 페널티(pairwise collision penalty)와, 이미지 생성에서 날카로워진 교사 분포에 피팅됨으로써 발생하는 엔트로피 붕괴를 방지하는 엔트로피 일치 가이던스(entropy-matched guidance)를 통해 통합 증류에서의 두 가지 성능 저하 원인을 개선한다. Omni-Diffusion-Distill은 멀티모달 dLLM에서 디코딩 효율성과 생성 및 이해 성능 간의 최고 수준(state-of-the-art) 트레이드오프를 달성하여, 이미지 생성을 128 디코딩 스텝에서 8스텝으로, 멀티모달 이해를 512스텝에서 64스텝으로 줄이고 18.2배 및 21.2배의 실제 경과 시간(wall-clock) 속도 향상을 이끌어낸다. 이러한 예산 내에서 텍스트-투-이미지 생성의 경우 GenEval 0.828점과 DPG-Bench 83.0점을 기록하며, 멀티모달 이해의 경우 MM-Vet에서 20.0점, COCO 캡셔닝에서 57.2점의 GPT 판정 점수를 달성한다(동일 스텝 기준 교사 모델의 28.4점 대비 2배).