통합 멀티모달 확산 대규모 언어 모델(diffusion large language models, dLLM)은 이미지 생성과 멀티모달 이해 모두를 위한 단일 아키텍처를 제공하지만, 이들의 반복적 디코딩은 수십에서 수백 번의 순전파(forward pass)를 필요로 한다. 기존의 소수 스텝(few-step) 증류(distillation) 기법들은 주로 이미지 생성이나 텍스트 생성 중 한쪽에만 초점을 맞추고 있어, 생성과 이해 성능을 모두 보존하면서 완전 이산형 멀티모달 dLLM을 단일한 효율적 학생(student) 모델로 압축하는 방법은 명확하지 않았다. 본 연구에서는 통합 멀티모달 dLLM의 추론 비용을 대폭 줄이면서도 강력한 생성 및 이해 능력을 유지하는 통합 2단계 증류 프레임워크인 Omni-Diffusion-Distill을 제안한다. Omni-Diffusion-Distill은 이산 토큰 공간에서 이미지와 텍스트 모두에 대해 생성과 이해의 증류를 정렬한다. 첫 번째 단계에서 학생 모델은 캐시된 교사(teacher) 궤적을 재생함으로써 디코딩 스텝을 건너뛰도록 학습되며, 두 번째 단계에서는 자체 롤아웃을 따른 중간 상태에서 학생 모델을 미세조정한다. 나아가 병렬 텍스트 디코딩 시 반복을 줄이는 쌍별 충돌 페널티(pairwise collision penalty)와, 이미지 생성에서 날카로워진 교사 분포에 피팅됨으로써 발생하는 엔트로피 붕괴를 방지하는 엔트로피 일치 가이던스(entropy-matched guidance)를 통해 통합 증류에서의 두 가지 성능 저하 원인을 개선한다. Omni-Diffusion-Distill은 멀티모달 dLLM에서 디코딩 효율성과 생성 및 이해 성능 간의 최고 수준(state-of-the-art) 트레이드오프를 달성하여, 이미지 생성을 128 디코딩 스텝에서 8스텝으로, 멀티모달 이해를 512스텝에서 64스텝으로 줄이고 18.2배 및 21.2배의 실제 경과 시간(wall-clock) 속도 향상을 이끌어낸다. 이러한 예산 내에서 텍스트-투-이미지 생성의 경우 GenEval 0.828점과 DPG-Bench 83.0점을 기록하며, 멀티모달 이해의 경우 MM-Vet에서 20.0점, COCO 캡셔닝에서 57.2점의 GPT 판정 점수를 달성한다(동일 스텝 기준 교사 모델의 28.4점 대비 2배).
현대의 비전-언어 모델(VLM)은 시각적 추론을 요구하는 광범위한 작업을 해결할 수 있다. 실제 시나리오에서 VLM에 바람직한 특성으로는 빠른 추론과 제어 가능한 생성(예: 출력이 원하는 형식을 따르도록 제약하는 것)이 포함된다. 그러나 LLaVA와 같은 기존 자기회귀(AR) VLM은 이러한 측면에서 어려움을 겪는다. 이산 디퓨전 모델(DM)은 유망한 대안을 제공하며, 병렬 디코딩을 통해 더 빠른 추론을 가능하게 하고, 텍스트 인필링(text-infilling)을 통한 제어 가능한 생성을 위해 양방향 문맥을 제공한다. 언어 전용 설정에서는 효과적이지만, 멀티모달 작업에서 DM의 잠재력은 충분히 탐구되지 않았다. 우리는 DM 기반으로 구축된 VLM 계열인 LaViDa를 제안한다. LaViDa는 DM에 비전 인코더를 장착하고 멀티모달 지시(instruction) 따르기를 위해 결합된 구성 요소를 공동으로 파인튜닝하여 구축한다. 마주친 과제를 해결하기 위해 LaViDa는 효과적인 학습을 위한 상보적 마스킹(complementary masking), 효율적인 추론을 위한 접두 문맥(prefix) KV 캐시, 고품질 샘플링을 위한 타임스텝 시프팅(timestep shifting)과 같은 새로운 기법을 통합한다. 실험 결과 LaViDa는 MMMU와 같은 멀티모달 벤치마크에서 AR VLM과 경쟁력 있거나 우수한 성능을 달성하면서, 유연한 속도-품질 트레이드오프, 제어 가능성, 양방향 추론 등 DM만의 고유한 이점을 제공한다는 것을 보여준다. COCO 캡셔닝에서 LaViDa는 1.92배 속도 향상과 함께 Open-LLaVa-Next-8B보다 CIDEr +4.1을 초과한다. 양방향 작업에서는 Constrained Poem Completion에서 +59% 개선을 달성한다. 이러한 결과는 LaViDa가 AR VLM의 강력한 대안임을 보여준다. 코드와 모델은 카메라 레디(camera-ready) 버전에서 공개될 예정이다.
대규모 멀티모달 모델의 최근 발전은 비전-언어 과제에서 눈부신 성과를 이끌었지만, 풍부하고 명시적으로 정렬된 청각 단서를 포함한 데이터셋의 부족으로 인해 포괄적인 옴니모달 이해는 여전히 충분히 탐구되지 않은 상태이다. 이 격차를 해소하기 위해, 우리는 시각 및 청각 의미론을 분리하도록 설계된 대규모 데이터셋인 AVDC(Audio-Visual Decoupled Captions)를 제시한다. 구체적으로, 기성 모델을 활용하여 영상에 세 가지 캡션—시각 전용(V), 오디오 전용(A), 오디오-시각 결합(AV)—을 자동으로 주석 처리하는 파이프라인을 제안한다. 이 분리된 구조는 각 모달리티 고유의 미묘한 특성과 복잡한 교차 모달 상호작용을 명시적으로 포착한다. 이를 바탕으로, 오디오-시각 추론을 촉진하기 위한 사고의 연쇄(Chain-of-Thought) 기반 질의응답 데이터셋인 AVDC-QA-CoT를 소개한다. 이러한 자원을 충분히 활용하기 위해, AVDC에 대한 옴니모달 캡션 생성 사전학습에 이어 AVDC-QA-CoT에 대한 지시 미세조정을 수행하는 2단계 학습 패러다임을 채택한다. 영상 캡션 생성, 오디오 중심 분석, 옴니모달 벤치마크를 아우르는 다양한 다운스트림 과제에 걸친 광범위한 실험을 통해 일관되고 유의미한 성능 향상이 확인되었으며, 이는 제안된 데이터셋과 학습 전략이 옴니모달 인식 발전에 기여함을 보여준다. 코드와 데이터셋은 https://radiant0726.github.io/AVDC-web/ 에서 공개된다.
마스크드 확산 언어 모델(DLM)에서 모델 로짓만으로는 텍스트-이미지 생성 및 다중모달(multimodal) 이해의 최적 토큰 생성 순서를 결정하기 어렵다는 문제를 규명하고, GRPO(Group Relative Policy Optimization)로 학습된 제어 블록을 도입해 생성 순서를 동적으로 최적화하는 방법을 제안한다. GenEval 벤치마크에서 4.08%, VLMEvalKit에서 4.85%의 상대적 성능 향상을 달성하며 텍스트-이미지 정렬과 다중모달 추론 모두에서 효과를 입증했다.
통합 멀티모달 모델(UMM)에서 이미지 이해 태스크를 학습하면 명시적 지도 없이도 생성 태스크의 동일 능력이 향상되는 전이 가능성(transferability)을 분석하며, 이 현상이 완전히 공유된 트랜스포머 백본과 통합 시각 인코더를 갖춘 아키텍처에서만 일관되게 나타남을 실증적으로 밝혔다. 생성을 직접 파인튜닝할 경우 분포 변화로 시각적 품질이 저하될 수 있는 반면, 대응하는 이해 태스크를 학습시켜 전이를 유도하면 계수(counting), 공간 관계, 텍스트 인식/생성 등 세 가지 능력에서 생성 품질 저하 없이 목표 능력을 향상시킬 수 있음을 검증하였다.
시청각 예술은 영화, 시각 예술, 무대 공연, 게임 디자인 등 다양한 창작 분야를 아우르며, 예술적 의미는 시각적·청각적·서사적 요소의 의도적 조합으로부터 발생한다(예: 폐쇄적 프레이밍을 통해 증폭되는 공포감, 또는 침묵과 길게 이어지는 클로즈업으로 전달되는 슬픔). 진정한 예술 이해는 무엇이 묘사되었는지를 인식하는 것을 넘어, 왜 특정한 창작적 선택을 통해 표현되었는지를 추론하는 것까지 포함한다. 멀티모달 대규모 언어 모델(MLLM)의 눈부신 발전에도 불구하고, 예술 이해의 이 핵심적 측면은 충분히 탐구되지 않았다. 기존 벤치마크들은 대부분 지각적 인식을 측정하는 데 그치며 창작적 의도에 대한 추론은 간과한다. 이러한 공백을 해소하기 위해 우리는 MLLM의 섬세한 예술 이해를 평가하기 위해 설계된 종합 벤치마크인 MuseBench를 소개한다. MuseBench는 영화 예술, 정적 시각 예술, 무대 공연 예술, 게임 아트에 걸친 4,016개의 문항으로 구성되며, 전문가 해설과 시각적 시연을 결합한 10K개 이상의 후보 비디오 에세이에서 추출되었다. 대규모의 개방형 예술 분석 특성을 포착하기 위해, 벤치마크는 단일 선택 및 가변 옵션 다중 선택 문항을 결합한다. 모든 문항은 숏컷 필터링, 적대적 오답 선택지, 전문가 검증을 결합한 4단계 반복 파이프라인을 통해 생성 및 정제되었다. 28개의 최신 MLLM에 대한 제로샷 평가 결과, 최고 성능 모델조차 정확도 48.29%에 그쳐 인간 전문가 성능인 87.18%에 크게 못 미치며, 현재 모델의 창작 도메인 전문성에 상당한 격차가 있음을 드러낸다.