DiVid: 비디오 생성 모델의 차원별 다양성 붕괴 진단
DiVid: Diagnosing Dimension-Specific Diversity Collapse in Video Generation Models
괄목할 만한 발전에도 불구하고, 비디오 생성 모델은 동일한 프롬프트에서 반복적으로 샘플링할 때 매우 유사한 결과물을 생성하는 경우가 많아 창의적인 탐험(exploration)을 위한 유용성이 제한됩니다. 기존의 다양성 평가는 주로 전역적 스칼라 지표에 의존하여 비디오의 시공간 영역에서 다양성이 어느 부분에서 붕괴하는지를 모호하게 만듭니다. 본 논문에서는 비디오 생성 다양성을 의미(Semantic), 스타일(Style), 피사체(Subject), 장면(Scene), 모션(Motion), 카메라(Camera)의 6가지 해석 가능한 차원으로 분해하는 차원 수준의 진단 프레임워크인 DiVid를 소개합니다. 각 차원은 재현 가능한 컴퓨터 비전(CV) 파이프라인을 통해 측정되며, 잠재적인 트레이드오프를 검토하기 위해 품질 및 지시 충실도와 함께 분석됩니다. 대표적인 비디오 생성 모델들에 대한 체계적인 평가는 다양성이 매우 차원 특정적임을 보여줍니다. 즉, 전역적 다양성 점수가 높은 모델이라도 특정 요인, 특히 모션과 카메라 차원에서 여전히 붕괴를 보입니다. 이러한 순위는 충실하지 않은 생성 결과를 필터링한 후에도 유지되므로, 프롬프트를 벗어난 출력이 아니라 실제 능력 차이를 나타냅니다. 측정 외에도, 통제된 프롬프트 개입 실험을 통해 두 가지 근본적인 병목 현상을 규명했습니다. 개방형 프롬프트에서 모델이 지배적인 패턴으로 회귀하는 '기본 모드 수렴(default mode convergence)'과, 특히 시간적 요인에 대해 명시적으로 요청된 다양한 대안을 충실하게 구현하지 못하는 '구현 격차(realization gap)'입니다. 시간적 요인에 대한 더 큰 충실도 손실은 텍스트만으로 모션 및 카메라 변화를 제어하는 것의 어려움을 강조합니다. 따라서 DiVid는 다양성 연구의 초점을 다양성의 존재 여부 측정에서 다양성이 어디서, 왜 붕괴하는지 진단하는 것으로 전환하며, 차원 인식 학습(training) 목표 및 제어 신호에 대한 실행 가능한 방향을 제공합니다. 다양하고 제어 가능한 비디오 생성에 관한 향후 연구를 촉진하기 위해 본 프레임워크는 공개될 예정입니다.