시각적 생성 모델에서 구성적 일반화를 이끄는 요인은 무엇인가? 연속적 학습 목표의 중요성
What Drives Compositional Generalization in Visual Generative Models? The Importance of Continuous Training Objectives
알려진 개념들의 새로운 조합을 생성하는 능력인 구성적 일반화(compositional generalization)는 시각적 생성 모델의 핵심 요소입니다. 그러나 이를 가능하게 하거나 저해하는 메커니즘은 아직 완전히 이해되지 않았습니다. 본 연구에서는 이미지 및 비디오 생성에서 구성적 일반화를 결정적으로 좌우하는 설계 선택에 대해 체계적인 연구를 수행합니다. 독립적인 설계 축들을 분리하여 분석함으로써, 구성적 성공과 밀접하게 연관된 두 가지 핵심 요인을 식별했습니다: (i) 학습(training) 목표가 이산형 분포 또는 연속형 분포에서 동작하는지 여부, 그리고 (ii) 학습 중 구성 요소들에 대한 조건부(conditioning) 정보의 완전성입니다. 또한 보조적인 연속형 잠재 목표(auxiliary continuous latent objective)를 통해 이산 손실(loss)을 완화하면 MaskGIT과 같은 이산 모델에서 구성적 성능을 부분적으로 회복할 수 있음을 보여줍니다. 다양한 구성적 작업과 월드 모델(world model) 및 대규모 언어 모델(LLM)에서의 예비적 증거를 통해 뒷받침되는 본 연구의 결과는, 구성적 일반화를 위해 연속적 목표로 전환해야 할 필요성을 제시합니다.