LatentUM: 잠재 공간 통합 모델을 통한 교차 모달 interleaved 추론의 잠재력 발휘
LatentUM: Unleashing the Potential of Interleaved Cross-Modal Reasoning via a Latent-Space Unified Model
한국어 초록
통합 모델(Unified Model, UM)은 이질적인 모달리티에 걸쳐 콘텐츠를 이해하고 생성할 수 있다는 점에서 기대를 모으고 있다. 단순히 시각 콘텐츠를 생성하는 것에 비해, UM을 interleaved 교차 모달 추론에 활용하는 것은 더욱 유망하고 가치가 크다. 예를 들어 밀도 높은 시각적 사고가 필요한 이해 문제를 해결하거나, 자기 성찰을 통해 시각 생성을 개선하거나, 단계별 행동 개입에 따라 물리 세계의 시각적 동역학을 모델링하는 경우가 이에 해당한다. 그러나 기존 UM은 이해와 생성을 위한 시각 표현이 서로 분리되어 있을 때 대개 픽셀 디코딩을 가교로 사용하는데, 이는 비효율적이며 계산 부담도 크다. 본 논문에서는 모든 모달리티를 공유된 의미적 잠재 공간에서 표현하여, 생성된 시각 상태에 대한 모델 내부 추론에서 픽셀 공간 매개를 제거한 새로운 통합 모델 LatentUM을 제안한다. LatentUM은 생성된 시각 토큰을 모델 자신이 직접 해석할 수 있게 함으로써 유연한 interleaved 교차 모달 추론과 생성을 가능하게 한다. 실험적으로 LatentUM은 Visual Spatial Planning 벤치마크에서 최고 성능을 달성하고, 자기 성찰을 통해 시각 생성의 한계를 끌어올리며, 공유된 의미적 잠재 공간에서 미래의 시각 상태를 예측함으로써 세계 모델링 능력을 보여 준다. 코드와 모델은 https://github.com/SJTU-DENG-Lab/LatentUM 에서 확인할 수 있다.
원문 초록
Unified models (UMs) hold promise for their ability to understand and generate content across heterogeneous modalities. Compared to merely generating visual content, the use of UMs for interleaved cross-modal reasoning is more promising and valuable, e.g., for solving understanding problems that require dense visual thinking, improving visual generation through self-reflection, or modeling visual dynamics of the physical world guided by stepwise action interventions. However, existing UMs typically rely on pixel decoding as a bridge when their visual representations for understanding and generation are disjoint, which is both ineffective and computationally cumbersome. In this paper, we introduce LatentUM, a novel unified model that represents all modalities within a shared semantic latent space, eliminating pixel-space mediation for model-internal reasoning over generated visual states. By making generated visual tokens directly interpretable to the model itself, LatentUM enables flexible interleaved cross-modal reasoning and generation. Empirically, LatentUM achieves state-of-the-art performance on the Visual Spatial Planning benchmark, pushes the limits of visual generation through self-reflection and demonstrates world modeling capability by predicting future visual states in the shared semantic latent space. Code and models are available at https://github.com/SJTU-DENG-Lab/LatentUM.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2604.02097v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.