한국어 초록
잠재 확산 모델에서 변분 오토인코더(VAE)의 잠재 차원을 확장하는 것은 복원 품질의 상한을 끌어올리는 데 필수적이다. 그러나 명시적인 구조적 제약 없이 이러한 규제되지 않은 확장은 거칠고 조건이 나쁜 잠재 다양체를 쉽게 만들어, 생성 중에 생성된 잠재 변수가 다양체에서 벗어나는 문제(즉, 다양체 이탈 문제)를 일으킨다. 최근 연구는 외부 파운데이션 모델(예: DINOv2)을 위상적 정규화기로 사용하여 이 다양체를 매끄럽게 한다. 그러나 우리는 잠재 공간을 고정된 외부 사전 지식에 묶는 것이 본질적으로 일반화를 제한한다고 주장한다. 사전 학습 분포와 의미적 편향에 묶여 있어 분포 외 영역에서 충실한 시각적 세부 정보를 포착하지 못할 수 있기 때문이다. 저차원 잠재 변수가 자연스럽게 더 매끄럽고 생성에 적합한 다양체를 형성한다는 관찰에 기반하여, 우리는 내부 표현을 위상적 정규화기로 활용하는 이중 다양체 VAE(DM-VAE)를 제안한다. 구체적으로 DM-VAE는 고차원 복원 분기와 깨끗한 위상적 골격을 추출하는 저차원 분기를 짝지어 고차원 다양체를 이 매끄러운 부분공간에 고정한다. 이 프레임워크를 바탕으로, 학습 중 생성기의 중간 특징을 지도하는 위상적 표현 정렬(TRA)과, 추론 시 고주파 세부 정보를 보존하면서 구조적 성분을 유도하는 위상적 골격 기반 내부 가이던스(IG_TS)를 추가로 도입한다. ImageNet-1K(256x256)에서 파운데이션 모델을 사용하지 않는 DM-VAE는 최고 수준의 rFID 0.12와 생성 FID50K 1.28(CFG 없음) 및 1.20(CFG 사용)을 달성하며, DINOv2와 직교적으로 결합하면 1.11에 이른다.
원문 초록
In latent diffusion models, expanding the latent dimension of variational autoencoders (VAEs) is essential to push the upper bound of reconstruction quality. However, without explicit structural constraints, such unregularized expansion easily yields a rugged and ill-conditioned latent manifold, causing generated latents to drift off the manifold during generation (i.e., off-manifold problem). Recent works smooth this manifold by using external foundation models (e.g., DINOv2) as a topological regularizer. However, we argue that tying the latent space to frozen external priors inherently restricts generalization: bound by their pre-training distributions and semantic biases, they may fail to capture faithful visual details on out-of-distribution domains. Observing that low-dimensional latents naturally form a smoother, generation-friendly manifold, we propose dual-manifold VAE (DM-VAE) to leverage internal representations as a topological regularizer. Specifically, DM-VAE pairs a high-dimensional reconstructive branch with a low-dimensional branch that extracts a clean topological skeleton, anchoring the high-dimensional manifold to this smooth subspace. Building upon this framework, we further introduce topological representation alignment (TRA) to supervise intermediate generator features during training, and internal guidance with topological skeleton (IG_TS) to guide structural components while preserving high-frequency details at inference. On ImageNet-1K (256x256), our foundation-model-free DM-VAE achieves a state-of-the-art rFID of 0.12 and a generation FID50K of 1.28 (w/o CFG) and 1.20 (w/CFG), and further reaches 1.11 when orthogonally combined with DINOv2.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23964v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.