AlignMorph: 명시적 의미 수송을 통한 튜닝 없는 디퓨전 이미지 모핑
AlignMorph: Tuning-Free Diffusion Image Morphing via Explicit Semantic Transport
한국어 초록
이미지 모핑(image morphing)은 두 입력 이미지 간에 매끄럽고 의미론적으로 일관된 전환을 생성하는 것을 목표로 합니다. 기존의 디퓨전(diffusion) 기반 모핑 방식은 쌍별(per-pair)로 비용이 많이 드는 최적화(optimization)를 요구하거나 암시적 공간 정렬에 의존하므로, 레이아웃 차이가 클 때 쉽게 실패합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 수송 후 노이즈 제거(transport-then-denoise) 원칙을 따르는 새로운 튜닝 없는 디퓨전 프레임워크인 AlignMorph를 제안합니다. 구조적 얽힘(structural entanglement)을 방지하기 위해 기하학적 정렬을 생성적 노이즈 제거(generative denoising)로부터 명시적으로 분리합니다. 제안하는 프레임워크는 두 가지 핵심 구성 요소로 이루어집니다. (1) 엔트로피 최적 수송(entropic optimal transport)과 신뢰도 인식 잠재 워핑(latent warping)을 통해 디퓨전과 호환 가능한 시맨틱 정렬을 달성하는 글로벌 시맨틱 수송(Global Semantic Transport), 그리고 (2) 노이즈 제거 전반에 걸쳐 일관된 공간 좌표를 유지하기 위해 대칭적 2단계 어텐션(attention) 핸드오프를 사용하는 좌표 정렬 생성(Coordinate-Aligned Generation)입니다. AlignMorph는 일체의 튜닝 없이도 고스팅(ghosting) 현상을 효과적으로 제거하며, 모핑 벤치마크(benchmark)에서 우수한 구조적 일관성과 시간적 매끄러움을 달성합니다. 코드는 https://github.com/51xOne/Alignmorph 에서 이용할 수 있습니다.
원문 초록
Image morphing aims to produce a smooth and semantically consistent transition between two input images. Existing diffusion-based morphing methods either require expensive per-pair optimization or rely on implicit spatial alignment, which easily fails under large layout discrepancies. To address these limitations, we propose AlignMorph, a novel tuning-free diffusion framework guided by the principle of transport-then-denoise. We explicitly decouple geometric alignment from generative denoising to avoid structural entanglement. Our framework consists of two core components. (1) Global Semantic Transport, which achieves diffusion-compatible semantic alignment via entropic optimal transport and reliability-aware latent warping; and (2) Coordinate-Aligned Generation, which uses a symmetric bi-phase attention handoff to maintain consistent spatial coordinates throughout denoising. Without any tuning, AlignMorph effectively eliminates ghosting and achieves superior structural coherence and temporal smoothness on morphing benchmarks. Code is available at https://github.com/51xOne/Alignmorph.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.24330v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
확산 모델의 생성 환경 밝히기: 스펙트럼 유도 품질-다양성 확산 프레임워크
Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework
디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models)은 분자 설계부터 고해상도 이미지 합성에 이르기까지 다양한 분야에서 강력한 생성 사전 확률(generative prior)로 부상했습니다. 그러나 표준 확산 샘플링은 본질적으로 높은 가능도(likelihood) 영역에 편향되어 있어 출력의 다양성을 제한하는 경우가 많습니다. 많은 분야에서 단일한 고가능도 샘플만으로는 충분하지 않으며, 고성능 솔루션의 다양한 포트폴리오가 요구되므로 모델의 완전한 표현 범위를 밝혀내는 방법이 필요합니다. 본 논문에서는 품질-다양성(Quality-Diversity, QD) 최적화와 확산 모델을 통합함으로써 다양하고 성능이 뛰어난 출력을 발견할 수 있음을 보여줍니다. 먼저, 모델의 잠재 노이즈와 조건부 임베딩(embedding)을 직접 최적화하고 임베딩 모델을 활용하여 다양성을 정량화함으로써 QD를 확산 모델에 적용하는 프레임워크인 품질-다양성 확산(Quality-Diversity Diffusion)을 제안합니다. 둘째로, 모델의 입력-활성화 야코비안(Jacobian)의 주 특이 벡터를 분석하여 최대 의미론적 민감도 방향으로 탐색을 유도하는 새로운 h-공간 스펙트럼 변이(Spectral Mutation) 연산자를 도입합니다. 텍스트-투-이미지 생성에서 통합 접근 방식인 스펙트럼 유도 품질-다양성 확산(Spectral-Guided Quality-Diversity Diffusion)을 평가한 결과, 12개의 베이스라인 대비 우리 방법이 일관되게 가장 낮은 FID 점수를 달성하여 이미지 품질과 다양성 사이의 뛰어난 균형을 입증했습니다.
롱 스킵 연결 없이 DiT 모델이 표현 학습자로서 성능이 저하되는 이유
Why DiT Models Underperform as Representation Learners without Long Skip Connections
디퓨전 특징(diffusion feature), 즉 디퓨전 모델 백본에서 추출된 중간 활성화는 생성과 시각적 이해(판별)를 통합하기 위한 유망한 접근법으로 부상했습니다. 디퓨전 백본이 디퓨전 트랜스포머(DiT)로 발전했음에도 불구하고, 기존 문헌에서는 DiT 모델이 더 강력한 생성 능력에도 불구하고 더 약한 특징을 산출하는 경향이 있음이 발견되었습니다. 이는 우수한 생성-이해 통합에 위협이 됩니다. 본 연구에서는 제어된 처음부터의 학습(from-scratch training)을 통해 롱 스킵 연결(LSC)이 특징 품질에 영향을 미침을 보여줍니다. 즉, LSC를 갖춘 DiT는 더 우수한 특징을 생성할 수 있습니다. 나아가 상세한 진단을 통해 이러한 효과를 유발하는 메커니즘을 밝혀냅니다. 구체적으로, 디퓨전 백본의 입력에는 잠재 이미지(latent image)와 디퓨전 노이즈가 모두 포함되며, 여기서 디퓨전 노이즈는 노이즈 형태로 나타나지만 실제로는 디퓨전 궤적의 정보를 반영합니다. 노이즈 변수($v$ 또는 $ε$)의 최종 예측을 수행하기 위해 디퓨전 백본에는 두 신호가 모두 필요합니다. 그러나 메인 백본을 통해 두 신호를 모두 전달하는 것은 사실상 이미지 신호를 노이즈로 "오염"시켜 특징 품질 저하로 이어집니다. 이에 비해 LSC는 디퓨전 노이즈를 필요한 곳으로 직접 지름길로 연결(shortcut)하여 메인 백본에 훨씬 약한 노이즈 신호만 남기므로 특징 품질을 향상시킬 수 있습니다. 더 넓은 영향력을 언급하자면, 이는 LSC가 단순한 트릭이 아니라 디퓨전 목표와 밀접하게 관련되어 있음을 밝혀냅니다. 코드는 https://github.com/Darkbblue/dit-lsc 에서 확인할 수 있습니다.
우리가 감정 편집에 대해 이야기할 때 말하는 것
What We Talk About When We Talk About Emotion Editing
감정 기반 이미지 편집(Emotional image editing)은 장면의 핵심 콘텐츠를 보존하면서 장면이 전달하는 감정을 변경하는 것을 목표로 합니다. 동일한 장면이라도 서로 다른 감정적 해석을 뒷받침할 수 있으므로, 감정적 목표를 달성하려면 원본 맥락에 기반한 시각적 변화가 필요합니다. 감정 반응을 사건 평가(event appraisal)와 연결하는 구성 요소 과정 모델(Component Process Model)에서 영감을 받아, 본 연구에서는 이러한 편집 결정을 위한 참조로서 신경 표상(neural representation)을 조사합니다. fMRI 인코딩 모델인 TRIBE v2를 사용하여 8개 감정 범주에 걸친 400개의 소스-타깃 쌍을 분석합니다. EmoEdit, EmoEditor, AffectDelta의 은닉 상태(hidden state)는 정서 관련 영역보다 시각 영역에서 예측된 타깃 이미지 반응과 더 강하게 일치합니다. 이러한 불균형에 착안하여, 콘텐츠 참조로서의 소스 시각 반응과 편집 방향으로서의 예측된 정서 반응 변화를 결합한 ROI-ReFT를 제안합니다. 상호작용하는 두 브랜치는 생성 과정 전반에 걸쳐 고정된(frozen) 편집기를 안내하기 위해 두 조건을 모두 사용합니다. 생성된 이미지의 예측된 반응은 정서적 변화를 감독하고 시각적 드리프트(visual drift)를 제한합니다. 사후 선정된 400개의 편집 요청 서브셋에서, ROI-ReFT는 91.75%의 타깃 감정 정확도와 83.25%의 결합 성공률(joint success)을 달성하여 동일한 결과물이 타깃 감정과 일치하는 동시에 소스-출력 DINO-I 최소 0.80에 도달했습니다. 코드와 데이터셋은 공개될 예정입니다.
InstantFusion: 이종 이미지 생성기를 위한 공유 잠재 인터페이스
InstantFusion: A Shared Latent Interface for Heterogeneous Image Generators
디퓨전/플로우(diffusion/flow) 모델은 이미지 생성의 사실상 표준 패러다임으로 자리 잡으며, 점차 이종의(heterogeneous) 아키텍처와 표현을 갖춘 다양한 현대적 생성기 계열을 탄생시켰습니다. 뛰어난 생성 능력에도 불구하고, 잠재 표현(latent representation)의 교차 모델 정렬(cross-model alignment)과 기반이 되는 디노이징 동역학(denoising dynamics)의 일관성은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 흥미로운 교차 모델 호환성을 발견했습니다. 독립적으로 학습된 생성기들이 유사한 잠재 공간 구성을 보이며, 정렬되지 않은 모델 간에 중간 상태를 직접 전달하더라도 대략적인 시각적 콘텐츠는 여전히 보존될 수 있음을 확인했습니다. 이러한 관찰에 착안하여, 우리는 이종 이미지 생성기 간의 디노이징 궤적을 연결하는 경량 공유 잠재 인터페이스인 InstantFusion을 제안합니다. 구체적으로, 유연한 교차 모델 상태 변환을 가능하게 하기 위해 모델별 잠재 오토인코더(LAE)를 도입하여 서로 다른 생성기의 중간 상태를 공유 잠재 공간으로 투영한 뒤 이를 타깃 생성기의 잠재 공간으로 디코딩합니다. 이 공유 공간은 두 가지 상호보완적인 목표를 통해 제약됩니다. 즉, 일치하는 노이즈 수준에서 동일한 이미지로부터 파생된 중간 상태를 정렬하는 것과 이에 대응하는 로컬 디노이징 속도(velocity)를 동기화하는 것입니다. 학습이 완료되면 InstantFusion은 모든 모델 쌍에 대한 전용 매핑을 필요로 하지 않고도 고정된(frozen) 생성기 전반에서 디노이징이 매끄럽게 전환되도록 합니다. InstantFusion의 범용성은 가속화, 다중 선호도 조합, 교차 아키텍처 온-정책(on-policy) 지식 증류(distillation), 교차 모델 조합 전반에서 입증되었으며, 이러한 다양한 환경에서 경쟁력 있는 성능을 달성했습니다.
단일 단계 생성 모델에서의 시간으로서의 깊이
Depth as Time in One-Step Generative Models
증류(distillation)나 학습된 플로우 맵(flow map)을 통해 디퓨전의 다단계 궤적을 압축하는 최근의 단일 단계(one-step) 생성 모델 흐름은 고품질 이미지를 생성할 수 있는 변곡점에 도달했습니다. 본 논문에서는 이러한 발전에서 이어지는 자연스러운 질문을 던집니다. 생성이 단일 순전파(forward pass)로 압축될 때, 다단계 디퓨전의 노이즈 제거(denoising) 궤적에는 어떤 일이 일어날까요? 저자들은 '시간으로서의 깊이(depth as time)'라고 부르는 실증적 관찰을 제시합니다. 즉, 다단계 디퓨전이 샘플링 단계 전반에 걸쳐 수행하는 노이즈 제거 연산이 단일 순전파의 깊이에 걸쳐 펼쳐지는 것으로 보이며, 모델 자체의 출력 헤드로 중간 레이어를 디코딩함으로써 이를 복원할 수 있다는 점입니다. 가장 흥미롭게도, 이러한 깊이 방향(depthwise) 연산은 플로우 맵이 해결하도록 학습된 수송 작업(transport task)에 따라 달라진다는 것을 보여줍니다. 가장 놀라운 사례는 MeanFlow로, 더 짧은 수송 구간을 프로빙하면 단일 네트워크 평가 내에서 노이즈 제거와 노이즈 재추가(renoising)가 모두 일어남이 드러납니다. 대조적으로, drifting 모델과 같이 시간에 인덱싱된 수송 작업 없이 학습된 생성기는 동일한 깊이 방향 노이즈 제거를 보이지 않습니다. 결과적으로, 저자들은 깊이 방향 노이즈 제거 현상을 보이는 모델이 레이어별 연산 전반에서 더 압축 가능하다는 것을 보여줍니다. 즉, MeanFlow SiT-L/2 모델은 매개변수 면에서 16.6배 압축되어 단일 시간 조건부 블록으로 축소될 수 있습니다. 저자들은 이러한 노이즈 제거 후 재노이즈화(denoise-then-renoise) 동작에 대한 설명을 제공하며, 레이어별 연산을 명시적으로 플로우로 취급할 때 단일 시간 조건부 블록이 레이어 전반에 걸쳐 노이즈를 제거하도록 학습되어 MeanFlow SiT-L/2 모델의 매개변수를 16.6배 압축할 수 있음을 보여줍니다. 종합하면, 이러한 결과는 디퓨전의 시간적 연산이 단일 단계 생성에 의해 사라지는 것이 아니라 네트워크 깊이에 걸쳐 재구성됨을 시사합니다.
TerraVis: MLLM 워크플로우를 통한 텍스트-투-이미지 생성의 실세계 기반 시각적 일관성 평가를 향하여
TerraVis: Towards Evaluation of World-Grounded Visual Consistency in Text-to-Image Generation via MLLM Workflows
최근 텍스트-투-이미지(text-to-image) 모델은 사실성(photorealism), 심미성, 텍스트-이미지 정렬(alignment) 측면에서 상당한 발전을 이루었습니다. 그러나 시각적으로 매력적인 이미지라 하더라도 기형적인 객체 구조, 불가능한 해부학적 형태, 물리적으로 타당하지 않은 상호작용, 일관되지 않은 공간 관계를 보이며 실세계의 개연성(plausibility)을 위반할 수 있습니다. 이러한 오류는 기존의 충실도(fidelity), 심미성, 선호도 또는 정렬 지표로는 잘 포착되지 않습니다. 이러한 격차를 해결하기 위해, 본 연구에서는 생성된 이미지의 실세계 기반(world-grounded) 시각적 일관성을 평가하는 프레임워크인 TerraVis를 소개합니다. TerraVis는 객체, 상호작용 및 장면 수준의 오류를 포괄하는 실세계 일관성 위반에 대한 체계적인 분류 체계(taxonomy)를 정의하며, 이를 식별하고 정량화하기 위해 다단계 평가 프레임워크를 사용합니다. 이미지가 주어지면, TerraVis는 먼저 멀티모달 대규모 언어 모델(MLLM)을 사용하여 평가 적격성을 판단한 다음, 분류 체계에 정의된 18가지 유형에 걸쳐 위반 사항을 탐지하고 이를 경미(minor) 또는 중대(major)로 분류하여 전반적인 실세계 일관성 점수를 도출합니다. 널리 사용되는 두 가지 벤치마크에서 다양한 오픈소스 및 상용 텍스트-투-이미지 모델을 대상으로 평가한 결과, TerraVis는 기존 지표 중 실세계 일관성에 대한 인간의 판단과 가장 강력한 상관관계를 달성했습니다. 또한 벤치마크 결과는 기존 지표에서 우수한 성능을 보이는 모델이라도 상당한 실세계 일관성 오류를 나타낼 수 있음을 보여줍니다. 이러한 결과는 실세계 일관성이 상호보완적인 평가 차원임을 강조하며, TerraVis가 이러한 오류의 체계적인 정량화, 진단 및 비교를 가능하게 함을 입증합니다. 본 연구의 코드는 https://github.com/ShyFoo/TerraVis 에서 공개되어 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.