arXiv:2609.28083v1 cs.CV

ZoomDiff: 듀얼 카메라의 부드러운 줌을 위한 고충실도 확산 모델

ZoomDiff: A High-Fidelity Diffusion Model for Dual-Camera Smooth Zooming

Jiayi Zhang, Renlong Wu, Yukang Ding, Sibin Deng, Wangmeng Zuo

제출 2026-09-24

한국어 초록

듀얼 카메라 간의 디지털 줌 전환은 기하학적 구조와 색상 일관성에서 눈에 띄는 불연속성을 자주 드러내어 사용자 경험을 저하시킵니다. 최근의 듀얼 카메라 부드러운 줌(dual-camera smooth zoom, DCSZ) 방법들은 DCSZ 데이터에 프레임 보간(frame interpolation, FI) 모델을 미세조정(fine-tuning)하여 이를 완화하고자 하지만, 큰 시점 간 시차(cross-view disparities)와 복잡한 기하학적 변환으로 인해 어려움을 겪습니다. 확산 모델(diffusion model)의 생성적 사전확률(generative prior)이 이 문제를 해결하는 데 적합하다는 점을 고려하여, 본 연구에서는 이를 DCSZ에 적용하는 방안을 탐색합니다. 그러나 기존의 확산 기반 FI 모델을 단순 적용하는 것은 불충분한 조건부 안내(conditional guidance), VAE 인코딩 중의 고주파 정보 손실(loss), 부적절한 시간적 일관성으로 인해 여전히 낮은 충실도의 전환을 생성합니다. 이를 해결하기 위해, 잠재 공간과 픽셀 공간 모두에서 듀얼 카메라 입력을 활용하여 사실적인 전환을 제공하는 고충실도 확산 모델인 ZoomDiff를 제안합니다. 구체적으로, 먼저 기하학적 일관성을 개선하기 위해 다단계 디노이징(denoising) 과정에서 듀얼 이미지 조건부 안내를 강화합니다. 그런 다음 고주파 세부 정보를 복원하기 위해 VAE 인코더의 플로우 정렬(flow-aligned) 다중 스케일 특징을 VAE 디코더에 주입하며, 이때 더욱 매끄러운 전환을 생성하기 위한 플로우 유도 시간적 일관성 감독(supervision)을 도입합니다. 합성 데이터셋과 실제 데이터셋 모두에 대한 광범위한 실험을 통해 ZoomDiff가 정량적 및 정성적 측면에서 최첨단(state-of-the-art) 방법들을 능가함을 입증합니다. 프로젝트 페이지: https://jiayi-hit.github.io/ZoomDiff.github.io/.

원문 초록

Digital zoom transitions between dual cameras often exhibit conspicuous discontinuities in geometric structure and chromatic consistency, degrading the user experience. While recent dual-camera smooth zoom (DCSZ) methods attempt to mitigate this by fine-tuning frame interpolation (FI) models on DCSZ data, they struggle with the large cross-view disparities and complex geometric transformations. Considering that the generative prior of diffusion models is suitable for addressing this problem, we explore their application to DCSZ. However, naively applying existing diffusion-based FI models still yields low-fidelity transitions due to insufficient conditional guidance, high-frequency information loss during VAE encoding, as well as inadequate temporal consistency. To address this, we propose ZoomDiff, a high-fidelity diffusion model that leverages dual-camera inputs in both latent and pixel spaces for photo-realistic transitions. Specifically, we first strengthen dual-image conditional guidance during the multi-step denoising process to improve geometric consistency. Then we inject flow-aligned multi-scale features from the VAE encoder into the VAE decoder to recover high-frequency details, where flow-guided temporal consistency supervision are introduced to produce more smooth transitions. Extensive experiments on both synthetic and real-world datasets demonstrate that ZoomDiff outperforms state-of-the-art methods quantitatively and qualitatively. Project page: https://jiayi-hit.github.io/ZoomDiff.github.io/.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.28083v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24330v1cs.CV공통 태그 Image Generation, Denoising, Image-to-Image Translation

AlignMorph: 명시적 의미 수송을 통한 튜닝 없는 디퓨전 이미지 모핑

AlignMorph: Tuning-Free Diffusion Image Morphing via Explicit Semantic Transport

이미지 모핑(image morphing)은 두 입력 이미지 간에 매끄럽고 의미론적으로 일관된 전환을 생성하는 것을 목표로 합니다. 기존의 디퓨전(diffusion) 기반 모핑 방식은 쌍별(per-pair)로 비용이 많이 드는 최적화(optimization)를 요구하거나 암시적 공간 정렬에 의존하므로, 레이아웃 차이가 클 때 쉽게 실패합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 수송 후 노이즈 제거(transport-then-denoise) 원칙을 따르는 새로운 튜닝 없는 디퓨전 프레임워크인 AlignMorph를 제안합니다. 구조적 얽힘(structural entanglement)을 방지하기 위해 기하학적 정렬을 생성적 노이즈 제거(generative denoising)로부터 명시적으로 분리합니다. 제안하는 프레임워크는 두 가지 핵심 구성 요소로 이루어집니다. (1) 엔트로피 최적 수송(entropic optimal transport)과 신뢰도 인식 잠재 워핑(latent warping)을 통해 디퓨전과 호환 가능한 시맨틱 정렬을 달성하는 글로벌 시맨틱 수송(Global Semantic Transport), 그리고 (2) 노이즈 제거 전반에 걸쳐 일관된 공간 좌표를 유지하기 위해 대칭적 2단계 어텐션(attention) 핸드오프를 사용하는 좌표 정렬 생성(Coordinate-Aligned Generation)입니다. AlignMorph는 일체의 튜닝 없이도 고스팅(ghosting) 현상을 효과적으로 제거하며, 모핑 벤치마크(benchmark)에서 우수한 구조적 일관성과 시간적 매끄러움을 달성합니다. 코드는 https://github.com/51xOne/Alignmorph 에서 이용할 수 있습니다.

arXiv:2609.14856v3cs.CV공통 태그 Image Generation, Denoising

RAIN: 시맨틱 워터마크 추출을 위한 영역 인식 역전 네트워크

RAIN: Region-Aware Inversion Network for Semantic Watermark Extraction

확산 모델을 위한 시맨틱 워터마크는 시각적 품질을 보존하면서 생성 과정에 소유권 정보를 삽입하지만, 전통적으로 Gaussian-Shading 추출은 초기 노이즈를 복구하기 위해 다단계 확산 역전(multi-step diffusion inversion)을 필요로 합니다. 최근의 1단계(one-step) 방식들은 이러한 비용을 크게 줄일 수 있음을 보여줍니다. 본 연구에서는 확장된 플로우 매칭(extended flow matching)과 조건부 회귀(conditional regression)를 통해 이 문제를 다룹니다. 핵심 관찰은 높은 신호 대 잡음비(high-SNR) 이미지 종점 근처에서 고 SNR 영역의 확장된 플로우 매칭 첫 단계 출력으로 주어지는 유용한 노이즈 통계량을 복구하는 것이 전체 역전 궤적(inverse trajectory)을 재구성하는 것보다 훨씬 단순하며, Gaussian Shading은 복구된 잠재 변수(latent)가 올바른 워터마크 결정 영역 내에 유지되기만 하면 된다는 점입니다. 이러한 관찰을 바탕으로, 종점 복구를 이미지와 유사한 앵커와 노이즈 지향적 잔차로 분해하여 GPU 병렬 연산 활용 능력을 향상시키는 경량 프롬프트-프리 추출기를 제안합니다. 이를 통해 얻어진 방법은 반복적인 역전과 확산 규모 U-Net의 반복 평가(evaluation)를 피함으로써, 간결한 이론적 해석을 갖춘 효율적인 1단계 추출 파이프라인을 제공합니다. 노이즈 추출의 연산 비용은 OSI와 FARI 모두보다 낮습니다. GitHub 저장소는 https://github.com/TheLovesOfLadyPurple/RAIN-lightweight-NN-for-one-step-semantic-watermark-extraction 에서 확인할 수 있습니다.

arXiv:2610.15724v1cs.LG공통 태그 Image Generation, Denoising

확산 모델의 생성 환경 밝히기: 스펙트럼 유도 품질-다양성 확산 프레임워크

Uncovering the Generative Landscape of Diffusion Models: A Spectral-Guided Quality-Diversity Diffusion Framework

디노이징 확산 확률 모델(Denoising Diffusion Probabilistic Models)은 분자 설계부터 고해상도 이미지 합성에 이르기까지 다양한 분야에서 강력한 생성 사전 확률(generative prior)로 부상했습니다. 그러나 표준 확산 샘플링은 본질적으로 높은 가능도(likelihood) 영역에 편향되어 있어 출력의 다양성을 제한하는 경우가 많습니다. 많은 분야에서 단일한 고가능도 샘플만으로는 충분하지 않으며, 고성능 솔루션의 다양한 포트폴리오가 요구되므로 모델의 완전한 표현 범위를 밝혀내는 방법이 필요합니다. 본 논문에서는 품질-다양성(Quality-Diversity, QD) 최적화와 확산 모델을 통합함으로써 다양하고 성능이 뛰어난 출력을 발견할 수 있음을 보여줍니다. 먼저, 모델의 잠재 노이즈와 조건부 임베딩(embedding)을 직접 최적화하고 임베딩 모델을 활용하여 다양성을 정량화함으로써 QD를 확산 모델에 적용하는 프레임워크인 품질-다양성 확산(Quality-Diversity Diffusion)을 제안합니다. 둘째로, 모델의 입력-활성화 야코비안(Jacobian)의 주 특이 벡터를 분석하여 최대 의미론적 민감도 방향으로 탐색을 유도하는 새로운 h-공간 스펙트럼 변이(Spectral Mutation) 연산자를 도입합니다. 텍스트-투-이미지 생성에서 통합 접근 방식인 스펙트럼 유도 품질-다양성 확산(Spectral-Guided Quality-Diversity Diffusion)을 평가한 결과, 12개의 베이스라인 대비 우리 방법이 일관되게 가장 낮은 FID 점수를 달성하여 이미지 품질과 다양성 사이의 뛰어난 균형을 입증했습니다.

arXiv:2610.13344v1cs.CV공통 태그 Image Generation, Denoising

롱 스킵 연결 없이 DiT 모델이 표현 학습자로서 성능이 저하되는 이유

Why DiT Models Underperform as Representation Learners without Long Skip Connections

디퓨전 특징(diffusion feature), 즉 디퓨전 모델 백본에서 추출된 중간 활성화는 생성과 시각적 이해(판별)를 통합하기 위한 유망한 접근법으로 부상했습니다. 디퓨전 백본이 디퓨전 트랜스포머(DiT)로 발전했음에도 불구하고, 기존 문헌에서는 DiT 모델이 더 강력한 생성 능력에도 불구하고 더 약한 특징을 산출하는 경향이 있음이 발견되었습니다. 이는 우수한 생성-이해 통합에 위협이 됩니다. 본 연구에서는 제어된 처음부터의 학습(from-scratch training)을 통해 롱 스킵 연결(LSC)이 특징 품질에 영향을 미침을 보여줍니다. 즉, LSC를 갖춘 DiT는 더 우수한 특징을 생성할 수 있습니다. 나아가 상세한 진단을 통해 이러한 효과를 유발하는 메커니즘을 밝혀냅니다. 구체적으로, 디퓨전 백본의 입력에는 잠재 이미지(latent image)와 디퓨전 노이즈가 모두 포함되며, 여기서 디퓨전 노이즈는 노이즈 형태로 나타나지만 실제로는 디퓨전 궤적의 정보를 반영합니다. 노이즈 변수($v$ 또는 $ε$)의 최종 예측을 수행하기 위해 디퓨전 백본에는 두 신호가 모두 필요합니다. 그러나 메인 백본을 통해 두 신호를 모두 전달하는 것은 사실상 이미지 신호를 노이즈로 "오염"시켜 특징 품질 저하로 이어집니다. 이에 비해 LSC는 디퓨전 노이즈를 필요한 곳으로 직접 지름길로 연결(shortcut)하여 메인 백본에 훨씬 약한 노이즈 신호만 남기므로 특징 품질을 향상시킬 수 있습니다. 더 넓은 영향력을 언급하자면, 이는 LSC가 단순한 트릭이 아니라 디퓨전 목표와 밀접하게 관련되어 있음을 밝혀냅니다. 코드는 https://github.com/Darkbblue/dit-lsc 에서 확인할 수 있습니다.

arXiv:2610.13558v1cs.CV공통 태그 Image Generation, Image-to-Image Translation

우리가 감정 편집에 대해 이야기할 때 말하는 것

What We Talk About When We Talk About Emotion Editing

감정 기반 이미지 편집(Emotional image editing)은 장면의 핵심 콘텐츠를 보존하면서 장면이 전달하는 감정을 변경하는 것을 목표로 합니다. 동일한 장면이라도 서로 다른 감정적 해석을 뒷받침할 수 있으므로, 감정적 목표를 달성하려면 원본 맥락에 기반한 시각적 변화가 필요합니다. 감정 반응을 사건 평가(event appraisal)와 연결하는 구성 요소 과정 모델(Component Process Model)에서 영감을 받아, 본 연구에서는 이러한 편집 결정을 위한 참조로서 신경 표상(neural representation)을 조사합니다. fMRI 인코딩 모델인 TRIBE v2를 사용하여 8개 감정 범주에 걸친 400개의 소스-타깃 쌍을 분석합니다. EmoEdit, EmoEditor, AffectDelta의 은닉 상태(hidden state)는 정서 관련 영역보다 시각 영역에서 예측된 타깃 이미지 반응과 더 강하게 일치합니다. 이러한 불균형에 착안하여, 콘텐츠 참조로서의 소스 시각 반응과 편집 방향으로서의 예측된 정서 반응 변화를 결합한 ROI-ReFT를 제안합니다. 상호작용하는 두 브랜치는 생성 과정 전반에 걸쳐 고정된(frozen) 편집기를 안내하기 위해 두 조건을 모두 사용합니다. 생성된 이미지의 예측된 반응은 정서적 변화를 감독하고 시각적 드리프트(visual drift)를 제한합니다. 사후 선정된 400개의 편집 요청 서브셋에서, ROI-ReFT는 91.75%의 타깃 감정 정확도와 83.25%의 결합 성공률(joint success)을 달성하여 동일한 결과물이 타깃 감정과 일치하는 동시에 소스-출력 DINO-I 최소 0.80에 도달했습니다. 코드와 데이터셋은 공개될 예정입니다.

arXiv:2610.13944v1cs.CV공통 태그 Image Generation, Denoising

InstantFusion: 이종 이미지 생성기를 위한 공유 잠재 인터페이스

InstantFusion: A Shared Latent Interface for Heterogeneous Image Generators

디퓨전/플로우(diffusion/flow) 모델은 이미지 생성의 사실상 표준 패러다임으로 자리 잡으며, 점차 이종의(heterogeneous) 아키텍처와 표현을 갖춘 다양한 현대적 생성기 계열을 탄생시켰습니다. 뛰어난 생성 능력에도 불구하고, 잠재 표현(latent representation)의 교차 모델 정렬(cross-model alignment)과 기반이 되는 디노이징 동역학(denoising dynamics)의 일관성은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 흥미로운 교차 모델 호환성을 발견했습니다. 독립적으로 학습된 생성기들이 유사한 잠재 공간 구성을 보이며, 정렬되지 않은 모델 간에 중간 상태를 직접 전달하더라도 대략적인 시각적 콘텐츠는 여전히 보존될 수 있음을 확인했습니다. 이러한 관찰에 착안하여, 우리는 이종 이미지 생성기 간의 디노이징 궤적을 연결하는 경량 공유 잠재 인터페이스인 InstantFusion을 제안합니다. 구체적으로, 유연한 교차 모델 상태 변환을 가능하게 하기 위해 모델별 잠재 오토인코더(LAE)를 도입하여 서로 다른 생성기의 중간 상태를 공유 잠재 공간으로 투영한 뒤 이를 타깃 생성기의 잠재 공간으로 디코딩합니다. 이 공유 공간은 두 가지 상호보완적인 목표를 통해 제약됩니다. 즉, 일치하는 노이즈 수준에서 동일한 이미지로부터 파생된 중간 상태를 정렬하는 것과 이에 대응하는 로컬 디노이징 속도(velocity)를 동기화하는 것입니다. 학습이 완료되면 InstantFusion은 모든 모델 쌍에 대한 전용 매핑을 필요로 하지 않고도 고정된(frozen) 생성기 전반에서 디노이징이 매끄럽게 전환되도록 합니다. InstantFusion의 범용성은 가속화, 다중 선호도 조합, 교차 아키텍처 온-정책(on-policy) 지식 증류(distillation), 교차 모델 조합 전반에서 입증되었으며, 이러한 다양한 환경에서 경쟁력 있는 성능을 달성했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.