로그 인코딩 기반 잠재 정렬을 통한 HDR 비디오 생성
HDR Video Generation via Latent Alignment with Logarithmic Encoding
한국어 초록
고동적범위(High Dynamic Range, HDR) 영상은 장면의 광도(scene radiance)를 풍부하고 충실하게 표현하지만, 생성 모델이 학습되는 유계(bounded)이며 지각적으로 압축된 데이터와의 불일치로 인해 생성 모델에게 여전히 까난한 과제로 남아 있습니다. 자연스러운 해결책은 HDR을 위한 새로운 표현을 학습하는 것이지만, 이는 추가적인 복잡성과 데이터 요구량을 수반합니다. 본 연구에서는 사전학습된 생성 모델이 이미 포착한 강력한 시각적 사전 지식(visual priors)을 활용함으로써 훨씬 단순한 방식으로 HDR 생성을 달성할 수 있음을 보여줍니다. 저자들은 영화 제작 파이프라인에서 널리 쓰이는 로그 인코딩(logarithmic encoding)이 HDR 영상을 이러한 모델들의 잠재 공간과 자연스럽게 정렬(align)되는 분포로 매핑하여, 인코더를 재학습하지 않고도 경량 미세조정을 통한 직접적인 적응을 가능하게 한다는 점을 관찰했습니다. 또한 입력에서 직접 관찰할 수 없는 세부 정보를 복원하기 위해, 모델이 학습된 사전 지식으로부터 누락된 고동적범위 콘텐츠를 추론하도록 유도하는 카메라 모방 열화 기반 학습 전략을 도입합니다. 이러한 통찰을 결합하여 최소한의 적응만으로 사전학습된 비디오 모델을 사용해 고품질 HDR 비디오 생성을 입증하였으며, 다양한 장면과 까다로운 조명 조건 전반에서 우수한 결과를 달성했습니다. 본 결과는 표현 방식이 학습된 사전 지식과 정렬되도록 선택된다면, HDR이 근본적으로 다른 영상 형성 체계를 나타냄에도 불구하고 생성 모델을 재설계하지 않고도 효과적으로 다룰 수 있음을 시사합니다.
원문 초록
High dynamic range (HDR) imagery offers a rich and faithful representation of scene radiance, but remains challenging for generative models due to its mismatch with the bounded, perceptually compressed data on which these models are trained. A natural solution is to learn new representations for HDR, which introduces additional complexity and data requirements. In this work, we show that HDR generation can be achieved in a much simpler way by leveraging the strong visual priors already captured by pretrained generative models. We observe that a logarithmic encoding widely used in cinematic pipelines maps HDR imagery into a distribution that is naturally aligned with the latent space of these models, enabling direct adaptation via lightweight fine-tuning without retraining an encoder. To recover details that are not directly observable in the input, we further introduce a training strategy based on camera-mimicking degradations that encourages the model to infer missing high dynamic range content from its learned priors. Combining these insights, we demonstrate high-quality HDR video generation using a pretrained video model with minimal adaptation, achieving strong results across diverse scenes and challenging lighting conditions. Our results indicate that HDR, despite representing a fundamentally different image formation regime, can be handled effectively without redesigning generative models, provided that the representation is chosen to align with their learned priors.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PickMoment: 디블러링 및 블러-투-비디오 학습을 통한 연속 시간 단일 이미지 기반 비디오 생성
PickMoment: Continuous-Time Single-Image-to-Video via Learning Deblurring and Blur-to-Video
모션 블러(motion blur)는 유한한 노출 구간 동안 연속적인 선명한 신호가 시간적으로 적분되어 발생하지만, 기존의 학습 기반 방법들은 이러한 물리적 모델을 우회하여 선명한 신호 자체만을 예측합니다. 대부분의 단일 이미지 디블러링(deblurring) 방법은 노출 중심에서의 단일 프레임을 복원하는 반면, 블러-투-비디오(blur-to-video) 방법은 고정된 프레임 세트를 예측합니다. 본 논문에서는 단일 결정론적 모델을 통해 노출 시간의 임의의 하위 구간에 대한 구간 평균 블러를 직접 학습하는 연속 시간 재정식화인 PickMoment를 소개합니다. MeanFlow의 평균 속도 정식화와 유사하게, 블러 적분에서 파생된 세 가지 감독(supervision)을 사용하여 모델을 학습합니다. 이는 사용 가능한 하위 프레임으로부터의 경험적 재구성 손실, 겹치는 하위 구간 전반에서 자기 일관성을 강화하는 가산성 손실, 그리고 0 구간 극한에 고정된 선명 프레임 손실입니다. 단 한 번 학습된 모델로 각 태스크에 대한 별도의 학습 없이 동일한 네트워크에 대한 서로 다른 쿼리로서 단일 이미지 디블러링, 블러-투-비디오 생성, 연속 시간 특정 순간 선택(pick-a-moment) 복원을 통합합니다. PickMoment는 반복적 샘플링 없이 단 한 번의 순전파만으로 GoPro 및 HIDE 데이터셋에서 생성 기반 디블러링 방법 중 최고 수준(SOTA)의 성능을 달성하는 동시에 RealBlur에서는 복원 기반 방법과 대등한 경쟁력을 보였으며, GoPro-7 블러-투-비디오에서는 프레임당 최고 충실도를 기록했습니다.
PhysForge: 분리 가능한 컴포넌트를 활용한 재질 제어 가능 3D 재구성
PhysForge: Material-Controllable 3D Reconstruction with Separable Components
물리적 3D 생성의 최근 발전은 시뮬레이션 가능한 기계적 거동을 갖춘 시각적으로 충실한 에셋 생성을 가능하게 했습니다. 그러나 기존 방법들은 외형 기반 추론(inference)을 넘어선 재질 거동에 대해 제한적인 제어만을 제공하며, 물체와 의미론적 부품 간의 복잡한 상호작용으로부터 물리적 특성을 추정하는 데 어려움을 겪습니다. 따라서 본 논문에서는 이러한 문제를 해결하기 위해 재질 제어 가능한 물리 피팅과 컴포넌트 수준의 상호작용 모델링을 위한 상호보완적인 두 가지 모듈로 구성된 비디오 확산 모델(Video Diffusion Model, VDM) 기반 프레임워크인 PhysForge를 제안합니다. 첫 번째 모듈인 PhysFit은 재질 조건화 VDM 동역학을 물리적 특성 피팅의 참조로 활용하며, 재질 특성을 드러내는 상호작용에 집중하기 위한 윈도우 피팅과 VDM이 생성한 비물리적 환각(hallucination) 모션을 재질 응답으로부터 분리하기 위한 Hallucinated Forcing을 도입합니다. 두 번째 모듈인 PhysComp는 복잡한 상호작용을 개별 객체와 의미론적 컴포넌트로 분해하여, 물리적 매개변수를 독립적으로 최적화하고 결합 시뮬레이션을 위해 유연하게 구성할 수 있도록 지원합니다. PhysAssets 및 Google Scanned Objects에 대한 실험을 통해 기존 방법과 비교하여 PhysForge가 복잡한 상호작용을 위한 컴포넌트 수준의 물리 모델링을 지원하는 동시에 재질 의존적 물리 응답에 대해 더 강력한 제어력을 제공함을 입증합니다. 본 방법은 흔한 재질과 흔하지 않은 재질 모두에서 최고의 CLIP 및 물리적 제어 가능성 점수를 달성했으며, 정성적 비교, 컴포넌트 수준의 소거 연구, 사용자 연구를 통해 이러한 개선 효과를 추가로 뒷받침합니다. 프로젝트 페이지는 https://masterwanna.github.io/PhysForge.html 에서 확인할 수 있습니다.
기생적 공동 디노이징: 고정된 비디오 확산 모델에서 3D 인체 동작 생성 잠금 해제하기
Parasitic Co-Denoising: Unlocking 3D Human Motion Generation in a Frozen Video Diffusion Model
명시적인 3D 동작에 대해 지도학습을 거치지 않았음에도, 대규모 텍스트-비디오 확산 모델(text-to-video diffusion models)은 생성된 비디오 내에서 사실적인 인체 동작을 합성합니다. 본 연구에서는 별도의 동작 모델을 학습(training)하지 않고도 이러한 암묵적 지식을 명시적인 3D 동작 생성으로 전환할 수 있는지 질문합니다. 고정된 Wan2.1을 탐색한 결과, 깨끗한 출력물에만 국한되지 않고 전체 디노이징 스케줄(denoising schedule)에 걸친 중간 상태 전반에 복구 가능한 동작 신호가 존재함을 확인했습니다. 이에 착안하여, 독립된 생성기를 통해 동작을 생성하는 대신 호스트 모델(model)의 디노이징 스케줄을 따라 동작을 디코딩하는 패러다임인 기생적 공동 디노이징(parasitic co-denoising)을 제안합니다. 이를 호스트의 노이즈 스케줄을 공유하며 호스트를 수정하지 않은 채 $\sigma$-적응형 다층(multi-layer) 융합을 통해 중간 특징을 읽어오는 효율적인 플로우 매칭(flow-matching) 디코더인 Parasitic Motion Decoder(PMD)로 구현합니다. 동작 데이터 대신 호스트로부터 표현 범위를 이끌어내는 PMD는 전용 동작 생성기 학습 가능 파라미터의 극히 일부만을 사용하면서도 텍스트-동작 정렬(alignment)에서 이들을 앞서며, 동작 전용 베이스라인 모델들이 달성할 수 없는 비디오 및 동작 쌍 생성을 단일 패스로 동시에 수행합니다.
ZoomDiff: 듀얼 카메라의 부드러운 줌을 위한 고충실도 확산 모델
ZoomDiff: A High-Fidelity Diffusion Model for Dual-Camera Smooth Zooming
듀얼 카메라 간의 디지털 줌 전환은 기하학적 구조와 색상 일관성에서 눈에 띄는 불연속성을 자주 드러내어 사용자 경험을 저하시킵니다. 최근의 듀얼 카메라 부드러운 줌(dual-camera smooth zoom, DCSZ) 방법들은 DCSZ 데이터에 프레임 보간(frame interpolation, FI) 모델을 미세조정(fine-tuning)하여 이를 완화하고자 하지만, 큰 시점 간 시차(cross-view disparities)와 복잡한 기하학적 변환으로 인해 어려움을 겪습니다. 확산 모델(diffusion model)의 생성적 사전확률(generative prior)이 이 문제를 해결하는 데 적합하다는 점을 고려하여, 본 연구에서는 이를 DCSZ에 적용하는 방안을 탐색합니다. 그러나 기존의 확산 기반 FI 모델을 단순 적용하는 것은 불충분한 조건부 안내(conditional guidance), VAE 인코딩 중의 고주파 정보 손실(loss), 부적절한 시간적 일관성으로 인해 여전히 낮은 충실도의 전환을 생성합니다. 이를 해결하기 위해, 잠재 공간과 픽셀 공간 모두에서 듀얼 카메라 입력을 활용하여 사실적인 전환을 제공하는 고충실도 확산 모델인 ZoomDiff를 제안합니다. 구체적으로, 먼저 기하학적 일관성을 개선하기 위해 다단계 디노이징(denoising) 과정에서 듀얼 이미지 조건부 안내를 강화합니다. 그런 다음 고주파 세부 정보를 복원하기 위해 VAE 인코더의 플로우 정렬(flow-aligned) 다중 스케일 특징을 VAE 디코더에 주입하며, 이때 더욱 매끄러운 전환을 생성하기 위한 플로우 유도 시간적 일관성 감독(supervision)을 도입합니다. 합성 데이터셋과 실제 데이터셋 모두에 대한 광범위한 실험을 통해 ZoomDiff가 정량적 및 정성적 측면에서 최첨단(state-of-the-art) 방법들을 능가함을 입증합니다. 프로젝트 페이지: https://jiayi-hit.github.io/ZoomDiff.github.io/.
HaRP: 듀얼 역방향 셔터 스캐닝을 통한 고동적범위 포토시퀀싱
HaRP: High Dynamic Range Photosequencing through Dual Reversed Shutter Scanning
모바일 사진 촬영에서 CMOS 센서의 도입은 기하학적 왜곡과 모션 아티팩트를 유발하는 롤링 셔터(RS) 효과로 인해 자주 저해됩니다. 특히 최근의 글로벌 리셋 롤링 셔터(RSGR) 모드는 일부 RS 문제를 완화하지만, 캡처 속도 저하와 다이내믹 레인지 압축을 포함한 주요 한계를 유발합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 RSGR 뷰와 반전된 RSGR 뷰를 모두 활용하는 새로운 듀얼 역방향 스캐닝 설정을 제안합니다. 이 솔루션은 프레임 전반의 다이내믹 레인지를 균형 있게 맞추기 위해 상호 보완적인 노출을 동기화함으로써 RSGR의 고유한 결함을 해결할 뿐만 아니라, 매우 동적인 장면에서도 HDR 포토시퀀싱을 위한 효과적인 방법을 제시합니다. 제안된 네트워크는 먼저 행 단위 상호 보완성을 수용하고 행 적응형 특징 정렬(alignment)을 통해 시각적 변위를 처리합니다. 이후 상관관계 유도 혼합 어텐션(mixattention) 블록을 기반으로 구축된 할루시네이션(hallucination) 모듈이 상호 강화된 특징을 통합하여 누락된 디테일을 복원합니다. 또한 동축 이미징 시스템을 구축하여 실제 데이터셋을 수집함으로써 수치 시뮬레이션을 넘어 견고한 학습과 평가를 가능하게 합니다. 실험 결과는 RSGR의 한계를 완화하고 HDR 재구성 기법을 발전시키는 측면에서 제안된 솔루션의 두 가지 이점을 입증합니다.
적응형 정체성 앵커링: 비디오 얼굴 스와핑을 위한 합성 페어드 지도의 폐루프 키프레임 배치
Adaptive Identity Anchoring: Closed-Loop Keyframe Placement for Synthetic Paired Supervision in Video Face Swapping
비디오 얼굴 스와핑에는 자연스러운 페어드 지도(paired supervision)가 없다. 한 사람의 얼굴이 다른 사람의 비디오 동작을 수행하는 실제 영상은 존재하지 않는다. 현재 가장 강력한 해답인 DreamID-V의 SyncID-Pipe는 실제 클립의 정확히 두 프레임—첫 프레임과 마지막 프레임—에서 정체성(identity)을 교체하고, 나머지는 포즈(pose) 시퀀스만으로 재생성하여 페어를 생성한다. 포즈는 스와핑된 정체성의 외형 정보를 담지 않으므로, 긴 클립, 가림(occlusion), 극단적인 포즈 변화에서 합성된 정체성은 앵커링되지 않은 긴 구간을 거치며 표류(drift)할 수 있다. 공개된 ablation 연구 중 앵커 개수나 배치를 검토한 것은 없다. 우리는 적응형 정체성 앵커링(AIA)을 제안한다: (i) 합성기를 임의의 앵커 집합에 일반화하며, 이는 프레임에 대한 조건화가 해당 토큰의 노이즈를 0으로 고정(clamping)하는 diffusion-forcing 스타일 트랜스포머에 구조적으로 자연스럽다; (ii) 폐루프(closed-loop) 피드백 루프로 앵커를 배치하며, 생성된 모든 프레임을 실제 참조 정체성과 대조해 점수를 매기고, 페어가 임계값을 통과하거나 예산을 소진할 때까지 최저 점수 프레임에 이미지 얼굴 스와핑 앵커를 삽입한다; (iii) 루프의 판정을 자동 데이터 필터로 재사용한다. 두 번째 병리 현상인 과도하게 매끄러운 피부의 뷰티 필터(beauty-filter) 느낌도 같은 근본 원인을 갖는다. 미세 텍스처(micro-texture)는 정체성과 마찬가지로 파이프라인의 어떤 목적 함수에도 반영되지 않는다. 따라서 우리는 AIA를 현실 참조 텍스처 복원(Reality-Referenced Texture Restoration)과 결합한다. 각 실제 프레임의 비얼굴 영역에서의 매칭된 re-graining, 실제 영상으로부터의 정체성 이하(sub-identity) 미세 텍스처의 밴드 분할(band-split) 전이, 그리고 영상 자체의 스펙트럼이 심판하는 두 번째 스펙트럴 수용 채널을 포함한다. 정체성 앵커 밀도는 조절 가능한 품질 다이얼이라고 주장하며, 제안을 검증하거나 반박할 수 있는 반증 가능한 실험—표류 대 간격 곡선, 동일 예산에서의 균등 대 적응형 배치, AIA로 생성된 데이터에 대한 student 학습, 인간 뷰티 필터 연구를 포함한 텍스처 ablation—을 명시한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
https://HDR-LumiVid.github.io