Improving Bracket Image Restoration and Enhancement with Flow-guided Alignment and Enhanced Feature Aggregation
원문 초록
In this paper, we address the Bracket Image Restoration and Enhancement (BracketIRE) task using a novel framework, which requires restoring a high-quality high dynamic range (HDR) image from a sequence of noisy, blurred, and low dynamic range (LDR) multi-exposure RAW inputs. To overcome this challenge, we present the IREANet, which improves the multiple exposure alignment and aggregation with a Flow-guide Feature Alignment Module (FFAM) and an Enhanced Feature Aggregation Module (EFAM). Specifically, the proposed FFAM incorporates the inter-frame optical flow as guidance to facilitate the deformable alignment and spatial attention modules for better feature alignment. The EFAM further employs the proposed Enhanced Residual Block (ERB) as a foundational component, wherein a unidirectional recurrent network aggregates the aligned temporal features to better reconstruct the results. To improve model generalization and performance, we additionally employ the Bayer preserving augmentation (BayerAug) strategy to augment the multi-exposure RAW inputs. Our experimental evaluations demonstrate that the proposed IREANet shows state-of-the-art performance compared with previous methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ZoomDiff: 듀얼 카메라의 부드러운 줌을 위한 고충실도 확산 모델
ZoomDiff: A High-Fidelity Diffusion Model for Dual-Camera Smooth Zooming
듀얼 카메라 간의 디지털 줌 전환은 기하학적 구조와 색상 일관성에서 눈에 띄는 불연속성을 자주 드러내어 사용자 경험을 저하시킵니다. 최근의 듀얼 카메라 부드러운 줌(dual-camera smooth zoom, DCSZ) 방법들은 DCSZ 데이터에 프레임 보간(frame interpolation, FI) 모델을 미세조정(fine-tuning)하여 이를 완화하고자 하지만, 큰 시점 간 시차(cross-view disparities)와 복잡한 기하학적 변환으로 인해 어려움을 겪습니다. 확산 모델(diffusion model)의 생성적 사전확률(generative prior)이 이 문제를 해결하는 데 적합하다는 점을 고려하여, 본 연구에서는 이를 DCSZ에 적용하는 방안을 탐색합니다. 그러나 기존의 확산 기반 FI 모델을 단순 적용하는 것은 불충분한 조건부 안내(conditional guidance), VAE 인코딩 중의 고주파 정보 손실(loss), 부적절한 시간적 일관성으로 인해 여전히 낮은 충실도의 전환을 생성합니다. 이를 해결하기 위해, 잠재 공간과 픽셀 공간 모두에서 듀얼 카메라 입력을 활용하여 사실적인 전환을 제공하는 고충실도 확산 모델인 ZoomDiff를 제안합니다. 구체적으로, 먼저 기하학적 일관성을 개선하기 위해 다단계 디노이징(denoising) 과정에서 듀얼 이미지 조건부 안내를 강화합니다. 그런 다음 고주파 세부 정보를 복원하기 위해 VAE 인코더의 플로우 정렬(flow-aligned) 다중 스케일 특징을 VAE 디코더에 주입하며, 이때 더욱 매끄러운 전환을 생성하기 위한 플로우 유도 시간적 일관성 감독(supervision)을 도입합니다. 합성 데이터셋과 실제 데이터셋 모두에 대한 광범위한 실험을 통해 ZoomDiff가 정량적 및 정성적 측면에서 최첨단(state-of-the-art) 방법들을 능가함을 입증합니다. 프로젝트 페이지: https://jiayi-hit.github.io/ZoomDiff.github.io/.
FlowPainter: 신뢰도 기반 완성을 통한 광학 흐름 인페인팅
FlowPainter: Inpainting Optical Flow via Confidence-Guided Completion
기존 광학 흐름(optical flow) 방법은 크게 두 가지 패러다임을 따른다: 반복적 최적화와 확산 기반 추정. RAFT로 대표되는 반복적 방법은 순환적 정제를 통해 높은 정확도를 달성하지만, 큰 변위와 복잡한 움직임에는 여전히 어려움을 겪는다. 확산 기반 방법은 생성 모델링을 도입하여 이러한 모호한 영역에서 가능성을 보인다. 그러나 기존 확산 모델들은 대개 가벼운 네트워크로 신뢰할 수 있는 움직임을 이미 추정할 수 있는 단순한 영역을 포함하여, 전체 밀집 흐름 필드를 가우시안 노이즈에서부터 디노이징한다. 이는 디노이징 부담을 늘리고 느린 수렴과 불안정한 학습을 초래할 수 있다. 이 문제를 해결하기 위해 우리는 FlowPainter를 제안한다. 이는 밀집 흐름 생성을 신뢰도 기반 소프트 인페인팅(soft inpainting)으로 재정의하는 확산 기반 광학 흐름 프레임워크다. FlowPainter는 경량의 신뢰도 인식 네트워크를 사용하여 대략적인 흐름과 픽셀 단위 신뢰도 마스크를 예측함으로써, 신뢰할 수 있는 단순 영역과 불확실한 어려운 영역을 구분한다. 이렇게 얻은 단순 흐름 사전(simple-flow prior)은 신뢰도 기반 초기화에 활용되며, 신뢰도 게이트 잔차 가이던스(confidence-gated residual guidance)를 통해 반복적 디노이징에 추가로 주입된다. 동적으로 감쇠하는 가이던스 강도를 통해 FlowPainter는 초기 디노이징을 안정화하면서도 후기 단계 세부 정제를 위한 확산 모델의 유연성을 보존한다. Sintel, KITTI, Spring을 포함한 공개 벤치마크에서의 광범위한 실험 결과, FlowPainter는 비교 가능한 학습 환경에서 높은 정확도를 달성하고 기존 확산 기반 광학 흐름 방법보다 더 효율적으로 수렴하며, 어려운 벤치마크 분할에서 눈에 띄는 성능 향상을 보인다. 우리의 접근법은 신뢰할 수 있는 판별적 사전(discriminative prior)과 확산 기반 정제를 광학 흐름 추정에 통합하는 실용적인 방법을 제시한다. 코드는 https://github.com/mya012/FlowPainter 에서 공개적으로 이용 가능하다.
LD-RPS: Zero-Shot Unified Image Restoration via Latent Diffusion Recurrent Posterior Sampling
MEMFOF: High-Resolution Training for Memory-Efficient Multi-Frame Optical Flow Estimation
EAMamba: Efficient All-Around Vision State Space Model for Image Restoration
WAFT: Warping-Alone Field Transforms for Optical Flow
토론
이 논문과 연결된 포럼 글이 아직 없습니다.