LensBridge: 렌즈 수차 보정 및 베일링 글레어 제거를 위한 주파수 유도 복합 열화 적응
LensBridge: Frequency-Guided Compound Degradation Adaptation for Lens Aberration Correction and Veiling Glare Removal
한국어 초록
단순화된 광학 시스템은 종종 잔여 렌즈 수차와 베일링 글레어(Veiling Glare, VG)를 나타내어 공간적으로 변하는 블러와 대비 감소를 초래합니다. 대규모 렌즈 라이브러리(LensLib)는 다양한 점 확산 함수(Point Spread Function, PSF)를 포괄하여 재사용 가능한 수차 보정 모델을 가능하게 하지만, 수차만을 대상으로 하는 학습(training) 분포에는 타깃 시스템 고유의 베일링 글레어가 포함되지 않습니다. 실제 타깃 시스템의 복합 열화 쌍(pair)을 얻기 어렵기 때문에 이러한 기반을 복합 열화로 확장하는 것은 도전적인 과제입니다. 이 문제를 해결하기 위해, 먼저 재사용 가능한 수차 보정 기반을 구축한 후 몇 개의 비쌍형(unpaired) 타깃 관측치만을 사용하여 복합 광학 열화에 적응시키는 2단계 프레임워크인 LensBridge를 제안합니다. 1단계에서는 LensLib PSF로부터 이산 열화 사전 확률(prior)을 구성하고 수차 이미지에서 이를 직접 검색하도록 학습함으로써, 추론(inference) 시 명시적인 PSF 없이도 PSF 인식 보정을 가능하게 하는 PSF 인식 1단계 확산 기반을 구축합니다. 2단계에서는 주파수 도메인 유도를 통해 이 기반을 복합 열화에 적응시킵니다. 데이터 레벨에서는 주파수 유도 열화 완성(Frequency-guided Degradation Completion, FDC)이 수차 구조를 보존하면서 타깃의 저주파 특성을 LensLib 수차 이미지로 전명하여 복합 학습 쌍을 합성합니다. 모델 레벨에서는 주파수 유도 의사 분해(Frequency-guided Pseudo Decomposition, FPD)가 수차 및 VG가 지배적인 의사 관측치를 형성하여 별도의 적응 브랜치를 조건화합니다. 여러 광학 시스템에 걸친 광범위한 실험을 통해, LensBridge가 타깃 시스템의 쌍형 지도(paired supervision) 없이도 재사용 가능한 수차 보정 기반을 수차 보정 및 베일링 글레어 동시 제거로 효과적으로 확장함을 입증합니다. 모든 코드는 https://github.com/XiaolongQian/LensBridge 에서 공개될 예정입니다.
원문 초록
Simplified optical systems often exhibit residual lens aberrations and Veiling Glare (VG), resulting in spatially varying blur and contrast reduction. Large-scale Lens Libraries (LensLib) enable reusable aberration correction models by covering diverse Point Spread Functions (PSFs), but their aberration-only training distribution does not include target-specific veiling glare. Extending such foundations to compound degradation is challenging because realistic target-system compound pairs are difficult to obtain. To address this challenge, we propose LensBridge, a two-stage framework that first establishes a reusable aberration correction foundation and then adapts it to compound optical degradation using only a few unpaired target observations. In Stage I, we build a PSF-aware one-step diffusion foundation by constructing discrete degradation priors from LensLib PSFs and learning to retrieve them directly from aberrated images, enabling PSF-aware correction without requiring explicit PSF at inference. In Stage II, we adapt this foundation to compound degradation through frequency-domain guidance. At the data level, Frequency-guided Degradation Completion (FDC) transfers target low-frequency characteristics to LensLib aberrated images while preserving aberration structures to synthesize compound training pairs; at the model level, Frequency-guided Pseudo Decomposition (FPD) forms aberration- and VG-dominant pseudo observations to condition separate adaptation branches. Extensive experiments across multiple optical systems demonstrate that LensBridge effectively extends reusable aberration correction foundations to joint aberration correction and veiling glare removal without target-system paired supervision. All code will be available at https://github.com/XiaolongQian/LensBridge.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ODDR: 보상 가이던스를 통한 단일 단계 그림자 제거 확산 모델
ODDR: One-Step Deshadow Diffusion via Reward Guidance
그림자 제거를 위한 심층 학습(deep learning)의 최근 발전은 이미지 품질과 사실성을 크게 향상시켰습니다. 그러나 대부분의 접근 방식은 수집 비용이 많이 들고 장면 다양성이 제한적인 경우가 많은 실제 쌍(paired) 데이터셋에 의존하므로 일반화 성능이 제한됩니다. 이러한 한계를 해결하기 위해, 우리는 실제 쌍으로 구성된 지도학습(supervision)에 의존하지 않고도 효율적이고 충실도 높은 그림자 제거를 달성하는 새로운 프레임워크인 보상 가이던스를 통한 단일 단계 그림자 제거 확산 모델(One-step Deshadow Diffusion via Reward guidance, ODDR)을 제안합니다. 본 연구의 방법은 효율적인 단일 단계 무그림자 재구성을 위해 합성 그림자 데이터로 학습된 기준선(baseline) 모델인 One-step Deshadow Diffusion(ODD)에서 시작합니다. 나아가 우리는 ShadowReward를 사용하여 ODD를 ODDR로 발전시킵니다. 주석(annotation) 작업이 많이 필요한 기존 방식과 달리, ShadowReward는 인간의 주석 없이 전적으로 학습된 그림자 제거용 최초의 보상 모델(reward model)입니다. 이는 질감 왜곡 및 경계 아티팩트와 같이 통제된 품질 저하가 적용된 합성 생성 이미지를 순위화하여 인간의 지각적 판단을 모방하도록 학습합니다. 이러한 보상 기반 미세조정(fine-tuning)을 통해 ODDR은 합성-실제 간 도메인 간극을 좁힐 수 있습니다. 광범위한 실험을 통해 ODD는 실제 쌍 지도학습에 의존하지 않고도 강력한 성능을 달성하며, ODDR은 결과를 더욱 향상시켜 단일 단계 모델로서 더 높은 연산 효율성을 유지하면서도 실제 쌍 데이터로 학습된 완전 지도학습 방식과의 격차를 좁힘을 보여줍니다.
Plug-and-Play 이미지 복원을 위한 불일치 Proximal 디노이저의 도메인 적응
Domain Adaptation of Mismatched Proximal Denoiser for Plug-and-Play Image Reconstruction
플러그 앤 플레이(Plug-and-Play) proximal 경사하강법(PnP-PGD)은 디노이저를 암시적 사전(prior)으로 사용하여 유연한 이미지 복원을 가능하게 한다. 실무에서는 이러한 디노이저가 종종 학습 도메인 밖에서 배포된다. 기존 분석은 배포된 디노이저에 대한 구조적 가정—예를 들어 proximal map이거나 수축(contraction)이어야 한다는 조건—하에서 수렴을 확립한다. 그러나 도메인 불일치가 PnP-PGD의 수렴에 미치는 영향을 측정하지는 않는다. 우리는 이 효과를 proximal mismatch로 정의한다: 배포된 디노이저 $\widehat{\mathsf D}$와 기저 정규화자(regularizer) $R_\star$에 연관된 목표 도메인 참조 map $\mathsf D_\star=\operatorname{prox}_{R_\star}$ 사이의 불일치이다. 이러한 불일치 하에서 각 디노이징 업데이트는 목표 목적함수에 대한 부정확(inexact) proximal 단계가 된다. 우리는 추가로 $\mathcal{O}(1/K)$의 속도로 감쇠하는 정상성(stationarity) bound를 도출하며, 평균 제곱 proximal mismatch에 비례하는 가산항을 포함한다. 이 결과는 MSE 기반 적응만으로는 부족하고 proximal matching을 통한 적응을 동기 부여한다. 우리는 학습된 proximal network와 gradient-step 디노이저라는 두 가지 확립된 디노이저 계열로 이 접근법을 연구한다. 상당한 도메인 이동(domain shift) 하에서 가우시안 디블러링(Gaussian deblurring)과 초해상도(super-resolution)에 대한 실험은 proximal matching 적응이 MSE 기반 적응보다 복원 품질을 유의미하게 향상시키며, 퓨샷(few-shot) 영역에서 가장 큰 수치적 이득을 보인다는 것을 보여준다.
FADRA: 비디오 얼굴 복원을 위한 잔차 적응 기반 주파수 인식 확산 모델
FADRA: Frequency-Aware Diffusion with Residual Adaptation for Video Face Restoration
비디오 얼굴 복원(VFR)은 심하게 열화된 비디오 시퀀스로부터 고품질의 시간적으로 일관된 얼굴 디테일을 복원하는 것을 목표로 하지만, 기존 방법들은 복잡한 열화 환경에서 공간적 충실도와 시간적 일관성 사이의 균형을 맞추는 데 여전히 어려움을 겪고 있다. 이를 해결하기 위해 우리는 강건한 VFR에 특화된 반복적 잔차 적응 기반의 주파수 인식 확산 프레임워크인 FADRA를 제안한다. 먼저 사전학습된 텍스트-투-비디오 확산 모델의 강력한 시간적 일관성을 활용하고, 경량 LoRA 어댑터와 저품질(LQ) 픽셀 정렬 특징 융합 모듈을 도입하여 동결된 생성적 사전 지식을 VFR 태스크에 효율적으로 적응시킨다. LoRA 기반 적응을 넘어 동결된 확산 백본을 하위 VFR 태스크에 추가적으로 적응시키기 위해, 확산 백본 이후 단계별 잔차 정제를 수행하는 반복 잔차 적응 헤드(RRAH, Repeated Residual Adaptation Head)를 도입한다. 이 정제 과정이 열화된 관측값에 의해 명시적으로 유도될 수 있도록 RRAH는 현재 속도 예측값과 함께 LQ 잠재 표현을 추가 입력으로 받아, 모델이 각 플로우 매칭 단계에서 LQ 단서를 반복적으로 재참조하고 잔차 업데이트를 예측할 수 있게 한다. 이러한 LQ 유도 반복 잔차 적응은 사전학습된 모델의 내재된 시간적 사전 지식을 보존하면서 세밀한 얼굴 디테일 복원을 돕는다. 또한 지각적으로 중요한 디테일의 구조적 완전성을 보장하기 위해, 지각 품질에 중요하고 시간적 지터링에 취약한 시각적으로 민감한 주파수 성분을 강조하면서 다중 스펙트럼 대역에 걸쳐 명시적인 지도 학습을 제공하는 주파수 인식 손실(Frequency-Aware Loss)을 도입한다. 광범위한 실험을 통해 FADRA가 최신 방법들보다 더 나은 얼굴 구조를 복원하고 시간적으로 더 일관된 비디오를 생성함으로써, 정량적 지표와 시각적 지각 모두에서 명확한 성능 향상을 달성함을 입증한다.
Promptable Concept Segmentation from Above: Evaluating Zero-Shot Textual and Visual Prompting of SAM 3 in Remote Sensing
RFMSR: 이미지 초해상도를 위한 잔차 플로우 매칭
RFMSR: Residual Flow Matching for Image Super-Resolution
제2회 LoViF 2026 실세계 올인원 이미지 복원 챌린지: 방법과 결과
The Second LoViF 2026 Challenge on Real-World All-in-One Image Restoration: Methods and Results
본 논문은 실세계 올인원(all-in-one) 이미지 복원을 주제로 한 제2회 LoViF 챌린지에 대한 리뷰를 제시한다. 이 챌린지는 흐림, 저조도, 안개, 비, 눈 등 다양한 실세계 열화(degradation) 조건에서 통합 이미지 복원을 발전시키는 것을 목표로 한다. 통합 프레임워크 내에서 여러 열화 유형에 걸친 모델의 복원 정확도, 견고성(robustness), 일반화(generalization) 능력을 평가하기 위한 공통 벤치마크를 제공한다. 대회에는 158명의 등록 참가자가 참여했으며, 제출된 결과가 성공적으로 재현 및 검증된 후 20개 팀이 최종 순위에 포함되었다. 본 보고서는 제출된 솔루션과 해당 결과에 대한 포괄적인 분석을 제공하며, 실세계 올인원 이미지 복원 분야의 최근 진전을 강조한다. 요약된 방법과 실증적 발견은 효과적인 설계 전략을 드러내고, 실세계 저수준(low-level) 비전 분야의 향후 연구를 위한 업데이트된 벤치마크를 확립한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
All code will be available at https://github.com/XiaolongQian/LensBridge