arXiv:2610.10703v1 cs.CV

눈부심 너머를 보다: 안경 반사광 제거를 위한 다중 소스 벤치마크 및 안구 적응형 픽셀 MeanFlow

Seeing Through the Glare: A Multi-Source Benchmark and Ocular-Adaptive Pixel MeanFlow for Eyeglass Reflection Removal

Tao Liu, Youwei Pang, Kailai Zhou, Jiaming Zuo, Hanqi Liu, Wei Ji, Peng-Tao Jiang, Xiaofeng Liu, Weisi Lin, Xiaoqi Zhao

제출 2026-10-07

한국어 초록

안경 반사광 제거는 스마트폰 이미징, 화상 회의 및 기타 얼굴 중심 시각 애플리케이션 전반에서 중요합니다. 반사광은 가벼운 측광학적(photometric) 오염부터 심각한 안구 가림(occlusion)에 이르기까지 다양하여, 신원(identity)이나 자연스러운 외형을 훼손하지 않으면서 선택적 보정과 그럴듯한 복원을 요구하므로 이 과업은 매우 까다롭습니다. 기존 데이터셋은 제한적인 반사 조건만을 다루어 복잡한 실제 환경 장면으로의 일반화와 체계적인 평가에 한계가 있었습니다. 본 연구에서는 제어 가능한 10,280개의 합성 쌍, 732개의 실제 입력 의사 쌍(pseudo-pairs), 458개의 독립된 실제 환경 테스트 이미지로 구성된 다중 소스 벤치마크 OcuBench를 소개하여, 쌍을 이룬 평가와 생성된 감독 데이터를 넘어선 평가를 모두 지원합니다. 나아가 효율적이면서도 세부 정보를 보존하는 복원을 위해 안구 적응형 픽셀 MeanFlow(pMF) 프레임워크인 OcuFlow를 제안합니다. 이는 기하학적 적응형 표현과 1단계(one-step) pMF를 결합하여 반사로 가려진 안구 영역에 복원을 집중시키며, 고유 해상도(native-resolution) 주파수 보존 합성을 통해 관측된 신뢰할 수 있는 세부 정보를 유지합니다. 다양한 반사 조건에 걸친 실험을 통해 OcuFlow가 반사광 제거 품질, 안구 충실도, 효율성 측면에서 일관된 이점을 달성함을 입증합니다. 블라인드 사용자 선호도 조사에서 본 모델은 차상위 모델보다 6.2배 높은 67.32%의 선택을 받았습니다. 코드와 데이터셋은 모두 공개될 예정입니다.

원문 초록

Eyeglass reflection removal is important across smartphone imaging, video conferencing, and other face-centric visual applications. The task is challenging because reflections range from mild photometric contamination to severe ocular occlusion, requiring selective correction and plausible reconstruction without altering identity or natural appearance. Existing datasets cover limited reflection conditions, constraining generalization to complex real-world scenes and systematic evaluation. We introduce \textbf{OcuBench}, a multi-source benchmark comprising 10,280 controllable synthetic pairs, 732 real-input pseudo-pairs, and 458 independent real-world test images, supporting both paired evaluation and assessment beyond generated supervision. We further propose \textbf{OcuFlow}, an ocular-adaptive pixel MeanFlow (pMF) framework for efficient, detail-preserving restoration. It combines geometry-adaptive representation with one-step pMF to focus reconstruction on reflection-obscured ocular regions, together with native-resolution frequency-preserving synthesis to retain reliable observed details. Experiments across diverse reflection conditions demonstrate that OcuFlow achieves consistent advantages in reflection removal quality, ocular fidelity, and efficiency. In a blind user study, it receives $67.32\%$ of selections, $6.2\times$ the next-best share. Both the code and dataset will be released.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.10703v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22707v1cs.CV공통 태그 Image Restoration, Reflection Removal

LowAux-RDNet: 단일 이미지 반사 제거를 위한 저역 통과 잔차 감독과 장면 균형 실세계 학습

LowAux-RDNet: Low-Pass Residual Supervision with Scene-Balanced Real-World Training for Single-Image Reflection Removal

단일 이미지 반사 제거는 유리를 통해 촬영한 한 장의 이미지에서 깨끗한 투과층을 복원하는 것을 목표로 한다. 본 연구는 RDNet 기반의 명시적 분해 파이프라인을 다루고, 학습 전용 저역 통과 반사 보조 목적함수인 LowAux를 제안한다. 원래의 잔차 타깃은 주요 반사 감독으로 유지되며, 대칭적으로 필터링된 예측과 타깃이 안정적인 저주파 제약을 제공한다. 또한 RRW의 장면 균형 실세계 쌍을 통합하여 실세계 장면 커버리지를 넓히고 교차 데이터셋 일반화를 개선한다. 모델별 리사이징, 패딩, 출력 양자화, 지표 코드로 인한 평가 불일치를 피하기 위해 CEILNet, Real20, Postcard, Objects, Wild에 걸친 통합 공개 벤치마크를 구축한다. 동일한 평가기 하에서 제안 시스템은 5개 데이터셋 매크로 평균 27.546 dB PSNR, 0.9220 SSIM, 0.9751 NCC, 0.004760 LMSE를 달성하여, 비교된 공개 체크포인트 및 내부 변형 중 매크로 평균 PSNR, SSIM, NCC가 가장 높고 LMSE가 가장 낮다. 데이터셋별 및 정성 분석 결과, 주요 이점은 다양한 반사 분포에 걸친 보다 균형 잡힌 성능이며, Postcard의 명확한 의미론적 반사는 여전히 어려운 과제로 남아 있음을 보여준다.

arXiv:2607.02957v1cs.CV공통 태그 Image Restoration, Reflection Removal

ReLo-IRR: 반사 유도 LoRA 프레임워크를 이용한 이미지 반사 제거

ReLo-IRR: Reflection-Guided LoRA Framework for Image Reflection Removal

단일 이미지 반사 제거(SIRR)는 반사가 혼입된 이미지에서 깨끗한 투과층(transmission layer)을 복원하는 것을 목표로 한다. 최근 방법들은 대규모 확산 모델(diffusion model)로 유망한 성능을 달성하지만, 미세조정(fine-tuning)이나 ControlNet과 같이 이미지에 무관한 적응 전략에 의존하여 반사 강도에 관계없이 균일한 억제를 적용한다. 그 결과, 강한 반사는 잔재가 남는 경우가 많고, 약한 반사는 세부 정보 손실(detail loss)을 겪는다. 이를 해결하기 위해, 우리는 정류 흐름 모델(rectified flow model)을 기반으로 한 반사 유도 LoRA 프레임워크인 ReLo-IRR을 제안한다. 먼저, 경량 추정기(estimator)를 설계하여 반사 강도 디스크립터(reflection strength descriptor)를 예측하고, 각 이미지에 대한 반사 지배도의 명시적 사전 정보(prior)를 제공하여 이미지 의존적 LoRA 변조(modulation)를 가능하게 한다. 다음으로, 이 반사 디스크립터를 타임스텝 임베딩과 융합하는 시간 조건부 메커니즘(time-conditioned mechanism)을 도입하여, LoRA 변조가 거친 단계에서 세밀한 단계로 진행되는 디노이징 과정과 일관되게 발전할 수 있도록 한다. 반사 강도와 디노이징 역학을 함께 모델링함으로써, ReLo-IRR은 다양한 반사 조건에 대해 강건한 억제를 달성한다. 도전적인 벤치마크에서의 광범위한 실험을 통해 ReLo-IRR의 효과성을 검증하였으며, 우수한 반사 제거 성능과 강건한 일반화를 입증하였다. 코드는 https://github.com/KONGBAI-8080/ReLo-IRR에서 공개되었다.

arXiv:2603.24969v2cs.CV공통 태그 Image Restoration, face restoration

PASDiff: 실세계 저조도 얼굴 향상 및 복원을 위한 물리 인식 의미론적 가이던스

PASDiff: Physics-Aware Semantic Guidance for Joint Real-World Low-Light Face Enhancement and Restoration

실세계 저조도 환경에서 촬영된 얼굴 이미지는 낮은 조도, 블러, 노이즈, 낮은 가시성 등 다양한 열화를 동시에 겪는다. 기존의 캐스케이드 방식은 심각한 오류 누적 문제를 겪는 반면, 범용 통합 모델은 명시적인 얼굴 사전 정보가 부족하여 선명한 얼굴 구조를 복원하는 데 어려움을 겪는다. 본 논문에서는 학습 없이(training-free) 동작하는 물리 인식 의미론적 확산 모델인 PASDiff를 제안한다. 그럴듯한 조도 및 색상 분포를 달성하기 위해 역강도 가중치(inverse intensity weighting)와 Retinex 이론을 활용하여 광도 제약 조건을 도입함으로써 가시성과 자연스러운 색도를 신뢰성 있게 복원한다. 얼굴 세부 사항을 충실히 재구성하기 위해, 제안하는 스타일 비의존적 구조 주입(SASI, Style-Agnostic Structural Injection)은 기성 얼굴 사전 모델로부터 구조를 추출하되 내재된 광도 편향을 필터링하여, 신원 특징과 물리적 제약 조건을 자연스럽게 조화시킨다. 나아가, 복잡한 열화를 포함하는 700장의 실세계 저조도 얼굴 이미지로 구성된 실세계 벤치마크 WildDark-Face를 구축하였다. 광범위한 실험을 통해 PASDiff가 기존 방법들을 크게 능가하며, 자연스러운 조도, 색상 복원, 신원 일관성 사이에서 우수한 균형을 달성함을 입증한다. 코드와 데이터셋은 https://github.com/IVIPLab/PASDiff 에서 공개될 예정이다.

arXiv:2606.06850v1cs.CV공통 태그 Image Restoration, face restoration

CFRNet: 소비자용 임베디드 NPU에서의 실시간 블라인드 얼굴 복원을 위한 순환 일관성 고정점 학습

CFRNet: Cycle-Consistent Fixed-Point Training for Real-Time Blind Face Restoration on Consumer Embedded NPUs

소비자 기기에서의 블라인드 얼굴 복원은 화질과 속도 및 메모리 간의 균형을 맞춰야 한다. GFPGAN과 CodeFormer 같은 강력한 방법들은 우수한 지각적 품질을 제공하지만, 대규모 사전학습된 생성 사전(prior)과 어텐션(attention), 코드북 조회(codebook lookup), 스타일 변조(style modulation) 등의 연산자에 의존하며, 이는 소비자 하드웨어에 사용되는 소형 NPU(신경 처리 장치)에서 컴파일하고 양자화하기 어렵다. 소형 합성곱 복원 모델은 충분히 빠르게 실행되지만, 과도한 평활화(over-smoothing) 현상이 발생하고 눈, 코, 입 주변에 아티팩트가 남는 경향이 있다. 본 논문에서는 소비자용 NPU의 일반적인 얼굴 크롭 크기인 256×256 해상도에서 온디바이스 사용을 위한 2.0M 매개변수 ResNet 스타일 복원 모델 CFRNet을 제안한다. 핵심 아이디어는 순환 일관성 고정점 학습(Cycle-Consistent Fixed-Point Training, CCFP)이다. 네트워크를 한 번 통과시킨 뒤 수동으로 여러 번 반복 실행하는 방식 대신, 복원된 얼굴에 다시 적용해도 결과가 변하지 않는 고정점 연산자(fixed-point operator)로 동작하도록 학습한다. CCFP는 점진적 다중 순환 감독(progressive multi-cycle supervision), 멱등성 손실(idempotence loss), 재열화 순환 손실(re-degradation cycle loss)의 세 가지 학습 손실을 사용하며, 추론 시 추가 비용이 발생하지 않는다. 배포 제약 조건 하에서 공정한 비교를 위해, 모든 베이스라인을 동일한 256×256 해상도로 처음부터 재학습하였다. 300장의 테스트 이미지 세트에서 CFRNet은 최고의 지각적 점수(3 사이클에서 LPIPS 0.250으로, 1 사이클 대비 31% 낮음)를 달성했으며, 2 사이클에서 최고의 PSNR 및 SSIM도 기록했다. HiSilicon Hi3402 NPU에서 INT8로 사이클당 약 23ms로 실행되는 반면, 동일한 베이스라인들은 해당 칩에 컴파일될 수 없다. 사이클 수 k는 재학습 없이 간단한 품질 조절 파라미터로 기능한다: PSNR은 k=2에서 최적이며 LPIPS는 k=3까지 지속적으로 향상된다. 또한 동일한 아이디어가 배포하기 더 용이한 일반 CNN에서도 효과적임을 보이며, 차량 내 운전자 모니터링 보드에서 해당 모델을 실시간으로 실행함을 검증한다.

arXiv:2505.16733v3cs.LG공통 태그 Image Restoration공식 코드 · Papers with Code

상태 의존적 순방향 확산을 이용한 효율적 이미지 복원

Efficient Image Restoration with State-Dependent Forward Diffusion

본 논문은 상태 의존적 평균 회귀(mean-reverting) 순방향 확산(FoD) 과정을 통해 이미지 복원을 수행하는 방법을 제안한다. 전통적인 확산 기반 접근법이 결합된 순·역방향 확산 체계에 의존하는 것과 달리, FoD는 단일 순방향 확산 과정만으로 이미지 복원을 직접 학습하여 단순하면서도 효율적인 프레임워크를 제공한다. FoD의 핵심은 표류(drift)와 확산(diffusion) 함수 모두에 평균 회귀 항을 포함하는 상태 의존적 확률 미분 방정식(SDE)이다. 이 평균 회귀 구조는 제어된 확률적 변동과 함께 저품질 데이터를 깨끗한 종점으로 이동시키며, 따라서 원본과 목표 분포 사이의 확률적 보간을 시뮬레이션한다. 더 중요한 것은 FoD가 해석적으로 다룰 수 있으며 단순한 확률적 플로우 매칭(stochastic flow matching) 목적함수로 학습되어, 추론 시 소수 스텝 샘플링을 가능하게 한다는 점이다. 제안된 FoD 모델은 단순함에도 불구하고 대표적인 확산, 확산 브릿지(diffusion bridge), 플로우 매칭(flow matching) 접근법과 비교하여 다양한 이미지 복원 과제에서 전반적으로 우수한 성능을 달성한다. 코드는 https://github.com/Algolzw/FoD 에서 이용할 수 있다.

arXiv:2505.19120v2cs.CV공통 태그 Image Restoration공식 코드 · Papers with Code

Freqformer: 효과적인 주파수 분해를 통한 이미지 무아레 제거 트랜스포머

Freqformer: Image-Demoiréing Transformer via Effective Frequency Decomposition

이미지 무아레 제거(image demoiréing)는 무아레 패턴으로 인한 텍스처 손상과 색상 왜곡 간의 복잡한 상호작용 때문에 여전히 어려운 과제로 남아 있다. 기존 방법들, 특히 직접적인 이미지 대 이미지 복원에 의존하는 방법들은 이처럼 뒤엉킨 아티팩트를 효과적으로 분리하는 데 실패하는 경우가 많다. 주파수 인식(frequency-aware) 접근법이 유망한 방향을 제시하지만, 이산 변환(예: Haar 웨이블릿 또는 블록 기반 DCT)으로 인해 그 잠재력이 제한된다. 이러한 이산 변환은 공간적 불연속성, 채널 중복 문제를 야기할 수 있으며, 고정된 역변환 과정에서 오차 누적을 초래할 수 있다. 본 논문에서는 목표 지향적 주파수 분리를 통해 이미지 무아레 제거를 위해 특별히 설계된 트랜스포머 기반 프레임워크인 Freqformer를 제안한다. 제안된 방법은 무아레 패턴을 고주파 공간 국소화 텍스처와 저주파 스케일 강인 색상 왜곡으로 분리하는 효과적인 주파수 분해를 수행하며, 각각의 특성에 맞게 설계된 이중 분기 아키텍처와 비대칭 학습 방식을 통해 처리된다. 또한, 주파수별 출력을 적응적으로 융합하여 일관되고 고충실도의 복원을 가능하게 하는 학습 가능한 주파수 합성 변환(FCT, Frequency Composition Transform) 모듈을 제안한다. 공간적 의존성과 채널 간 보완 정보를 더욱 효과적으로 집약하기 위해, 높은 연산 비용 없이 무아레에 민감한 영역을 정제하는 공간 인식 채널 어텐션(SA-CA, Spatial-Aware Channel Attention) 모듈을 도입한다. 다양한 무아레 제거 벤치마크에 대한 광범위한 실험을 통해 Freqformer가 소형 모델 크기로 최첨단 성능을 달성함을 입증한다. 코드는 https://github.com/xyLiu339/Freqformer에서 공개될 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.