안경 반사광 제거는 스마트폰 이미징, 화상 회의 및 기타 얼굴 중심 시각 애플리케이션 전반에서 중요합니다. 반사광은 가벼운 측광학적(photometric) 오염부터 심각한 안구 가림(occlusion)에 이르기까지 다양하여, 신원(identity)이나 자연스러운 외형을 훼손하지 않으면서 선택적 보정과 그럴듯한 복원을 요구하므로 이 과업은 매우 까다롭습니다. 기존 데이터셋은 제한적인 반사 조건만을 다루어 복잡한 실제 환경 장면으로의 일반화와 체계적인 평가에 한계가 있었습니다. 본 연구에서는 제어 가능한 10,280개의 합성 쌍, 732개의 실제 입력 의사 쌍(pseudo-pairs), 458개의 독립된 실제 환경 테스트 이미지로 구성된 다중 소스 벤치마크 OcuBench를 소개하여, 쌍을 이룬 평가와 생성된 감독 데이터를 넘어선 평가를 모두 지원합니다. 나아가 효율적이면서도 세부 정보를 보존하는 복원을 위해 안구 적응형 픽셀 MeanFlow(pMF) 프레임워크인 OcuFlow를 제안합니다. 이는 기하학적 적응형 표현과 1단계(one-step) pMF를 결합하여 반사로 가려진 안구 영역에 복원을 집중시키며, 고유 해상도(native-resolution) 주파수 보존 합성을 통해 관측된 신뢰할 수 있는 세부 정보를 유지합니다. 다양한 반사 조건에 걸친 실험을 통해 OcuFlow가 반사광 제거 품질, 안구 충실도, 효율성 측면에서 일관된 이점을 달성함을 입증합니다. 블라인드 사용자 선호도 조사에서 본 모델은 차상위 모델보다 6.2배 높은 67.32%의 선택을 받았습니다. 코드와 데이터셋은 모두 공개될 예정입니다.
실세계 저조도 얼굴 이미지의 조도 저하, 블러, 노이즈 등 복합 열화를 학습 없이(training-free) 동시에 복원하기 위해, Retinex 이론 기반 광도 제약과 스타일 비의존적 구조 주입(SASI)을 결합한 확산 모델(diffusion model) 프레임워크 PASDiff를 제안한다. 700장의 실세계 저조도 얼굴 이미지 벤치마크 WildDark-Face를 새로 구축하였으며, 광범위한 실험에서 기존 방법 대비 자연스러운 조도 복원, 색상 복구, 신원 일관성 모두에서 우수한 성능을 달성하였다.
소비자 기기에서의 블라인드 얼굴 복원은 화질과 속도 및 메모리 간의 균형을 맞춰야 한다. GFPGAN과 CodeFormer 같은 강력한 방법들은 우수한 지각적 품질을 제공하지만, 대규모 사전학습된 생성 사전(prior)과 어텐션(attention), 코드북 조회(codebook lookup), 스타일 변조(style modulation) 등의 연산자에 의존하며, 이는 소비자 하드웨어에 사용되는 소형 NPU(신경 처리 장치)에서 컴파일하고 양자화하기 어렵다. 소형 합성곱 복원 모델은 충분히 빠르게 실행되지만, 과도한 평활화(over-smoothing) 현상이 발생하고 눈, 코, 입 주변에 아티팩트가 남는 경향이 있다. 본 논문에서는 소비자용 NPU의 일반적인 얼굴 크롭 크기인 256×256 해상도에서 온디바이스 사용을 위한 2.0M 매개변수 ResNet 스타일 복원 모델 CFRNet을 제안한다. 핵심 아이디어는 순환 일관성 고정점 학습(Cycle-Consistent Fixed-Point Training, CCFP)이다. 네트워크를 한 번 통과시킨 뒤 수동으로 여러 번 반복 실행하는 방식 대신, 복원된 얼굴에 다시 적용해도 결과가 변하지 않는 고정점 연산자(fixed-point operator)로 동작하도록 학습한다. CCFP는 점진적 다중 순환 감독(progressive multi-cycle supervision), 멱등성 손실(idempotence loss), 재열화 순환 손실(re-degradation cycle loss)의 세 가지 학습 손실을 사용하며, 추론 시 추가 비용이 발생하지 않는다. 배포 제약 조건 하에서 공정한 비교를 위해, 모든 베이스라인을 동일한 256×256 해상도로 처음부터 재학습하였다. 300장의 테스트 이미지 세트에서 CFRNet은 최고의 지각적 점수(3 사이클에서 LPIPS 0.250으로, 1 사이클 대비 31% 낮음)를 달성했으며, 2 사이클에서 최고의 PSNR 및 SSIM도 기록했다. HiSilicon Hi3402 NPU에서 INT8로 사이클당 약 23ms로 실행되는 반면, 동일한 베이스라인들은 해당 칩에 컴파일될 수 없다. 사이클 수 k는 재학습 없이 간단한 품질 조절 파라미터로 기능한다: PSNR은 k=2에서 최적이며 LPIPS는 k=3까지 지속적으로 향상된다. 또한 동일한 아이디어가 배포하기 더 용이한 일반 CNN에서도 효과적임을 보이며, 차량 내 운전자 모니터링 보드에서 해당 모델을 실시간으로 실행함을 검증한다.