Retinexformer: 저조도 영상 향상을 위한 단일 단계 Retinex 기반 트랜스포머
Retinexformer: One-stage Retinex-based Transformer for Low-light Image Enhancement
저조도 영상을 향상할 때 많은 딥러닝 알고리즘은 Retinex 이론에 기반한다. 그러나 Retinex 모델은 어둠 속에 숨어 있거나 밝게 하는 과정에서 발생하는 손상을 고려하지 않는다. 또한 이러한 방법은 대개 번거로운 다단계 학습 파이프라인을 요구하고 합성곱 신경망에 의존하여 장거리 의존성을 포착하는 데 한계를 보인다. 본 논문에서는 단순하면서도 원리에 충실한 단일 단계 Retinex 기반 프레임워크(ORF)를 정식화한다. ORF는 먼저 조명 정보를 추정하여 저조도 영상을 밝게 한 다음, 손상을 복원하여 향상된 영상을 생성한다. 조명 표현을 활용하여 서로 다른 조명 조건을 가진 영역들 간의 비국소적 상호작용 모델링을 유도하는 조명 유도 트랜스포머(IGT)를 설계한다. IGT를 ORF에 결합하여 제안 알고리즘인 Retinexformer를 얻는다. 포괄적인 정량적·정성적 실험을 통해 Retinexformer가 13개 벤치마크에서 최신 방법들을 크게 능가함을 보인다. 사용자 연구와 저조도 객체 검출에의 응용 또한 본 방법의 잠재적인 실용적 가치를 보여 준다. 코드, 모델 및 결과는 https://github.com/caiyuanhao1998/Retinexformer 에서 이용할 수 있다. 온라인 Gradio 데모는 Hugging Face의 https://huggingface.co/spaces/CaiYuanhao/Retinexformer 에서 이용할 수 있다.