Rain Removal and Illumination Enhancement Done in One Go
원문 초록
Rain removal plays an important role in the restoration of degraded images. Recently, data-driven methods have achieved remarkable success. However, these approaches neglect that the appearance of rain is often accompanied by low light conditions, which will further degrade the image quality. Therefore, it is very indispensable to jointly remove the rain and enhance the light for real-world rain image restoration. In this paper, we aim to address this problem from two aspects. First, we proposed a novel entangled network, namely EMNet, which can remove the rain and enhance illumination in one go. Specifically, two encoder-decoder networks interact complementary information through entanglement structure, and parallel rain removal and illumination enhancement. Considering that the encoder-decoder structure is unreliable in preserving spatial details, we employ a detail recovery network to restore the desired fine texture. Second, we present a new synthetic dataset, namely DarkRain, to boost the development of rain image restoration algorithms in practical scenarios. DarkRain not only contains different degrees of rain, but also considers different lighting conditions, and more realistically simulates the rainfall in the real world. EMNet is extensively evaluated on the proposed benchmark and achieves state-of-the-art results. In addition, after a simple transformation, our method outshines existing methods in both rain removal and low-light image enhancement. The source code and dataset will be made publicly available later.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Edge-Computing-Enabled Deep Learning Approach for Low-Light Satellite Image Enhancement
Semantic Structure Enhanced Contrastive Adversarial Hash Network for Cross-media Representation Learning
UniGen-AR: 자기회귀 모델링을 통한 통합 시각 생성
UniGen-AR: Unifying Visual Generation with Auto-Regressive Modeling
현대 컴퓨터 비전(CV) 파이프라인은 여전히 분절되어 있으며, 텍스트-이미지 생성, 편집, 복원, 전통적인 인식(perception)과 같은 작업이 각각 별도의 모델로 처리된다. 우리는 단일 모델이 통합된 멀티모달 인터페이스를 통해 다양한 이미지 형태의 출력을 생성하는 통합 시각 생성(UVG)을 연구한다. 확산(diffusion) 기반 시스템은 뛰어난 품질과 제어 가능성(controllability)으로 UVG를 주도하지만, 반복적 샘플링으로 인해 상당한 추론 지연이 발생하여 실용적 배포를 제한한다. 이러한 한계를 해결하기 위해, 범용 멀티모달 언어 모델(MLLM)과 효율적인 next-scale 시각 자기회귀(VAR) 디코더를 결합한 프레임워크인 UniGen-AR를 제안한다. 이 설계는 MLLM 기반 조건화(conditioning)의 유연성을 유지하면서 VAR 모델의 샘플링 효율성과 잠재 공간 통합(latent unification) 특성을 활용한다. 우리 프레임워크에서 MLLM은 자유 형식의 지시와 제어 신호를 통합 시퀀스로 인코딩하며, 이는 VAR 디코더가 네 가지 계열에 걸친 15개 이상의 작업에 대해 이미지 형태의 출력을 생성하도록 안내한다. 실험적으로 UniGen-AR는 확산 기반 베이스라인 대비 최대 19배 낮은 추론 지연을 달성하면서 출력 품질을 유지하거나 개선한다. 우리의 ablation 연구는 VQ-VAE 토크나이저(tokenizer) 설계, 특히 codebook 크기와 계층 구조가 UVG에서 VAR 확장성(scalability)의 핵심 요인임을 추가로 밝힌다. 이 결과는 시각 자기회귀 모델링이 통합 시각 생성을 위한 설득력 있고 효율적인 백본(backbone)임을 입증한다. 프로젝트 페이지: https://zpbao.github.io/projects/unigenar.
RTFVE: 실시간 얼굴 비디오 향상
RTFVE: Realtime Face Video Enhancement
화상 회의 애플리케이션은 개인 및 업무 용도 모두에서 채택이 급증하고 있다. 그러나 전 세계 많은 사용자들이 직면한 대역폭 제한으로 인해 이러한 애플리케이션의 최적 활용이 저해될 수 있다. 심층 학습(deep learning)은 저비트레이트 비디오를 향상시키는 솔루션을 제공하지만, 오늘날 대부분의 모델은 최신 압축 표준과 통합하기 어렵거나 고성능 GPU와 같은 특수 하드웨어를 필요로 하여 실용성이 낮다. 이러한 문제를 해결하기 위해, 임의의 비디오 디코더와 손쉽게 통합할 수 있고 일반 CPU에서 실시간으로 실행 가능한 실시간 얼굴 비디오 향상(RTFVE) 모델을 제안한다. 실험 결과, 본 모델은 여러 저비트레이트 설정에서 압축 비디오 기준선 대비 지각적 품질을 향상시키는 것으로 나타났다. 소스 코드는 https://github.com/varun-jois/RTFVE에서 공개될 예정이다.
색상 명명을 활용한 이미지 향상
Leveraging Color Naming for Image Enhancement
이미지를 시각적으로 매력적으로 만들기 위한 향상은 컴퓨터 비전에서 지속적인 과제입니다. 많은 딥러닝 방법들은 전문가의 편집 스타일을 재현하기 위해 쌍으로 구성된 데이터셋으로 모델을 학습합니다. 그러나 이러한 접근법은 두 가지 핵심 문제, 즉 (1) 해석 가능성과 (2) 사용자 조정에 적합한 파라미터화 방식에서 어려움을 겪습니다. 이러한 문제를 해결하기 위해, 우리는 소프트웨어 도구에서 직관적인 편집을 위해 널리 사용되는 친숙한 색상들의 보편적 집합인 Color Naming 개념에서 영감을 받은 NamedCurves+를 제안합니다. 본 방법은 색상 이름을 학습 기반 프레임워크에 통합하여, 톤 커브(tone curve)를 통해 각 명명된 색상에 대한 전역적 조정을 가능하게 합니다. 지역적 이미지 변화에 대응하기 위해, 공간적 의존성을 포착하는 트랜스포머 블록을 도입하여 이미지 전반에 걸쳐 문맥 인식 편집을 수행합니다. NamedCurves+는 리터칭 과정의 해석 가능성을 높이고 사용자 상호작용을 지원하며, 개인 취향에 맞게 리터칭된 이미지를 정제하기 위한 개별 톤 커브의 유연한 수정을 허용합니다. 이미지 리터칭, 톤 매핑, 노출 보정 등의 작업에 대한 광범위한 실험에서 NamedCurves+는 최신 방법들을 능가하는 성능을 보입니다. 특히, 본 접근법은 톤 커브가 각 색상 이름이 향상에 어떻게 기여하는지를 명시적으로 나타내어 설명 가능하며, 사용자가 리터칭 과정을 커스터마이징하여 원하는 결과를 얻을 수 있도록 하는 인터랙티브한 특성을 갖습니다.
Enhancing Low-Light Images with Kolmogorov–Arnold Networks in Transformer Attention
토론
이 논문과 연결된 포럼 글이 아직 없습니다.