arXiv:2312.06723

Learning to See Low-Light Images via Feature Domain Adaptation

Qirui Yang, Qihua Cheng, Huanjing Yue, Le Zhang, Yihao Liu, Jingyu Yang

제출 2023-12-11

원문 초록

Raw low light image enhancement (LLIE) has achieved much better performance than the sRGB domain enhancement methods due to the merits of raw data. However, the ambiguity between noisy to clean and raw to sRGB mappings may mislead the single-stage enhancement networks. The two-stage networks avoid ambiguity by decoupling the two mappings but usually have large computing complexity. To solve this problem, we propose a single-stage network empowered by Feature Domain Adaptation (FDA) to decouple the denoising and color mapping tasks in raw LLIE. The denoising encoder is supervised by the clean raw image, and then the denoised features are adapted for the color mapping task by an FDA module. We propose a Lineformer to serve as the FDA, which can well explore the global and local correlations with fewer line buffers (friendly to the line-based imaging process). During inference, the raw supervision branch is removed. In this way, our network combines the advantage of a two-stage enhancement process with the efficiency of single-stage inference. Experiments on four benchmark datasets demonstrate that our method achieves state-of-the-art performance with fewer computing costs (60% FLOPs of the two-stage method DNF). Our codes will be released after the acceptance of this work.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23680v1cs.CV공통 태그 Denoising, Domain Adaptation

견고하고 주석 효율적인 식물 스트레스 표현형 분석을 위한 섭동 인식 확산 가이드 하이브리드 분할

Perturbation-Aware Diffusion-Guided Hybrid Segmentation for Robust and Annotation-Efficient Plant Stress Phenotyping

농업 영상에서의 의미 분할(semantic segmentation)은 종종 도메인 내(in-domain) 프로토콜 하에서 평가되지만, 실제 배포에서는 외관 섭동, 제한된 주석, 교차 도메인(cross-domain) 이동에 대한 견고성이 필요하다. 본 논문은 U-Net, DeepLabV3+, SegFormer 백본이 거친 마스크를 생성하고, 이를 Denoising Diffusion Probabilistic Models (DDPM), 잠재 확산(latent diffusion), 또는 의미 가이드 확산(semantic-guided diffusion)으로 정제하는 확산 가이드 하이브리드 분할 프레임워크를 제안한다. 해당 프레임워크는 PlantSegV3에서 3x3 아키텍처 스크리닝 연구를 통해 평가되며, 이어 경계 제약 최적화, 섭동 가이드 재학습, 저데이터 평가, 제약 하이퍼파라미터 스크리닝, 통제된 교차 도메인 적응을 수행한다. PlantSegV3에서 최고로 선정된 하이브리드 모델은 정제된 평균 Intersection-over-Union (mIoU) 71.83%와 정제된 Boundary-F1 26.10%를 달성하며, 선정된 모델들은 감독을 대폭 줄인 조건에서도 안정성을 유지하여 강한 주석 효율성을 보여준다. 섭동 분석은 그레이스케일 변환, 안개, 거친 드롭아웃, 그림자를 가장 파괴적인 외관 변화로 식별하며, 그에 따른 증강 정책이 재학습 동안 견고성을 크게 향상시킨다. 적응된 모델은 제한된 타깃 감독 하에서 외부 농업 데이터셋으로의 효과적인 전이를 추가로 보여주며, 이는 확산 정제와 경계 인식 최적화가 전이 가능한 구조적 사전(prior)을 제공함을 시사한다. 전반적으로, 결과는 섭동 인식 재학습과 결합된 신중하게 매칭된 백본-정제기 쌍이 현실적인 자원 및 분포 제약 하에서 구조적 윤곽화와 견고성을 개선할 수 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.