arXiv:2607.25390v1 cs.CV

확산 사전 확률을 활용한 태스크 주도형 이미지 복원을 위한 노이즈 없는 1단계 LoRA

Noise-Free One-Step LoRA for Task-Driven Image Restoration with Diffusion Priors

Jaeha Kim, Kyoung Mu Lee

제출 2026-07-28

한국어 초록

품질이 저하된 이미지는 시각적 품질을 떨어뜨릴 뿐만 아니라 다운스트림 고수준 비전 태스크의 성능도 저하시킵니다. 태스크 주도형 이미지 복원(TDIR)은 복원 품질과 태스크 성능을 공동으로 최적화하여 이 문제를 해결합니다. 최근 연구들은 사전학습된 확산 사전 확률(diffusion priors)이 TDIR에 도움이 된다는 것을 보여주지만, 샘플링 과정이 무작위 노이즈 항에 의존하기 때문에 확산 기반 복원은 본질적으로 확률적이며, 이는 태스크 일관성을 저해할 수 있습니다. 본 논문에서는 사전학습된 확산 사전 확률을 사용한 결정론적이고 노이즈가 없는 1단계 순전파(forward pass)가 TDIR을 크게 향상시킬 수 있음을 보이지만, 그 이점은 적응 모듈에 크게 좌우된다는 점을 밝힙니다. 즉, LoRA는 일관된 성능 향상을 가져오는 반면 ControlNet 스타일의 조건화(conditioning)는 그렇지 못합니다. 이를 통해 기존의 다단계 확산 TDIR 베이스라인을 능가하는 1단계 포워딩이 가능해집니다. 나아가 본 논문에서는 태스크 성능을 희생하지 않으면서 지각적 품질을 개선하는 태스크 보존형 생성적 적대 신경망(GAN) 학습 전략을 도입합니다. 분류(classification), 분할(segmentation), 검출(detection)에 대한 광범위한 실험을 통해 이전 TDIR 방법 대비 일관된 성능 향상을 입증하였으며, 실제 환경의 저하된 이미지 및 OCR에서의 일반화 성능도 추가로 검증하였습니다.

원문 초록

Degraded images not only reduce visual quality but also impair downstream high-level vision tasks. Task-driven image restoration (TDIR) addresses this issue by jointly optimizing restoration quality and task performance. Recent works show that pretrained diffusion priors benefit TDIR, yet diffusion-based restoration is inherently stochastic, as the sampling process depends on a random noise term, which can undermine task consistency. In this paper, we show that a deterministic, noise-free one-step forward pass with pretrained diffusion priors can substantially improve TDIR, but the benefit critically depends on the adaptation module: LoRA yields consistent gains, whereas ControlNet-style conditioning does not. This enables one-step forwarding that surpasses conventional multi-step diffusion TDIR baselines. Furthermore, we introduce a task-preserving GAN training strategy that improves perceptual quality without sacrificing task performance. Extensive experiments on classification, segmentation, and detection demonstrate consistent gains over prior TDIR methods, and we further validate generalization on real-world degraded images and OCR.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.25390v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.