arXiv:2207.12056

REPNP: Plug-and-Play with Deep Reinforcement Learning Prior for Robust Image Restoration

Chong Wang, Rongkai Zhang, Saiprasad Ravishankar, Bihan Wen

제출 2022-07-25

원문 초록

Image restoration schemes based on the pre-trained deep models have received great attention due to their unique flexibility for solving various inverse problems. In particular, the Plug-and-Play (PnP) framework is a popular and powerful tool that can integrate an off-the-shelf deep denoiser for different image restoration tasks with known observation models. However, obtaining the observation model that exactly matches the actual one can be challenging in practice. Thus, the PnP schemes with conventional deep denoisers may fail to generate satisfying results in some real-world image restoration tasks. We argue that the robustness of the PnP framework is largely limited by using the off-the-shelf deep denoisers that are trained by deterministic optimization. To this end, we propose a novel deep reinforcement learning (DRL) based PnP framework, dubbed RePNP, by leveraging a light-weight DRL-based denoiser for robust image restoration tasks. Experimental results demonstrate that the proposed RePNP is robust to the observation model used in the PnP scheme deviating from the actual one. Thus, RePNP can generate more reliable restoration results for image deblurring and super resolution tasks. Compared with several state-of-the-art deep image restoration baselines, RePNP achieves better results subjective to model deviation with fewer model parameters.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13354v1cs.AI공통 태그 Reinforcement Learning (RL), Deep Reinforcement Learning

AlphaNIST: 이진 작업 보상으로부터 발현되는 조립 기술

AlphaNIST: Emergent Assembly Skills from Binary Task Rewards

NIST Assembly Task Board #1은 로봇 조작(robotic manipulation) 분야의 학습(training) 기반 방법론에 여전히 까다로운 벤치마크(benchmark)입니다. 단기적으로는 작고 정밀하게 맞물리는 부품에 대한 정밀하고 접촉이 빈번한 제어가 요구되며, 장기적으로는 확장된 행동 시퀀스 전반에 걸친 복구 및 조율 능력이 필요합니다. 그동안 데모(demonstration), 작업 분해, 조밀한 진행 보상(reward)은 조립 방법에 대한 지침을 제공함으로써 연구 발전을 이끌어왔습니다. 하지만 전략을 얼마나 구체적으로 명시해야 할까요? AlphaGo에서 AlphaGo Zero로의 발전은 대규모 강화학습(RL)이 이기는 방법을 규정하지 않고도 초인적인 전략을 발견할 수 있음을 보여주었습니다. AlphaNIST는 희소한 이진 작업 보상과 이러한 작업 무관(task-agnostic) 보상이 허용하는 작업 다양성을 통해 로봇이 유사하게 조립 방법을 스스로 발견할 수 있는지 묻습니다. 시뮬레이션 환경에서 데모, 진행 셰이핑(progress shaping), 스크립트 기반 프리미티브, 작업별 튜닝 없이 NIST Assembly Task Board #1의 전체 20개 조립 작업에 대해 단일 정책을 처음부터(from scratch) 학습시켜 98.2%의 전체 학습 성공률을 달성했습니다. 또한 본 프레임워크는 정해진 순서 없이 단일 에피소드에서 10개의 조립 쌍을 완료하도록 정책을 학습시키며, 작업 성공 보상은 10개 쌍이 모두 동시에 완료될 때만 주어집니다. 학습된 정책은 정교한 파지(grasping) 선택, 주변 형상을 활용한 부품 재정렬, 명시적 플래너 없이 한 부품을 준비하고 다른 부품을 조립한 뒤 다시 돌아와 첫 번째 부품을 완성하는 등 기민하고 계획(planning)과 유사한 행동을 발견합니다. 영상은 웹사이트(https://alpha-nist.github.io/)를 참조하십시오.

arXiv:2607.21078v1cs.CV공통 태그 Image Restoration, Deblurring

디포커스 디블러링을 위한 RealDefocus 벤치마크

The RealDefocus Benchmark for Defocus Deblurring

단일 이미지 디포커스 디블러링(SIDD)은 단일 디포커스 관측 이미지로부터 초점이 맞춰진(all-in-focus) 이미지를 복원하는 것을 목표로 하지만, 잘 정렬된 디포커스/선명(sharp) 쌍과 표준화된 프로토콜을 갖춘 사실적 고해상도 데이터셋이 부족하여 엄격하고 재현 가능한 평가는 여전히 어렵다. 본 연구는 Bokeh Rendering을 위해 처음 제안된 실세계 RealBokeh 데이터셋에서 파생된 벤치마크인 RealDefocus를 기반으로 한다. RealDefocus는 디포커스 입력과 선명한 ground truth 이미지 쌍, 사전 정의된 학습/검증/테스트 분할, 이미지 복원(image restoration) 및 신경 렌더링(neural rendering) 접근법을 비교하기 위한 통합 평가 프레임워크를 제공한다. 또한 재구성 품질과 일반화(generalization)를 평가하기 위해 교차-데이터셋 검증(cross-dataset validation)을 포함한 벤치마킹 프로토콜을 제시한다. 프로젝트 페이지는 www.github.com/TimSeizinger/RealDefocus-Benchmark에서 공개적으로 이용할 수 있다.

arXiv:2607.14990v1cs.CV공통 태그 Image Restoration, Deblurring

JADE-GS: 3D Gaussian Splatting에서 이벤트로 안내된 교대 블러 제거

JADE-GS: Joint Alternating Deblurring Guided by Events in 3D Gaussian Splatting

노출 중 카메라가 빠르게 움직이면, 블러는 선명한 장면을 복원하는 데 3D 모델이 필요로 하는 노출 내(intra-exposure) 움직임을 파괴하지만, 이벤트 카메라는 마이크로초(microsecond) 해상도로 바로 이 신호를 포착한다. 이를 신뢰할 수 있는 3D 지도(supervision)로 활용하려면 두 가지 장애물에 직면한다. 첫째, 두 가지 복원 사전(prior)이 상반된 방식으로 실패한다: 물리 기반 이벤트 적분(integration) 사전은 에지를 보존하지만 드리프트(drift)가 누적되고, 학습된 네트워크는 질감(texture)은 복구하지만 경계를 왜곡한다. 둘째, 기존 파이프라인은 한 방향으로만 동작하므로, 원시 이벤트 노이즈나 고정된 2D 의사 레이블(pseudo-label)의 편향(bias)이 보정 없이 기하(geometry)로 전달된다. JADE-GS는 두 문제를 모두 해결한다: 픽셀 적응형 라우팅 게이트(pixel-adaptive routing gate)가 상호 보완적 사전을 융합하고, 그로부터 얻은 2D 복원기(restorer)는 양방향 루프에서 3D Gaussian Splatting 학생(student) 모델과 결합된다. 여기서 분리된(detached) 다중 시점 일관 렌더링(multi-view-consistent renders)과 물리 기반 재블러(reblurring) 제약이 복원기를 정규화(regularize)하여 고정 전처리기(preprocessor)를 기하 인식(geometry-aware) 예측기로 전환한다. 합성 및 실제 벤치마크(benchmark) 전반에서 JADE-GS는 최고의 지각(perceptual) 품질을 달성하여 두 벤치마크 모두에서 LPIPS와 CLIP-IQA를 선도하고 PSNR과 SSIM은 경쟁력 있는 수준을 보이며, 단일 소비자 GPU에서 5GB 미만으로 약 1시간 만에 학습(training)되면서 실시간 렌더링을 유지한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.