역문제를 위한 확산 기반 최적화기의 원칙적 설계
Principled Design of Diffusion-based Optimizers for Inverse Problems
한국어 초록
스코어 기반 확산 모델은 역문제에서 최첨단 성능을 달성하지만, 긴 추론 시간과 번거로운 하이퍼파라미터 튜닝으로 인해 실제 배포가 저해된다. 사전학습된 확산 모델은 재학습 없이 여러 태스크에 재사용할 수 있지만, 노이즈 스케줄과 사후 샘플링 가중치와 같은 추론 시점 하이퍼파라미터는 일반적으로 각 문제 설정마다 임시방편적인 조정이 필요하다. 우리는 불변성을 유도하는 원칙적 재매개화를 제안하여, 동일한 하이퍼파라미터를 재튜닝 없이 여러 문제에 걸쳐 재사용할 수 있게 한다. 또한 사후 샘플링을 최적화 문제로 재구성하는 RED-diff 프레임워크를 바탕으로, OptDiff 파이프라인을 추가로 개발한다. OptDiff는 추론을 가속하기 위한 볼록 최적화 도구의 통합을 용이하게 하는 간소화된 튜닝 프레임워크를 제공한다. 이미지 재구성, 디블러링, 초해상도에 대한 실험은 상당한 속도 향상과 향상된 이미지 품질을 보여준다.
원문 초록
Score-based diffusion models achieve state-of-the-art performance for inverse problems, but their practical deployment is hindered by long inference times and cumbersome hyperparameter tuning. While pretrained diffusion models can be reused across tasks without retraining, inference-time hyperparameters such as the noise schedule and posterior sampling weights typically require ad-hoc adjustment for each problem setup. We propose principled reparameterizations that induce invariances, allowing the same hyperparameters to be reused across multiple problems without re-tuning. In addition, building on the RED-diff framework, which reformulates posterior sampling as an optimization problem, we further develop the OptDiff pipeline. OptDiff provides a simplified tuning framework that facilitates the integration of convex optimization tools to accelerate inference. Experiments on image reconstruction, deblurring, and super-resolution show substantial speedups and improved image quality.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2605.11506v3제출 시각 미확인
- arXiv:2605.11506v2
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
적절한 잠재 공간에서의 초해상도: 동결된 비전 파운데이션 기저
Super-Resolution in The Right Latent Space: A Frozen Vision-Foundation Substrate
이미지 잠재 공간(latent space)에서 고해상도의 자연스럽고 선명한 이미지 임베딩은 하나의 다양체(manifold)를 형성합니다. 고해상도 이미지가 열화되면 해당 임베딩은 이 다양체 밖으로 밀려납니다. 따라서 실세계 초해상도(SR, super-resolution)는 열화된 임베딩을 다시 이 다양체로 매핑하는 작업이 됩니다. 이때 다양체 위의 임의의 위치가 아니라 입력이 여전히 담고 있는 시맨틱과 픽셀 세부 정보를 모두 보존하는 지점으로 매핑해야 합니다. 기존에 발표된 모든 방법은 이러한 매핑을 재구성 지향적 잠재 공간이나 픽셀 공간에서 구현합니다. 저자들은 이러한 공간이 SR에 적합하지 않은 기저(substrate)라고 주장합니다. 저해상도 및 열화된 이미지는 다양체에서 멀리 떨어진 곳에 임베딩되므로 매핑이 어렵고 연산 비용이 많이 듭니다. 또한 이러한 기저에는 시맨틱 정보가 부족하여 다양체 상의 정확한 지점을 찾아가기 어려우며, 열화가 심할 때 심각한 환각(hallucination)을 유발합니다. 따라서 적절한 잠재 공간에서 복원하는 것이 SR 작업에서 매우 중요합니다. 본 논문에서는 동결된 DINOv3-L의 23개 레이어를 융합한 잠재 공간이 SR 작업을 더 쉽게 만드는 공간 중 하나임을 보입니다. 열화된 이미지가 다양체 근처에 임베딩되며, 나아가 이 기저는 픽셀 기록부터 열화에 강건한 시맨틱에 이르기까지 계층적 정보를 포함하고 있어 모델이 다양체 상의 충실한 지점을 찾도록 유도합니다. 이 기저 위에서 415M 디코더는 재구성 및 적대적 목표 함수 하에 학습되어 열화된 임베딩을 다시 매핑하고 단일 패스로 픽셀 공간으로 디코딩합니다. 그 결과 제안하는 모델인 RAESR은 단일 H20 GPU에서 512x512 이미지당 37ms의 속도로 RealSR, DRealSR, LSDIR, DIV2K-Val 벤치마크에서 최신 적대적 및 확산 기반 복원기들 중 가장 우수한 충실도-지각 트레이드오프(fidelity-perception trade-off)를 달성합니다. 동일한 학습 방식으로 기저를 VAE 잠재 공간으로 교체했을 때는 모든 지표에서 성능이 저하되었습니다.
C$^{2}$-INR: 맞춤형 합성곱 암시적 신경 표현
C$^{2}$-INR: Customized Convolutional Implicit Neural Representation
암시적 신경 표현(INR)은 신경망을 활용하여 이미지와 같은 이산 신호를 연속적인 신호로 표현하며, 이때 신경망 가중치는 신호 자체의 압축된 형태 역할을 합니다. 기존의 대부분의 INR 방법은 백본으로 다층 퍼셉트론(MLP)을 채택합니다. 이러한 모델들은 각 픽셀을 독립적으로 렌더링하기 때문에, 이웃한 픽셀 사이에 존재하는 공간적 상관관계를 본질적으로 활용하지 못합니다. 반면, 합성곱(convolutional) INR은 픽셀 간의 의존성을 본질적으로 고려하면서 픽셀을 병렬로 처리할 수 있어 이미지를 표현하는 데 더욱 자연스럽게 부합합니다. 그럼에도 불구하고 합성곱 INR은 상대적으로 덜 연구되었으며, 대부분은 고정된 구조적 설정에 의존하여 이미지 맞춤형 적응을 위한 여지를 거의 남겨두지 않습니다. 본 논문에서는 합성곱 INR을 위한 신경망 맞춤화(network customization)를 연구합니다. 우리는 기존 필터를 비정형 방향성 커널로 대체하며, 이들의 할당은 이미지 스펙트럼의 방향성 에너지에 의해 안내됩니다. 즉, 더 강한 에너지를 나타내는 방향에 더 많은 수의 커널이 할당되어 콘텐츠에 맞춤화된 합성곱 설정을 가능하게 합니다. 이러한 커널들은 우수한 희소 표현을 달성하기 위해 직교 기저(orthogonal basis)를 통해 추가로 재구성됩니다. 나아가, 우리는 각 합성곱 커널에 가장 적합한 활성화 함수를 부여하는 어닐링된 검벨-소프트맥스(Gumbel-Softmax) 기반의 커널 단위 활성화 함수 선택 메커니즘을 도입합니다. 광범위한 실험을 통해 우리의 방법인 C$^{2}$-INR이 표현, 인페인팅, 초해상도를 포함한 광범위한 이미지 처리 작업 전반에서 유사한 매개변수 예산 하에 최첨단 접근법 대비 우수한 성능을 달성함을 입증합니다.
Plug-and-Play 이미지 복원을 위한 불일치 Proximal 디노이저의 도메인 적응
Domain Adaptation of Mismatched Proximal Denoiser for Plug-and-Play Image Reconstruction
플러그 앤 플레이(Plug-and-Play) proximal 경사하강법(PnP-PGD)은 디노이저를 암시적 사전(prior)으로 사용하여 유연한 이미지 복원을 가능하게 한다. 실무에서는 이러한 디노이저가 종종 학습 도메인 밖에서 배포된다. 기존 분석은 배포된 디노이저에 대한 구조적 가정—예를 들어 proximal map이거나 수축(contraction)이어야 한다는 조건—하에서 수렴을 확립한다. 그러나 도메인 불일치가 PnP-PGD의 수렴에 미치는 영향을 측정하지는 않는다. 우리는 이 효과를 proximal mismatch로 정의한다: 배포된 디노이저 $\widehat{\mathsf D}$와 기저 정규화자(regularizer) $R_\star$에 연관된 목표 도메인 참조 map $\mathsf D_\star=\operatorname{prox}_{R_\star}$ 사이의 불일치이다. 이러한 불일치 하에서 각 디노이징 업데이트는 목표 목적함수에 대한 부정확(inexact) proximal 단계가 된다. 우리는 추가로 $\mathcal{O}(1/K)$의 속도로 감쇠하는 정상성(stationarity) bound를 도출하며, 평균 제곱 proximal mismatch에 비례하는 가산항을 포함한다. 이 결과는 MSE 기반 적응만으로는 부족하고 proximal matching을 통한 적응을 동기 부여한다. 우리는 학습된 proximal network와 gradient-step 디노이저라는 두 가지 확립된 디노이저 계열로 이 접근법을 연구한다. 상당한 도메인 이동(domain shift) 하에서 가우시안 디블러링(Gaussian deblurring)과 초해상도(super-resolution)에 대한 실험은 proximal matching 적응이 MSE 기반 적응보다 복원 품질을 유의미하게 향상시키며, 퓨샷(few-shot) 영역에서 가장 큰 수치적 이득을 보인다는 것을 보여준다.
깊이 조건부 적응을 통한 참조 효율적인 멀티모달 비트스트림 손상 비디오 복원
Reference-Efficient Multimodal Bitstream-Corrupted Video Recovery via Depth-Conditioned Adaptation
손상된 비디오 비트스트림에서 시각적으로 충실한 콘텐츠를 복원하는 것은 신뢰할 수 있는 멀티미디어 통신 및 저장에 매우 중요합니다. 기존 방식들은 입력 비디오 시퀀스의 국소적 잔차(local residuals)와 비국소적(non-local) RGB 참조를 활용하지만, 두 원천 모두 디코딩 후 신뢰할 수 없게 될 수 있으며, 추가적인 참조를 처리하는 것은 수신측의 연산 및 메모리 부담을 증가시킵니다. 본 논문에서는 수신된 외관 정보가 손상되었을 때 전송 전 깊이(depth) 기반 기하학적 정보가 재구성을 돕는 RGB 및 깊이 정보를 활용한 멀티모달 비트스트림 손상 비디오 복원(MBSCVR)을 연구합니다. 우리는 더 높은 성능을 달성하기 위해 복원 윈도우당 단 하나의 선택된 비국소적 RGB 참조만을 선별하여 효과적으로 활용하는 새로운 MBSCVR 프레임워크를 제안합니다. 이 프레임워크는 참조 인코딩 전에 유효한 외관 정보와 깊이 호환성을 결합하는 신뢰성 인식 멀티모달 선택기를 통합합니다. 깊이 조건부 참조 적응(DCRA)은 선택된 RGB 단서를 특징(feature) 완성 및 콘텐츠 생성에 도입하는 한편, 프레임 정렬된 깊이는 완성 쿼리를 조건화합니다. 오라클 마스크를 적용한 완전한 BSCV 벤치마크에서, MBSCVR은 단 하나의 선택된 참조만을 사용하여 YouTube-VOS에서 32.30 dB, DAVIS에서 28.93 dB를 달성함으로써 전체 참조를 사용하는 B2SCVR을 각각 0.27 dB 및 0.33 dB 앞서고 두 서브셋 모두에서 SSIM을 향상시켰습니다. 동일 조건의 수신측 순방향 측정 결과에서는 지연 시간이 36.8% 감소하고 최대 메모리가 40.8% 감소한 것으로 나타났습니다. 이러한 결과는 간결한 기하학적 유도와 적응형 외관 처리가 멀티미디어 복원의 품질과 자원 간의 절충(trade-off)을 어떻게 개선하는지 보여줍니다.
정확한 가우시안 조건화를 통한 확산 및 흐름 기반 사후 샘플링 포괄
Spanning Diffusion and Flow-based Posterior Sampling via Exact Gaussian Conditioning
흐름 매칭(flow-matching) 및 확산 모델(diffusion model)은 선형 역문제(linear inverse problem)의 사전확률(prior)로 점점 더 많이 활용되고 있으나, 대부분의 방법은 특정 궤적 사전확률 클래스에만 맞춤화되어 있습니다. 플러그 앤 플레이(plug-and-play) 방식들이 제안되었지만, 이들은 유도된 궤적의 상관관계를 암묵적으로 해제하여 데이터가 희소할 때 성능이 저하될 수 있는 넓은 사전확률을 형성합니다. 본 연구에서는 흐름, 확산 및 탈상관된 사전확률을 일반화하는 상관 매개변수 $β$와 경로 분포가 얼마나 강하게 적용되는지를 제어하는 신뢰도 매개변수 $κ$로 색인화된 범용 플러그 앤 플레이 방법인 $β$-Flow를 제안합니다. 각 단계는 노이즈 제거 네트워크의 단 한 번의 순전파 평가만을 필요로 하며, 이후 가우시안 조건화 단계가 이어집니다. 이 조건화 단계는 네트워크 그래디언트에 의존하지 않는 정확한 칼만 업데이트(Kalman update)입니다. 우리는 기존의 많은 가이드 샘플러들이 칼만 이득 대신 서로 다른 궤적 사전확률과 연산자를 암묵적으로 사용하는 본 방법의 인스턴스 또는 근사치로 해석될 수 있음을 보여줍니다. 이러한 관점에서 우리는 암묵적 편향 및 가정의 측면에서 방법들의 정성적 비교를 제공합니다. 또한 4개 데이터셋에 걸친 7개의 역문제에서 PSNR 및 SSIM 기준으로 일관되게 최고 수준(SOTA)의 성능을 달성함을 입증합니다. 아울러 관측 정보가 적을 때는 높은 신뢰도의 강한 상관관계(엄격한 사전확률)가 가장 효과적이며, 관측 정보가 많을 때는 낮은 상관관계가 선호된다는 점을 보여줌으로써 베이즈 추론(Bayesian inference)에서 사전확률과 가능도(likelihood)의 상호보완적 역할을 반영하는 이러한 사전확률 제어의 유용성을 입증합니다.
어닐링된 노이즈 레벨을 갖는 수렴형 Plug-and-Play 영상 복원
Convergent Plug-and-Play Image Restoration with Annealed Noise Levels
플러그 앤 플레이(Plug-and-Play, PnP) 방법은 반복 최적화(optimization) 알고리즘에 딥러닝 기반 디노이저를 통합하여 영상 역문제(inverse problem)를 해결합니다. 실제 구현에서는 반복에 따라 디노이저 노이즈 레벨 $σ$를 점차 감소시키는 경우가 많지만, 기존의 대부분의 수렴 분석은 고정된 디노이저를 가정합니다. 본 연구에서는 결정론적 방법(RED--GD 및 PnP--PGD)과 확률론적 방법(SNORE, 동변 RED, 그리고 PnP--Flow의 변형)을 아우르는, 어닐링된 노이즈 레벨을 갖는 광범위한 플러그 앤 플레이 알고리즘 계열에 대한 수렴 보장을 확립합니다. 각 방법에 대해 최종 디노이징 레벨과 연관된 명시적인 비볼록(nonconvex) 목적 함수를 식별하고, 해당 목적 함수에 대한 반복점들의 점근적 정상성(asymptotic stationarity)을 증명합니다. 우리의 분석은 노이즈 스케줄에 특정한 감쇠율을 강제하지 않으며, 학습된 그래디언트 단계 디노이저와 정확한 MMSE 디노이저를 모두 포함하는 가정을 채택합니다. 전반적으로, 본 연구의 이론적 결과는 기존 PnP 수렴 이론과 최신 영상 복원 기법에서 사용되는 감쇠 디노이징 실무 사이의 간극을 메웁니다. 우리는 이러한 스케줄의 이점을 실험적으로 입증하고, 인페인팅(inpainting), 초해상도(super-resolution), 디모자이킹(demosaicing), 단층촬영(tomography)을 포함한 여러 영상 역문제에서 예측된 수렴 거동을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
34 pages, 7 figures, 5 tables