arXiv:2504.01243

FUSION: Frequency-guided Underwater Spatial Image recOnstructioN

Jaskaran Singh Walia, Shravan Venkatraman, Pavithra LK

제출 2025-04-01

원문 초록

Underwater images suffer from severe degradations, including color distortions, reduced visibility, and loss of structural details due to wavelength-dependent attenuation and scattering. Existing enhancement methods primarily focus on spatial-domain processing, neglecting the frequency domain's potential to capture global color distributions and long-range dependencies. To address these limitations, we propose FUSION, a dual-domain deep learning framework that jointly leverages spatial and frequency domain information. FUSION independently processes each RGB channel through multi-scale convolutional kernels and adaptive attention mechanisms in the spatial domain, while simultaneously extracting global structural information via FFT-based frequency attention. A Frequency Guided Fusion module integrates complementary features from both domains, followed by inter-channel fusion and adaptive channel recalibration to ensure balanced color distributions. Extensive experiments on benchmark datasets (UIEB, EUVP, SUIM-E) demonstrate that FUSION achieves state-of-the-art performance, consistently outperforming existing methods in reconstruction fidelity (highest PSNR of 23.717 dB and SSIM of 0.883 on UIEB), perceptual quality (lowest LPIPS of 0.112 on UIEB), and visual enhancement metrics (best UIQM of 3.414 on UIEB), while requiring significantly fewer parameters (0.28M) and lower computational complexity, demonstrating its suitability for real-time underwater imaging applications.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13812v1cs.LG공통 태그 Image Reconstruction, SSIM

정확한 가우시안 조건화를 통한 확산 및 흐름 기반 사후 샘플링 포괄

Spanning Diffusion and Flow-based Posterior Sampling via Exact Gaussian Conditioning

흐름 매칭(flow-matching) 및 확산 모델(diffusion model)은 선형 역문제(linear inverse problem)의 사전확률(prior)로 점점 더 많이 활용되고 있으나, 대부분의 방법은 특정 궤적 사전확률 클래스에만 맞춤화되어 있습니다. 플러그 앤 플레이(plug-and-play) 방식들이 제안되었지만, 이들은 유도된 궤적의 상관관계를 암묵적으로 해제하여 데이터가 희소할 때 성능이 저하될 수 있는 넓은 사전확률을 형성합니다. 본 연구에서는 흐름, 확산 및 탈상관된 사전확률을 일반화하는 상관 매개변수 $β$와 경로 분포가 얼마나 강하게 적용되는지를 제어하는 신뢰도 매개변수 $κ$로 색인화된 범용 플러그 앤 플레이 방법인 $β$-Flow를 제안합니다. 각 단계는 노이즈 제거 네트워크의 단 한 번의 순전파 평가만을 필요로 하며, 이후 가우시안 조건화 단계가 이어집니다. 이 조건화 단계는 네트워크 그래디언트에 의존하지 않는 정확한 칼만 업데이트(Kalman update)입니다. 우리는 기존의 많은 가이드 샘플러들이 칼만 이득 대신 서로 다른 궤적 사전확률과 연산자를 암묵적으로 사용하는 본 방법의 인스턴스 또는 근사치로 해석될 수 있음을 보여줍니다. 이러한 관점에서 우리는 암묵적 편향 및 가정의 측면에서 방법들의 정성적 비교를 제공합니다. 또한 4개 데이터셋에 걸친 7개의 역문제에서 PSNR 및 SSIM 기준으로 일관되게 최고 수준(SOTA)의 성능을 달성함을 입증합니다. 아울러 관측 정보가 적을 때는 높은 신뢰도의 강한 상관관계(엄격한 사전확률)가 가장 효과적이며, 관측 정보가 많을 때는 낮은 상관관계가 선호된다는 점을 보여줌으로써 베이즈 추론(Bayesian inference)에서 사전확률과 가능도(likelihood)의 상호보완적 역할을 반영하는 이러한 사전확률 제어의 유용성을 입증합니다.

arXiv:2601.04785v2cs.CV공통 태그 Image Reconstruction, SSIM

SRUG: 의료 영상 변환을 위한 융합 기반 생성기 네트워크

SRUG: A Fusion-Driven Generator Network for Medical Image Translation

MRI 시퀀스 합성은 환자 고유의 해부학적 구조를 보존하면서 결측된 영상 대비를 복원하는 것을 목표로 합니다. 생성 메커니즘의 선택은 최적화(optimization)뿐만 아니라 소스 정보가 합성된 영상에 전달되는 방식 모두에 영향을 미칩니다. 본 연구에서는 쌍을 이루는(paired) MRI 합성을 위해 결정론적 소스-타깃 매핑을 학습하는 지도형 독립 융합 기반 생성기인 SRUG를 제안합니다. 이 모델의 직접 재구성 정식화는 생성기-판별기 간 경쟁을 제거하며, 변분 잠재 샘플링이나 반복적인 확산(diffusion) 디노이징을 필요로 하지 않습니다. 이러한 정식화 내에서 구조적 충실도를 지원하기 위해, SRUG는 풀 해상도 합성곱 스템, 풀링(pooling)으로 분리된 특징 단계, 잔차 브랜치에 임베딩된 채널 재보정을 갖추고 영상 재구성에 맞게 조정된 잔차 인코더를 사용합니다. 중첩 다중 스케일 디코더(NMD)는 결과 공간 특징들을 반복적으로 융합하고 단일 출력 헤드를 통해 타깃 시퀀스를 예측합니다. L1 손실(loss)과 다중 스케일 구조적 손실(MSS loss)이 예측을 공동으로 지도하여, 직접 생성 목표를 해부학적 세부 정보 복원과 연결합니다. BraTS 2023 데이터셋에 대한 실험은 세 가지 MRI 변환 태스크 전반에서 경쟁력 있는 재구성 충실도와 구조적 일관성을 보여줍니다. 아키텍처 절제 연구는 동일한 생성기 프레임워크 내에서 채널 재보정, NMD, 구조적 지도의 효과를 평가합니다. IXI 데이터셋에 대한 추가 평가는 또 다른 데이터셋 및 모달리티 쌍에 대한 적용 가능성을 뒷받침하며, BraTS 2019에 대한 제로샷(zero-shot) 테스트는 데이터셋 간 전이 가능성에 대한 예비적 증거를 제공합니다. 이러한 결과는 조정된 인코딩 및 재구성 경로가 구조 보존의 기초를 제공함으로써 직접 지도 생성이 쌍을 이루는 MRI 시퀀스 합성에 실용적인 접근법임을 뒷받침합니다. SRUG 구현체는 https://github.com/RisingRich/SRUG 에서 공개되어 있습니다.

arXiv:2604.20594v2cs.CV공통 태그 Image Reconstruction, SSIM

움직임에 강건한 망막 시계열 레이저 스펙클 대비 영상화를 위한 물리 기반 조건부 확산 모델

Physics-Informed Conditional Diffusion for Motion-Robust Retinal Temporal Laser Speckle Contrast Imaging

망막 레이저 스펙클 대비 영상화(LSCI)는 망막 혈류 역학을 모니터링하기 위한 비침습적 광학 방식입니다. 그러나 기존의 시계열 LSCI(tLSCI) 재구성은 안정적인 시간적 통계를 얻기 위해 충분히 긴 스펙클 시퀀스에 의존하므로, 획득 과정의 외란에 취약하고 유효 시간 해상도가 제한됩니다. 본 논문에서는 움직임에 강건하며 소수의 프레임만을 필요로 하는 망막 tLSCI를 위한 물리 기반 재구성 프레임워크인 RetinaDiff(망막 확산 모델)를 제안합니다. RetinaDiff에서는 대비 계산 전에 위상 상관 기반 정합을 먼저 적용하여 원시 스펙클 시퀀스를 안정화하고 프레임 간 불일치를 줄임으로써 각 픽셀의 변동이 주로 실제 혈류 역학을 반영하도록 합니다. 긴 정합 시퀀스로부터 이 단계는 재구성 타깃으로만 사용되는 고품질 다중 프레임 tLSCI 맵을 생성하는 한편, 소수의 입력 프레임으로부터 움직임이 보정된 대비 사전 분포(prior)를 독립적으로 계산합니다. 다음으로 이 사전 분포의 안내를 받아 조건부 확산 모델(diffusion model)이 정합된 소수 프레임 시퀀스와 사전 분포를 공동 조건으로 삼아 역재구성을 수행합니다. 자체 개발한 망막 LSCI 시스템으로 획득한 안정적인 시퀀스에서 RetinaDiff는 직접적인 5프레임 재구성과 비교하여 SSIM을 0.159에서 0.533으로, PSNR을 14.83에서 18.06 dB로, FID를 211.50에서 111.55로 향상시켰으며, 대표적인 베이스라인 대비 향상된 구조적 연속성과 통계적 안정성을 보여주었습니다. 또한 이 프레임워크는 직접적인 5프레임 입력과 기존 다중 프레임 재구성이 모두 심각하게 저하되는 소수의 극도로 까다로운 사례에서도 유효성을 유지합니다. 전반적으로 본 연구는 극히 제한된 프레임으로부터 신뢰할 수 있는 망막 tLSCI 재구성을 위한 실용적이고 물리적 기반을 갖춘 경로를 제공합니다. 소스 코드와 모델 가중치는 논문 채택 시 공개될 예정입니다.

arXiv:2607.10898v1cs.CV공통 태그 Image Reconstruction, SSIM

분할 기반 자기지도 희소뷰 CT 재건에서의 설계 선택

Design Choices in Splitting-Based Self-Supervised Sparse-View CT Reconstruction

자기지도 데이터 분할은 완전히 샘플링된 정답 데이터 없이 불완전한 측정값으로부터 학습을 가능하게 하는, 희소뷰(sparse-view) CT 재건을 위한 유망한 패러다임으로 부상하였다. 그러나 분할 전략, 전처리, 추론을 포함한 주요 설계 선택들의 영향은 아직 충분히 이해되지 않고 있다. 본 연구에서는 분할 기반 재건을 이 세 가지 구성 요소로 분해하는 통합 프레임워크를 제안하며, 이를 통해 기존 방법들의 통제된 비교와 두 가지 점진적 확장, 즉 다중 분할(multi-partition splitting) 및 대안적 추론 전략을 지원한다. 독립 및 상관 잡음 조건하에서의 시뮬레이션된 LoDoPaB-CT 데이터에 대한 실험과 실세계 2DeteCT 데이터셋에 대한 검증 결과, 최적의 분할 전략은 측정 잡음 구조에 강하게 의존하는 것으로 나타났다. 격자 기반 분할(lattice-based splitting)은 독립 잡음 조건에서 유리한 성능을 보이는 반면, 각도 마스킹(angular masking)은 상관 잡음 및 실제 측정 데이터에서 더 강인하다. 다중 분할은 여러 설정에서 순수 투영 방향 분할(projection-wise splitting)보다 일관되게 향상된 성능을 보인다. LPIPS 및 HaarPSI를 포함한 보완적인 지각적·구조적 지표들은 PSNR과 SSIM만으로는 덜 명확하게 드러나는 마스킹 전략 간의 차이를 보여준다. 이러한 결과들은 자기지도 희소뷰 CT 재건 방법 설계를 위한 실용적인 지침을 제공하며, 현실적인 영상 환경에서 일반적인 독립성 가정의 한계를 부각시킨다.

arXiv:2511.15060v2eess.IV공통 태그 Image Reconstruction, SSIM

이미지 노이즈 제거를 위한 변환된 $\ell_1$ 그래디언트 정규화

Transformed $\ell_1$ Gradient Regularization for Image Denoising

총 변동(TV) 정규화는 이미지 복원 및 재구성 문제에서 널리 사용되는 고전적인 엣지 보존 기법이지만, 볼록(convex) $\ell_1$ 그래디언트 페널티는 큰 그래디언트를 과도하게 축소하는 경향이 있어 계단 현상(staircase artifacts)과 대비(contrast) 손실을 유발한다. 본 논문에서는 변환된 $\ell_1$(TL1) 페널티를 이용한 그래디언트 기반 정규화를 제안하고, 이를 이미지 노이즈 제거에 적용한다. TL1 페널티는 점근적으로 $\ell_1$과 $\ell_0$ 유사 노름(pseudo-norm) 사이를 보간하며, 날카로운 엣지와 구간별 매끄러운(piecewise-smooth) 영역을 더 잘 보존하는 TV의 원리적 대안을 제공한다. 또한 TL1은 다루기 쉬운 근사 연산자(proximal operator)를 허용하므로, 교대 방향 승수법(ADMM)으로 하위 문제를 풀어내는 근사 분할(proximal splitting) 방식 기반의 효율적인 알고리즘이 가능하다. TL1의 약 볼록성(weak convexity)은 온화한 조건 하에서 근사 반복(proximal iterates)이 정류점(stationary point)으로 전역 수렴함을 보장한다. 이미지 노이즈 제거에 대한 수치 실험은 제안된 방법이 날카로운 엣지, 지역 대비, 구간별 매끄러운 구조를 효과적으로 보존하며 다른 그래디언트 기반 접근법들을 능가함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.