Quantum mechanics-based signal and image representation: application to denoising
원문 초록
Decomposition of digital signals and images into other basis or dictionaries than time or space domains is a very common approach in signal and image processing and analysis. Such a decomposition is commonly obtained using fixed transforms (e.g., Fourier or wavelet) or dictionaries learned from example databases or from the signal or image itself. In this work, we investigate in detail a new approach of constructing such a signal or image-dependent bases inspired by quantum mechanics tools, i.e., by considering the signal or image as a potential in the discretized Schroedinger equation. To illustrate the potential of the proposed decomposition, denoising results are reported in the case of Gaussian, Poisson, and speckle noise and compared to the state of the art algorithms based on wavelet shrinkage, total variation regularization or patch-wise sparse coding in learned dictionaries, non-local means image denoising, and graph signal processing.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
하위 반프레임(lower semi-frames)을 이용한 이미지 디노이징
Image Denoising Using Lower Semi-Frames
가법적 백색 가우시안 노이즈(additive white Gaussian noise)에 대해, 무한 방향성 하위 반프레임(infinite directional lower semi-frame, DLSF)에 기반한 블라인드 이미지 디노이징 프레임워크를 제안한다. 제안 모델은 무계(unbounded) 반프레임(semi-frame) 연산자에 대한 resolvent 정규화(regularization)와 함께 스케일 의존적(scale-dependent) 방향 분석을 사용한다. 네 개의 방향 차분 채널(directional difference channel)의 결합 공분산(joint covariance)을 모델링하고 공분산 백화(covariance whitening)를 적용해 카이제곱(chi-square) 통계량을 얻음으로써, DLSF 영역에서 노이즈 분산(noise variance)을 직접 추정한다. 하위 꼬리 모멘트 추정량(lower-tail moment estimator)은 중位 절대 편차(median absolute deviation) 없이 블라인드 노이즈 추정을 제공한다. 추정된 노이즈 수준은 채널별 Wiener형 수축(channel-wise Wiener-type shrinkage)과 canonical-dual 합성(synthesis)에 반영되며, 이어 자동 중단(automatic stopping)을 갖는 데이터 일관(data-consistent) 반복 재구성(iterative reconstruction)이 수행된다. 노이즈 수준 15–30에서 세 장의 표준 그레이스케일 이미지에 대한 실험 결과, 평균 상대 노이즈 추정 오차는 3.28%이며 PSNR은 평균 7.45 dB, SSIM은 평균 0.367만큼 개선되었다. 30/255 노이즈에서는 추정 오차가 1.73%로 감소하고 평균 PSNR 이득은 8.31 dB였다. 결과는 효과적인 노이즈 억제와 구조 보존을 보여 주며, 매끄럽거나 에지가 지배적인 이미지에서 가장 강한 성능을 나타낸다.
PixelART: 잠재 표현 또는 텍스트-이미지 사전학습 없이 이미지-층 분해
PixelART: Image-to-Layer Decomposition without Latents or Text-to-Image Pretraining
이미지-층 분해는 평탄화된 이미지를 편집 가능한 RGBA 층으로 변환하여 디자인 워크플로에서 요소 단위 편집을 가능하게 한다. 기존 확산(diffusion) 기반 시스템은 일반적으로 대규모 사전학습된 텍스트-이미지(T2I) 모델을 적응시키고 RGBA 오토인코더 또는 가변 층 아키텍처 모듈을 도입한다. 우리는 이 설계 선택을 재검토하며, 층 분해가 정말로 이러한 고중량 구성 요소를 필요로 하는지 묻는다. 우리는 이미지-층(I2L) 분해를 위해 처음부터 학습된 픽셀 공간 rectified-flow 트랜스포머인 PixelART를 제안한다. PixelART는 단일 스트림 멀티모달 확산 트랜스포머로 영역 RGBA 픽셀 패치를 직접 디노이징하며, RGBA-VAE, 사전학습 T2I 백본, 층별 디코더를 사용하지 않는다. 우리는 이 과제의 핵심 특성을 밝힌다. 고노이즈 타임스텝은 층 할당과 거친 층 구조를 결정하고, 저노이즈 타임스텝은 주로 색상, 알파, 텍스처, 경계를 정제한다. 이 관찰에 기반하여 고노이즈 층 할당 구간에서 학습 커버리지를 높이기 위해 terminal-boosted 타임스텝 샘플링 전략을 제안한다. 400만 개의 다층 디자인 템플릿으로 학습된 PixelART는 Design-Multi-Layer-Bench와 LICA에서 최근 Qwen-Image-Layered 모델 대비 파라미터 80% 이상 감소, 지연 시간 98% 감소, 메모리 85% 감소로 최첨단 층 분해 및 합성 재구성 성능을 달성한다. Ablation 실험은 픽셀 공간 $\mathbf{x}$-prediction, terminal-boosted 타임스텝 샘플링, 데이터/모델 스케일링이 핵심적임을 보여 주며, T2I 사전학습은 I2L 과제에 미미한 이득만 가져온다.
저조도 카메라가 색맹이 되는 이유: Raw 노이즈 제거에서의 색상 바이어스 제거
Why Low-Light Cameras Go Color Blind: Removing Color Bias in Raw Denoising
Raw 이미지는 빛의 확률적 특성과 센서 하드웨어의 불완전성으로 인해 본질적으로 노이즈에 취약하다. 실제 광자 수가 감소함에 따라 신호 대비 노이즈 비율이 저하되며, 따라서 저조도 환경에서 강건한 노이즈 제거는 고품질 결과물을 위해 특히 중요하다. 최근 데이터 기반 방법들은 높은 성능을 달성하지만, 일반적으로 수집 비용이 높고 어려운 대규모 노이즈-클린 이미지 쌍에 의존한다. 대안으로 파라메트릭 노이즈 모델이 합성 학습 데이터를 생성할 수 있지만, 이는 정밀한 카메라 캘리브레이션을 필요로 하며 미지의 장치에 대해서는 종종 비실용적이다. 본 연구에서는 저조도 Raw 노이즈 제거를 위한 카메라 무관(camera-agnostic), 캘리브레이션 불필요 패러다임을 제안한다. 블랙 레벨 오류로 인한 색상 바이어스가 성능 저하의 주요 원인이며 심각한 색상 왜곡을 유발함을 규명한다. 이를 완화하기 위해, 노이즈 입력의 전역 특징으로서 블랙 레벨 오류를 예측하는 바이어스 추정기 네트워크를 도입한다. ELD, SID, LRID 데이터셋에서 접근 방식을 평가하여 블라인드 노이즈 제거기 중 우수한 성능을, 특히 색상 보정 측면에서 입증한다. 많은 경우에서 더 강한 지도 학습(supervision)을 활용하는 방법들과 동등하거나 이를 능가하기도 한다. 또한, 널리 사용되는 SIDD 데이터셋의 정답(ground-truth) 이미지에 상당한 색상 바이어스가 존재함을 밝히며, 이는 학습된 모델에서 비현실적인 색상 재현을 초래한다. 이 문제를 해결하기 위한 새로운 정답 추출 프레임워크를 제안하고, 수정된 데이터셋에서 기존 방법들의 벤치마크를 제공한다.
YeTI: 실세계 sRGB 노이즈 생성을 위해 두 장의 노이즈 이미지만으로 충분하다
YeTI: You Only Need Two Noisy Images for Real-World sRGB Noise Generation
실세계 sRGB 이미지 노이즈 제거는 센서 노이즈의 비선형적 특성과 정렬된 클린-노이즈 이미지 쌍 획득의 어려움으로 인해 여전히 난제로 남아 있다. 지도 학습 기반 노이즈 제거기는 제한된 쌍 데이터셋에 과적합되기 쉬우며, 자기 지도 학습 방법 역시 충분히 다양한 노이즈 관측값에 의존한다. 이러한 한계는 클린 정답 데이터나 카메라 메타데이터 없이 실세계 노이즈를 모델링할 수 있는 확장 가능한 노이즈 합성 방법에 대한 동기를 부여한다. 우리는 동일한 장면의 두 장의 노이즈 관측값만으로 학습하는 실세계 sRGB 노이즈 생성 프레임워크 YeTI를 제안한다. YeTI는 재구성 오토인코더(Reconstruction Autoencoder)를 사용해 장면 구조와 노이즈 특성을 분리하고, 일관성 목적 함수로 학습된 단일 단계 조건부 확산 트랜스포머(Conditional Diffusion Transformer)로 잠재 노이즈 분포를 모델링한다. 추론 시 단일 노이즈 입력이 주어지면, YeTI는 기저 장면 콘텐츠를 보존하면서 신호 의존적인 현실감 있는 노이즈를 생성한다. 광범위한 실험을 통해 실세계 벤치마크에서 YeTI의 효과를 입증한다. SIDD에서 노이즈 생성을 평가하고, 스마트폰 및 다양한 소비자 카메라 센서를 포함하는 SIDD+, MAI2021, SID에서 일반화 성능을 추가로 평가한다. DND에서의 다운스트림 노이즈 제거 결과는 YeTI로 합성된 이미지로 학습된 노이즈 제거기가 강력한 실세계 성능을 달성함을 보여주며, 클린 이미지 및 메타데이터가 불필요한 노이즈 생성의 실용적 가치를 부각한다.
Pseudo-Siamese Blind-Spot Transformers for Self-Supervised Real-World Denoising
Single Image Denoising via a New Lightweight Learning-Based Model
토론
이 논문과 연결된 포럼 글이 아직 없습니다.