Poisson Noise Reduction with Higher-order Natural Image Prior Model
원문 초록
Poisson denoising is an essential issue for various imaging applications, such as night vision, medical imaging and microscopy. State-of-the-art approaches are clearly dominated by patch-based non-local methods in recent years. In this paper, we aim to propose a local Poisson denoising model with both structure simplicity and good performance. To this end, we consider a variational modeling to integrate the so-called Fields of Experts (FoE) image prior, that has proven an effective higher-order Markov Random Fields (MRF) model for many classic image restoration problems. We exploit several feasible variational variants for this task. We start with a direct modeling in the original image domain by taking into account the Poisson noise statistics, which performs generally well for the cases of high SNR. However, this strategy encounters problem in cases of low SNR. Then we turn to an alternative modeling strategy by using the Anscombe transform and Gaussian statistics derived data term. We retrain the FoE prior model directly in the transform domain. With the newly trained FoE model, we end up with a local variational model providing strongly competitive results against state-of-the-art non-local approaches, meanwhile bearing the property of simple structure. Furthermore, our proposed model comes along with an additional advantage, that the inference is very efficient as it is well-suited for parallel computation on GPUs. For images of size $512 \times 512$, our GPU implementation takes less than 1 second to produce state-of-the-art Poisson denoising performance.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ZoomDiff: 듀얼 카메라의 부드러운 줌을 위한 고충실도 확산 모델
ZoomDiff: A High-Fidelity Diffusion Model for Dual-Camera Smooth Zooming
듀얼 카메라 간의 디지털 줌 전환은 기하학적 구조와 색상 일관성에서 눈에 띄는 불연속성을 자주 드러내어 사용자 경험을 저하시킵니다. 최근의 듀얼 카메라 부드러운 줌(dual-camera smooth zoom, DCSZ) 방법들은 DCSZ 데이터에 프레임 보간(frame interpolation, FI) 모델을 미세조정(fine-tuning)하여 이를 완화하고자 하지만, 큰 시점 간 시차(cross-view disparities)와 복잡한 기하학적 변환으로 인해 어려움을 겪습니다. 확산 모델(diffusion model)의 생성적 사전확률(generative prior)이 이 문제를 해결하는 데 적합하다는 점을 고려하여, 본 연구에서는 이를 DCSZ에 적용하는 방안을 탐색합니다. 그러나 기존의 확산 기반 FI 모델을 단순 적용하는 것은 불충분한 조건부 안내(conditional guidance), VAE 인코딩 중의 고주파 정보 손실(loss), 부적절한 시간적 일관성으로 인해 여전히 낮은 충실도의 전환을 생성합니다. 이를 해결하기 위해, 잠재 공간과 픽셀 공간 모두에서 듀얼 카메라 입력을 활용하여 사실적인 전환을 제공하는 고충실도 확산 모델인 ZoomDiff를 제안합니다. 구체적으로, 먼저 기하학적 일관성을 개선하기 위해 다단계 디노이징(denoising) 과정에서 듀얼 이미지 조건부 안내를 강화합니다. 그런 다음 고주파 세부 정보를 복원하기 위해 VAE 인코더의 플로우 정렬(flow-aligned) 다중 스케일 특징을 VAE 디코더에 주입하며, 이때 더욱 매끄러운 전환을 생성하기 위한 플로우 유도 시간적 일관성 감독(supervision)을 도입합니다. 합성 데이터셋과 실제 데이터셋 모두에 대한 광범위한 실험을 통해 ZoomDiff가 정량적 및 정성적 측면에서 최첨단(state-of-the-art) 방법들을 능가함을 입증합니다. 프로젝트 페이지: https://jiayi-hit.github.io/ZoomDiff.github.io/.
Diff-RF: 열화 인지 학습을 통한 상호 강화 이미지 정합 및 융합
Diff-RF: Mutually Reinforced Image Registration and Fusion via Degradation-Aware Learning
이미지 정합(registration)과 융합(fusion)은 정렬되지 않은 다중 모달(multi-modal) 소스 이미지로부터 공간적 대응 관계를 설정하고 상보적인 정보를 통합하는 것을 목표로 한다. 그러나 실제 촬영 시나리오에서는 저조도, 노이즈 등 복잡하고 다양한 열화(degradation)의 영향을 소스 이미지가 받는 경우가 많아 정합과 융합의 효과를 심각하게 저해한다. 이 문제를 해결하기 위해 열화 인지 학습을 통한 상호 강화형 이미지 정합 및 융합 확산(diffusion) 프레임워크인 Diff-RF를 제안한다. 이 방법은 열화 조건 하에서 정합-융합과 정보 복원 사이의 내재적 결합을 탐구하여, 복잡한 열화 조건에서 정합되지 않은 이미지의 고품질 융합을 가능하게 한다. 먼저 모달 내(intra-modal) 복원 모듈은 각 모달리티 내부의 정보를 활용해 모달리티 특유의 열화를 완화하도록 설계되어, 정합을 위한 보다 신뢰할 수 있는 구조적 표현을 제공하고 이후 교차 모달(cross-modal) 융합을 촉진한다. 둘째, 정합과 융합 사이의 양방향 상호작용을 구축하는 교차 모달 확산 기반 정합 및 융합 모듈을 개발한다. 융합에서 도출된 시각적 단서와 대응 관계 기반 기하학적 조건을 확산 과정에 통합함으로써, 제안 프레임워크는 공간 정렬을 점진적으로 정제하고 교차 모달 상보 정보를 활용해 협력적 향상을 달성한다. 열화 인지 정보 복원과 정합 및 융합의 협력적 최적화를 독립적인 구성요소로 다루지 않고 긴밀히 결합하여 전반적인 성능 향상을 달성한다. 여러 확장 데이터셋에 대한 광범위한 실험 결과, Diff-RF는 다양한 열화 시나리오에서 우수한 정합 정확도와 융합 품질을 달성하며 강한 견고성(robustness)과 일반화(generalization) 능력을 보인다.
어텐션 마스킹, 잠재 공간 앵커링 및 정제를 통한 제로샷 객체 제거
Zero-Shot Object Removal via Attention Masking, Latent Anchoring, and Refinement
실제 이미지에서 객체를 제거하려면 마스크 내부에 그럴듯한 내용을 합성하는 것만으로는 부족하며, 방법은 잔여 객체 특징을 억제하고 편집되지 않은 장면을 보존한 뒤 주변 배경과 일관된 대체 내용을 생성해야 한다. 본 논문은 단계 기반 관점에서 객체 제거에 접근하며, 동결된 사전학습 Stable Diffusion 모델을 이용한 제약 잠재 공간 인페인팅(constrained latent inpainting)용 제로샷 프레임워크를 제안한다. 과제별 학습이나 모델 미세조정은 필요하지 않다. 이 방법은 SAM 기반 마스크 구성, BLIP 이미지-캡션 조건화, DDIM inversion, 배경 가중 마스크 null-text 최적화(NTI), 디코더 self-attention 마스킹, 마스크 외부 hard 잠재 공간 앵커링, 국소 renoise–denoise 정제를 하나의 통합 파이프라인에 결합한다. 정성적 사례, 정량적 국소 일관성 지표, ablation 연구로 평가하였다. 결과는 효과적인 객체 제거와 문맥상 일관된 대체 내용 생성을 보여준다. Ablation에 따르면 배경 가중 마스크 NTI는 구조적으로 복잡한 배경에서 특히 유리하며, NTI 없는 변형은 다른 평가 사례에서는 충분하다. 반복 정제는 1차 편집 이후 남는 객체 잔여물과 경계 아티팩트를 더 줄인다.
Flash-dLLM: 빠르고 메모리 효율적인 확산 대규모 언어 모델을 위한 I/O 인식 KV 캐싱 및 병렬 디코딩
Flash-dLLM: IO-Aware KV Caching and Parallel Decoding for Fast, Memory-Efficient Diffusion LLMs
확산 대규모 언어 모델(dLLM)은 비자기회귀(non-autoregressive) 텍스트 생성을 가능하게 함으로써 자기회귀 LLM의 유망한 대안으로 최근 부상했습니다. 그러나 효과적인 Key-Value(KV) 캐싱 및 확장 가능한 병렬 디코딩 메커니즘의 부재로 인해 비효율적인 추론(inference)이 발생하여 실제 배포에는 여전히 한계가 있습니다. 기존 가속 방법들은 대개 KV 캐싱과 병렬 디코딩을 개별적으로 연구하여, 캐시 재사용과 병렬 토큰(token) 검증을 결합하여 적용할 때 발생하는 I/O 병목 현상을 간과합니다. 본 연구에서는 빠르고 메모리 효율적인 dLLM을 위한 학습(training) 불필요 추론 가속 프레임워크인 $\textbf{Flash-dLLM}$을 소개합니다. Flash-dLLM은 먼저 GPU 메모리 I/O가 KV 캐시 기반 dLLM 추론에서 주된 병목임을 확인하고, 중복 메모리 이동을 줄이는 I/O 인식 융합 KV 캐시 커널(kernel)을 통해 이를 해결합니다. 이러한 최적화된 캐시 메커니즘을 기반으로, Flash-dLLM은 dLLM 자체가 보조 모델(model) 없이 초안 작성기(drafter)이자 검증기(verifier) 역할을 하는 효율적인 KV 캐시 기반 초안 작성 및 검증(draft-and-verify) 디코딩 전략을 추가로 제안합니다. 이 통합 설계는 생성 품질을 유지하면서 더 빠른 디코딩을 가능하게 하고, 더 긴 시퀀스와 더 큰 배치(batch) 크기에 대한 확장성을 개선합니다. 수학적 추론 및 코드 생성 벤치마크에 대한 광범위한 실험을 통해 Flash-dLLM이 추론 속도와 메모리 효율성 모두에서 기존 최고 수준의 dLLM 가속 방법들을 일관되게 능가함을 입증합니다. 특히 이전의 가장 강력한 기준선(baseline)인 Elastic-Cache 대비 GSM8K 및 HumanEval에서 각각 $5.1\times$ 및 $11.0\times$의 속도 향상을 달성합니다.
전자현미경 이미징에서 현실감과 충실도의 균형을 위한 주파수 인식 이중 스트림 학습
Frequency-Aware Dual-Stream Learning for Balanced Realism and Fidelity in Electron Microscopy Imaging
전자현미경은 나노 스케일의 세포 시각화를 가능하게 하지만, 이미징 해상도와 획득 속도 사이의 트레이드오프에 직면한다. 기존 학습 기반 방법은 단일 스트림 아키텍처에 의존하며, 지각적 현실감과 정량적 충실도 사이의 균형을 맞추는 데 어려움을 겪어, 세부를 과도하게 평활화하거나 비현실적인 환각을 생성한다. 본 연구는 이 갈등을 해결하기 위해 주파수 적응형 이중 스트림 아키텍처를 제안한다. 이산 웨이블릿 변환(discrete wavelet transform)을 사용하여 이미지를 저주파 구조와 고주파 세부로 분해한 다음, 현실적인 전역 합성을 위해 조건부 확산 모델(conditional diffusion model)을, 정밀한 세부 복원을 위해 트랜스포머 네트워크를 사용한다. EMDiffuse 데이터셋에서의 실험은 본 방법이 우수한 LPIPS와 resolution ratio를 달성하며, 기존 접근법을 크게 능가함을 보여준다. 본 방법은 또한 다양한 생물학적 샘플에 걸쳐 강한 일반화를 보이며, 구조 생물학 및 나노기술 응용을 위한 빠르고 신뢰할 수 있는 전자현미경 이미징을 지원한다. 소스 코드와 관련 데이터셋은 추가 연구를 촉진하기 위해 공개적으로 제공된다.
의료 영상 인페인팅에서의 확산 모델: 과제, 해결책 분류체계 및 향후 방향
Diffusion Models in Medical Image Inpainting: Challenges, Solution Taxonomy, and Future Directions
이미지 인페인팅은 가능한 한 시각적·의미적 일관성을 유지하면서 이미지의 누락되거나 손상된 영역을 복원하는 것을 목표로 한다. 의료 영상에서는 아티팩트, 정보 누락, 병리학적 변화가 진단 신뢰도와 하류 임상 응용을 저해할 수 있기 때문에 이 과제가 특히 중요하다. 최근 확산 모델(diffusion models)은 해부학적으로 일관된 복원을 생성할 수 있다는 점 때문에 의료 영상 인페인팅을 위한 최첨단 생성 접근법으로 부상했다. 본 서베이는 60편의 연구에 보고된 주요 아키텍처, 응용, 데이터셋, 평가 전략을 다루며 의료 영상 인페인팅을 위한 확산 기반 방법에 대한 체계적 검토를 제시한다. 또한 확산 기반 접근법에 대한 분류체계를 제안한다. 분석 결과, 확산 기반 의료 영상 인페인팅에 대한 연구 관심이 급격히 증가하고 있으며, 노이즈 제거 확산 확률 모델(denoising diffusion probabilistic models, DDPM)과 잠재 확산 모델(latent diffusion models, LDM)이 지배적인 아키텍처로 부상하고 있음을 보여준다. 검토된 연구들은 주로 아티팩트 제거, 데이터 증강, pseudo-healthy 조직 복원, 이상 탐지에 초점을 맞추며, 특히 자기공명영상(MRI)과 컴퓨터 단층촬영(CT) 영상에서 다루어진다. 전반적으로 확산 모델은 해부학적으로 그럴듯한 복원을 생성하고 하류 임상 과제를 지원하는 데 강력한 성능을 보여준다. 그러나 본 검토는 표준화된 벤치마크 부재, 제한된 데이터셋 다양성, 다양한 임상 응용 및 영상 시나리오 전반에 걸친 제한적인 검증 절차 등 중요한 과제도 강조한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.