DemMamba: Alignment-free Raw Video Demoireing with Frequency-assisted Spatio-Temporal Mamba
원문 초록
Moire patterns, resulting from the interference of two similar repetitive patterns, are frequently observed during the capture of images or videos on screens. These patterns vary in color, shape, and location across video frames, posing challenges in extracting information from adjacent frames and preserving temporal consistency throughout the restoration process. Existing deep learning methods often depend on well-designed alignment modules, such as optical flow estimation, deformable convolution, and cross-frame self-attention layers, incurring high computational costs. Recent studies indicate that utilizing raw data as input can significantly improve the effectiveness of video demoireing by providing the pristine degradation information and more detailed content. However, previous works fail to design both efficient and effective raw video demoireing methods that can maintain temporal consistency and prevent degradation of color and spatial details. This paper introduces a novel alignment-free raw video demoireing network with frequency-assisted spatio-temporal Mamba (DemMamba). It features sequentially arranged Spatial Mamba Blocks (SMB) and Temporal Mamba Blocks (TMB) to effectively model the inter- and intra-relationships in raw videos affected by moire patterns. An Adaptive Frequency Block (AFB) within the SMB facilitates demoireing in the frequency domain, while a Channel Attention Block (CAB) in the TMB enhances the temporal information interactions by leveraging inter-channel relationships among features. Extensive experiments demonstrate that our proposed DemMamba surpasses state-of-the-art methods by 1.3 dB in PSNR, and also provides a satisfactory visual experience.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MASS: 플로우 기반 비디오 프레임 보간 정제를 위한 모션 정렬 선택적 스캔
MASS: Motion-Aligned Selective Scan for Refinement in Flow-Based Video Frame Interpolation
비디오 프레임 보간(VFI)은 특히 크고 비선형적인 움직임과 복잡한 가림을 다룰 때 여전히 어려운 과제입니다. 플로우 기반 방법이 널리 쓰이지만, 모호한 대응 문제에 자주 어려움을 겪습니다. 선택적 상태 공간 모델(SSM)에 기반한 최근 VFI 방법들은 물리적 움직임과 어긋나는 정적 그리드 기반 스캐닝 때문에 여전히 한계가 있습니다. 본 논문에서는 특징 스캐닝을 정적 공간 그리드에서 동적 모션 궤적으로 재구성하는 새로운 프레임워크인 Motion-Aligned Selective Scan(MASS)을 제안합니다. MASS는 각 픽셀의 플로우 유도 궤적을 따라 특징 시퀀스를 구성하고 SSM으로 이를 집약합니다. 구체적으로, 잔차 속도 업데이트를 통해 복잡한 곡선 궤적을 근사하는 학습 가능한 비선형 경로 적분과, 모션 크기에 따라 샘플링 예산과 스텝 크기를 동적으로 조절하는 속도 인식 SSM을 도입합니다. 이 적응적 전략은 빠른 움직임 영역에는 더 조밀한 샘플링을 배분하면서 정적 영역은 효율적으로 유지합니다. 또한 집약된 상태는 정제 모듈을 안내하여 중간 플로우와 마스크를 엔드투엔드 방식으로 보정합니다. 광범위한 실험은 MASS가 표준 벤치마크에서 전반적으로 매우 경쟁력 있는 성능을 달성하며, 특히 큰 변위와 복잡한 동역학을 포함한 어려운 시나리오에서 최첨단 결과를 확립함을 보여줍니다.
LangMamba: A Language-driven Mamba Framework for Low-dose CT Denoising with Vision-language Models
Differential Mamba
FindRec: Stein-Guided Entropic Flow for Multi-Modal Sequential Recommendation
MambaFusion: Height-Fidelity Dense Global Fusion for Multi-modal 3D Object Detection
MVNet: Hyperspectral Remote Sensing Image Classification Based on Hybrid Mamba-Transformer Vision Backbone Architecture
토론
이 논문과 연결된 포럼 글이 아직 없습니다.