WSSM: Geographic-enhanced hierarchical state-space model for global station weather forecast
원문 초록
Global Station Weather Forecasting (GSWF), a prominent meteorological research area, is pivotal in providing timely localized weather predictions. Despite the progress existing models have made in the overall accuracy of the GSWF, executing high-precision extreme event prediction still presents a substantial challenge. The recent emergence of state-space models, with their ability to efficiently capture continuous-time dynamics and latent states, offer potential solutions. However, early investigations indicated that Mamba underperforms in the context of GSWF, suggesting further adaptation and optimization. To tackle this problem, in this paper, we introduce Weather State-space Model (WSSM), a novel Mamba-based approach tailored for GSWF. Geographical knowledge is integrated in addition to the widely-used positional encoding to represent the absolute special-temporal position. The multi-scale time-frequency features are synthesized from coarse to fine to model the seasonal to extreme weather dynamic. Our method effectively improves the overall prediction accuracy and addresses the challenge of forecasting extreme weather events. The state-of-the-art results obtained on the Weather-5K subset underscore the efficacy of the WSSM
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MambaFusion: Height-Fidelity Dense Global Fusion for Multi-modal 3D Object Detection
Sparsified State-Space Models are Efficient Highway Networks
Hierarchical Mamba Meets Hyperbolic Geometry: A New Paradigm for Structured Language Embeddings
Hybrid-Emba3D: Geometry-Aware and Cross-Path Feature Hybrid Enhanced State Space Model for Point Cloud Classification
U-PEN Mamba: 점진적 확장과 선택적 상태 공간 모델링을 활용한 효율적 망막 혈관 분할
U-PEN Mamba: Progressive Expansion with Selective State-Space Modeling for Efficient Retinal Vessel Segmentation
정확한 망막 혈관 분할은 컴퓨터 지원 안과 분석에 중요하지만, 가는 혈관, 낮은 대비, 심한 전경-배경 불균형은 인코더-디코더 네트워크에 여전히 어려운 과제로 남아 있다. 본 논문은 점진적 비선형 특징 확장과 선택적 상태 공간 모델링을 결합한 U자형 망막 혈관 분할 아키텍처인 U-PEN Mamba를 제안한다. 제안 네트워크는 점진적 확장으로 국소 혈관 응답을 풍부하게 하고, 선형 시퀀스 복잡도를 갖는 Mamba Global Context(MGC) 블록을 통해 장거리 공간 의존성을 모델링하며, 어텐션 기반 디코더 융합으로 미세 혈관 경계를 복원한다. 일관된 패치 기반 전처리 파이프라인으로 CHASE DB1과 DRIVE에서 U-PEN Mamba를 평가하고, 합성곱, 어텐션, 트랜스포머, Mamba 기반 분할 기준선과 비교한다. U-PEN Mamba는 비교 방법 중 평균 교집합 대합(mIoU)이 최고이며, 학습 가능 매개변수 21.6M으로 CHASE DB1에서 0.8394, DRIVE에서 0.8221을 달성하고 Dice 점수는 각각 0.8187, 0.8078이다. 소거 연구는 MGC 블록이 U-Net 기준선 대비 가장 큰 이득을 제공함을 보여 주며, 투영 차원과 state size는 실용적인 정확도-효율 조절을 가능하게 한다. 이 결과는 선택적 상태 공간 모델링이 매개변수 효율적 망막 혈관 분할을 위한 유망한 전역 문맥 메커니즘임을 시사한다. 코드는 https://github.com/areyesan/UPEN_Mamba 에서 이용할 수 있다.
DM3D: 오프셋 유도 특징 리샘플링을 통한 동적 Mamba 기반 포인트 클라우드 이해
DM3D: Dynamic Mamba via Offset-Guided Feature Resampling for Point Cloud Understanding
상태 공간 모델(SSM)은 포인트 클라우드의 긴 토큰 시퀀스를 선형 복잡도로 모델링하지만, 순서 없는 포인트 클라우드를 직렬화해야 한다. 기존 방법들은 주로 더 나은 토큰 순서를 설계하거나 학습함으로써 이 요구사항을 해결한다. 그러나 잘 구성된 순서라도 불규칙한 3D 표면에서 모든 지역 관계를 보존할 수는 없다. 고정된 시퀀스는 여전히 인덱스상으로는 가깝지만 3D 공간에서는 멀거나 서로 다른 객체 부분에 속하는 점들을 섞을 수 있다. 우리는 기본 토큰 순서를 유지하면서 지역적 특징 지원과 상태 전파를 적응적으로 조정하는 동적 Mamba 아키텍처인 DM3D를 제안한다. 첫째, 지역 특징 문맥에 따라 DM3D는 전역 순열(permutation)을 구성하지 않고 공간 및 시퀀스 오프셋을 학습한다. 이어서 공간 오프셋은 3D 공간에서 샘플링 앵커를 조정하고, 시퀀스 오프셋은 지역 시퀀스 윈도우 내에서 특징 리샘플링을 유도하여, 서로 다른 슬롯이 각자의 정체성을 유지하면서 겹치는 지역 지원에서 특징을 가져올 수 있게 한다. 이 설계는 원래 순회(traversal)의 전역 prior를 보존하면서 각 토큰이 더 적합한 지역 문맥을 집계할 수 있게 한다. 둘째, 상태 업데이트는 인접 시퀀스 위치에 있는 점들 사이의 3D 거리에 의해 변조(modulated)되어, 이 점들이 공간적으로 멀리 떨어져 있을 때 정보 전파를 줄인다. DM3D는 ModelNet40에서 95.2% 정확도, ScanObjectNN의 PB_T50_RS 분할에서 93.3% 정확도, ShapeNetPart에서 84.8% 클래스 mIoU를 달성한다. 벤치마크 데이터셋에 대한 광범위한 실험은 DM3D가 강력하고 경쟁력 있는 성능을 달성함을 보여주며, 포인트 클라우드 이해를 위한 지역 특징 적응의 효과를 검증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.