arXiv:2409.20310

A SSM is Polymerized from Multivariate Time Series

Haixiang Wu

제출 2024-09-30

원문 초록

For multivariate time series (MTS) tasks, previous state space models (SSMs) followed the modeling paradigm of Transformer-based methods. However, none of them explicitly model the complex dependencies of MTS: the Channel Dependency variations with Time (CDT). In view of this, we delve into the derivation of SSM, which involves approximating continuously updated functions by orthogonal function basis. We then develop Poly-Mamba, a novel method for MTS forecasting. Its core concept is to expand the original orthogonal function basis space into a multivariate orthogonal function space containing variable mixing terms, and make a projection on this space so as to explicitly describe the CDT by weighted coefficients. In Poly-Mamba, we propose the Multivariate Orthogonal Polynomial Approximation (MOPA) as a simplified implementation of this concept. For the simple linear relationship between channels, we propose Linear Channel Mixing (LCM) and generate CDT patterns adaptively for different channels through a proposed Order Combining method. Experiments on six real-world datasets demonstrate that Poly-Mamba outperforms the SOTA methods, especially when dealing with datasets having a large number of channels and complex correlations. The codes and log files will be released at: https://github.com/Joeland4/Poly-Mamba.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28273v1eess.SY공통 태그 Time Series, State Space Models

Mamba-3에서 입력-의존적 저순위 업데이트를 통한 비가환 상태 추적

Non-Commutative State Tracking with Input-Dependent Low-Rank Updates in Mamba-3

순차적 관측으로부터 상태를 추적(state tracking)하는 과정에서는 정보를 유지하는 것과 관측된 연산들을 합성하여 정보를 갱신하는 것이 모두 요구될 수 있다. 본 논문에서는 연산의 순서가 중요한 비가환(non-commutative) 상태 추적을 지원하기 위해, Mamba-3의 대각 전이(diagonal transition)를 입력-의존적(input-dependent) 저순위(low-rank) 반사 항으로 확장한다. 이 랭크-1(rank-one) 업데이트는 입력에 의존적인 방향을 따라 상태 좌표들을 결합하여, 단일 Mamba-3 블록 내에서 비대각(non-diagonal) 상태 전이를 가능하게 한다. 이러한 확장은 Mamba-3의 지수-사다리꼴 이산화(exponential-trapezoidal discretization), 회전 임베딩(RoPE), 판독(readout)을 그대로 보존한다. 학습(training)을 위해, 제안된 순환(recurrence)을 각 청크 내에서 병렬화하도록 청크 단위 연산(chunkwise computation)을 적용한다. 실험은 이산 입력을 사용하는 군 단어 문제(group word problem)와 행동 복제(behavioral cloning)로 정책을 학습하는 연속 관측 기반의 야바위 게임(shell game)을 다룬다. 고정된 타이밍에서 우수한 성능을 보여 선택된 모델(model)들 중, 제안된 모델은 타이밍 지터(timing jitter)가 있는 연속 관측 환경의 야바위 게임에서 더 긴 맞바꿈 시퀀스(swap sequence)에 대해 더 높은 추적 성공률을 유지한다. 이러한 실험들은 제안된 방법이 평가된 비가환 추적 태스크에서 높은 정확도를 달성하며 표준 Mamba-3 대비 성능을 개선함을 보여준다. 따라서 본 확장은 비가환 상태 추적을 위한 Mamba-3 기반의 접근 방식을 제공한다.

arXiv:2609.24049v1cs.CV공통 태그 State Space Models, Mamba

U-PEN Mamba: 점진적 확장과 선택적 상태 공간 모델링을 활용한 효율적 망막 혈관 분할

U-PEN Mamba: Progressive Expansion with Selective State-Space Modeling for Efficient Retinal Vessel Segmentation

정확한 망막 혈관 분할은 컴퓨터 지원 안과 분석에 중요하지만, 가는 혈관, 낮은 대비, 심한 전경-배경 불균형은 인코더-디코더 네트워크에 여전히 어려운 과제로 남아 있다. 본 논문은 점진적 비선형 특징 확장과 선택적 상태 공간 모델링을 결합한 U자형 망막 혈관 분할 아키텍처인 U-PEN Mamba를 제안한다. 제안 네트워크는 점진적 확장으로 국소 혈관 응답을 풍부하게 하고, 선형 시퀀스 복잡도를 갖는 Mamba Global Context(MGC) 블록을 통해 장거리 공간 의존성을 모델링하며, 어텐션 기반 디코더 융합으로 미세 혈관 경계를 복원한다. 일관된 패치 기반 전처리 파이프라인으로 CHASE DB1과 DRIVE에서 U-PEN Mamba를 평가하고, 합성곱, 어텐션, 트랜스포머, Mamba 기반 분할 기준선과 비교한다. U-PEN Mamba는 비교 방법 중 평균 교집합 대합(mIoU)이 최고이며, 학습 가능 매개변수 21.6M으로 CHASE DB1에서 0.8394, DRIVE에서 0.8221을 달성하고 Dice 점수는 각각 0.8187, 0.8078이다. 소거 연구는 MGC 블록이 U-Net 기준선 대비 가장 큰 이득을 제공함을 보여 주며, 투영 차원과 state size는 실용적인 정확도-효율 조절을 가능하게 한다. 이 결과는 선택적 상태 공간 모델링이 매개변수 효율적 망막 혈관 분할을 위한 유망한 전역 문맥 메커니즘임을 시사한다. 코드는 https://github.com/areyesan/UPEN_Mamba 에서 이용할 수 있다.

arXiv:2607.12681v1cs.CV공통 태그 State Space Models, Mamba

MambaPSA: YOLO26의 C2PSA를 대체하는 Mamba 기반 모듈

MambaPSA: A Mamba-based Replacement for C2PSA in YOLO26

상태 공간 모델(SSM)은 최근 Mamba가 두드러지게 등장하며, 선형 계산 복잡도로 self-attention의 효율적인 대안으로 부상했다. 본 연구는 최신 NMS(Non-maximum suppression)-free 객체 검출 프레임워크인 YOLO26에 Mamba를 통합하는 방법을 탐구하며, backbone 끝의 C2PSA 블록을 대체하는 경량 Mamba 기반 모듈인 MambaPSA를 제안한다. 이 연구를 보완하기 위해 neck의 P3, P4, P5 단계에 bidirectional Vision Mamba(BiViM) 모듈을 추가로 삽입했다. PASCAL VOC 2007+2012에서의 실험 결과, MambaPSA는 파라미터를 2.9%, FLOPs를 12.1% 줄이고 CPU 추론 처리량을 17.6% 향상시켰으며(17 FPS에서 20 FPS), 정확도 변화는 미미했다(-0.1 mAP50:95). P4 BiViM 배치는 가장 큰 정확도 향상(+0.9 mAP50:95)을 보였다. 이러한 결과는 SSM이 NMS-free 경량 검출기에서 어텐션 기반 블록을 대체할 때 유리한 효율-정확도 절충을 제공함을 시사한다.

arXiv:2607.10244v1cs.LG공통 태그 Time Series, State Space Models

DSSMs: 지연 미분 방정식을 통한 명시적 메모리를 갖는 상태 공간 모델

DSSMs: State Space Models with Explicit Memory via Delay Differential Equations

상태 공간 모델(SSM)은 효율적인 장문 시퀀스 모델링을 위한 강력한 패러다임으로 부상했으며, 병렬 학습과 빠른 선형 시간 순환 추론을 제공한다. 그러나 다른 순환 아키텍처와 마찬가지로, SSM은 무한한 이력을 고정 크기 상태로 압축해야 하므로 컨텍스트 보존이 제한되고 장거리 컨텍스트에서의 정밀한 검색이 본질적으로 어렵다. 이러한 한계를 극복하기 위해, 우리는 지연 상태 공간 모델(DSSM)을 제안한다. DSSM은 지연 미분 방정식(DDE)에서 착안한 대각 SSM의 확장으로, 이산 SSM 순환에 명시적 지연 상태 피드백을 추가한다. 명시적 지연 피드백을 실용적으로 구현하려면 새로운 안정성 매개변수화, 이력 관리, FFT 학습 도구가 필요하다. 우리는 단순한 지연 독립적 안정성 조건에 기반한 실용적인 이산화 및 매개변수화를 통해 이러한 과제를 해결한다. 시간 영역 커널 직접 구성을 우회하기 위해 DSSM 전달 함수를 유도하고 주파수 영역에서 커널을 계산하며, 커널 등고선 이동을 사용하여 앨리어싱을 억제하고 정확한 FFT 학습을 복원한다. 실험적으로, DSSM은 목표 지연 검색 태스크에서 성능을 크게 향상시키는 동시에 대부분의 표준 시퀀스 지표에서 S4D를 능가하며 나머지 지표에서도 근접한 성능을 유지한다.

arXiv:2607.03055v1cs.LG공통 태그 Time Series, Mamba

SHiPPO: 이송된 다항식 투영을 활용한 순환 메모리

SHiPPO: Recurrent Memory with Transported Polynomial Projections

HiPPO는 순환 상태에 온라인 다항식 투영의 계수로서 메모리 의미론을 부여하지만, 고정된 채널 좌표계를 사용한다. 반면 현대의 선택적 SSM은 토큰(token) 의존적 제어 및 채널 상호작용에 의존한다. 본 논문에서는 HiPPO 계수 메모리를 이동하는 채널 프레임으로 끌어올리는 이송된 투영-메모리 사전(prior)인 SHiPPO(Sylvester HiPPO)를 제안한다. 임의의 고정 또는 실현된 우-이송 경로에 대해 SHiPPO는 근사 패밀리와 채널 메트릭을 함께 이송하며, 해당 경로에 조건부로 상태는 연결된 이동 프레임 내에서 일반적인 HiPPO가 되어 Sylvester 계수 동역학을 따른다. 이는 좌-온라인 메모리 연산자를 보존하면서 우-작용 이송을 추가한다. 선택적 SSM 실행을 위해, 컨트롤러 호환 우-작용, 지수 조정 업데이트, 정확한 블록-아핀 스캔, 그리고 순환 디코딩을 갖춘 제한된 그룹-로컬 실현을 도출한다. 또한 우-이송이 정적 혼합과 독립적인 스칼라 혹은 블록 단위 뱅크로 붕괴되는 시점을 식별하는 동시 가약성 기준을 제시한다. 제어된 진단 실험 결과, 현재 토큰 쓰기 랭크가 클수록 일반 예측 오차는 개선되지만, 이미 기록된 메모리에 대한 순서 민감성 변화는 복원할 수 없음을 보인다. 이송 메모리 변형은 이 신호를 복원하며, 이송 경로를 제거하면 해당 신호가 사라진다. 인터리브된 바인딩, 연산, 질의를 포함하는 유한체 연관 재현율(recall) 진단은 선호되는 우-작용 실현 방식을 열린 문제로 남긴 채 보완적인 자기회귀 증거를 제공한다. 종합하면, 이러한 결과들은 SHiPPO가 메커니즘적으로 근거 있는 이송 메모리 사전임을 지지하며, 광범위한 시퀀스 모델링 우위보다는 메모리 메커니즘에 초점을 맞춘 증거를 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.