FM-Mamba: 안정성을 고려한 이산화를 적용하는 효율적인 네이티브 2차원 선택적 상태 공간 모델
FM-Mamba: An Efficient Native 2D Selective State Space Model with Stability-Aware Discretization
한국어 초록
Mamba 기반 방법을 이미지 같은 2차원 특징에 적용할 때는 특징 맵을 1차원 시퀀스로 평탄화해 여러 스캔을 융합하거나, 2차원 격자에서 직접 점화식을 적용한다. 전자는 공간적 인접성을 깨뜨리고 연산을 늘린다. 후자는 입력과 무관한 고정 계수로 점화식의 크기를 조정하고 하나의 반대각선에 놓인 선행 상태만 집계하므로 이산화 간격에 2차원 안정성 이론의 제약이 걸리지 않는다. 일반 Fornasini–Marchesini(FM) 모델을 기반으로 한 네이티브 2차원 선택적 상태 공간 모델 FM-Mamba를 제안한다. 결합 점화식은 두 공간 축을 따라 진행된다. 축 간 결합에서 대각 방향 선행 상태에 대응하는 이산 항 $\tilde A_0$이 생기며, 입력에 따라 독립적으로 달라지는 간격 $\Delta_1(i,j)$와 $\Delta_2(i,j)$가 두 축을 따른 전파를 제어한다. 따라서 위치와 방향에 따라 계수가 달라진다. 정규화 비율 $r_k=a_{0,k}/(a_{1,k}a_{2,k})$에서 두 이산화 간격에 대한 구간별 경계를 닫힌 형태로 얻는다. 간격이 안정 구간을 벗어나면 이 경계를 만족하도록 투영하고 학습 후 위치마다 안정성 기준을 다시 검사한다. 이를 통해 전체를 감쇠시키지 않고 체계적인 국소 증폭을 억제한다. 점화식은 이중 대각선 파면 스캔으로 실행된다. 각 갱신은 두 반대각선에서 정보를 모으고 입력을 한 번 투영해 현재 상태에 반영하므로, 학습과 추론 모두 특징 맵을 평탄화할 필요가 없다. 코드는 https://github.com/BitSsm/FM-Mamba-Runtime 에서 제공한다.
원문 초록
When applied to two-dimensional features such as images, Mamba-based methods either flatten the feature map into 1D sequences and fuse multiple scans, which breaks spatial adjacency and multiplies computation, or recurse directly on the 2D grid but rescale the recurrence with a fixed input-independent factor and aggregate only the predecessors on a single anti-diagonal, leaving the discrete step unconstrained by 2D stability theory. We propose \textbf{FM-Mamba}, a native 2D selective state space model built on the general Fornasini--Marchesini (FM) model. Its coupled recurrence evolves along both spatial axes; cross-axis coupling induces a discrete diagonal-predecessor term $\tilde A_0$, and two independent input-dependent step sizes $\Delta_1(i,j)$, $\Delta_2(i,j)$ govern propagation along the two axes, so that the coefficients adapt per position and per direction. A normalized ratio $r_k=a_{0,k}/(a_{1,k}a_{2,k})$ yields a closed-form piecewise bound on the two step sizes; when a configuration falls outside the stable interval the steps are projected onto this bound, and the criterion is re-verified per position after training, which suppresses systematic local amplification without global damping. The recurrence is executed by a dual-diagonal wavefront scan: each update gathers information from two anti-diagonals, and the input enters the current state through a single projection, so that neither training nor inference flattens the feature map. Code is available at https://github.com/BitSsm/FM-Mamba-Runtime
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22061v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.