Mamba-3에서 입력-의존적 저순위 업데이트를 통한 비가환 상태 추적
Non-Commutative State Tracking with Input-Dependent Low-Rank Updates in Mamba-3
순차적 관측으로부터 상태를 추적(state tracking)하는 과정에서는 정보를 유지하는 것과 관측된 연산들을 합성하여 정보를 갱신하는 것이 모두 요구될 수 있다. 본 논문에서는 연산의 순서가 중요한 비가환(non-commutative) 상태 추적을 지원하기 위해, Mamba-3의 대각 전이(diagonal transition)를 입력-의존적(input-dependent) 저순위(low-rank) 반사 항으로 확장한다. 이 랭크-1(rank-one) 업데이트는 입력에 의존적인 방향을 따라 상태 좌표들을 결합하여, 단일 Mamba-3 블록 내에서 비대각(non-diagonal) 상태 전이를 가능하게 한다. 이러한 확장은 Mamba-3의 지수-사다리꼴 이산화(exponential-trapezoidal discretization), 회전 임베딩(RoPE), 판독(readout)을 그대로 보존한다. 학습(training)을 위해, 제안된 순환(recurrence)을 각 청크 내에서 병렬화하도록 청크 단위 연산(chunkwise computation)을 적용한다. 실험은 이산 입력을 사용하는 군 단어 문제(group word problem)와 행동 복제(behavioral cloning)로 정책을 학습하는 연속 관측 기반의 야바위 게임(shell game)을 다룬다. 고정된 타이밍에서 우수한 성능을 보여 선택된 모델(model)들 중, 제안된 모델은 타이밍 지터(timing jitter)가 있는 연속 관측 환경의 야바위 게임에서 더 긴 맞바꿈 시퀀스(swap sequence)에 대해 더 높은 추적 성공률을 유지한다. 이러한 실험들은 제안된 방법이 평가된 비가환 추적 태스크에서 높은 정확도를 달성하며 표준 Mamba-3 대비 성능을 개선함을 보여준다. 따라서 본 확장은 비가환 상태 추적을 위한 Mamba-3 기반의 접근 방식을 제공한다.