Mamba-3에서 입력-의존적 저순위 업데이트를 통한 비가환 상태 추적
Non-Commutative State Tracking with Input-Dependent Low-Rank Updates in Mamba-3
한국어 초록
순차적 관측으로부터 상태를 추적(state tracking)하는 과정에서는 정보를 유지하는 것과 관측된 연산들을 합성하여 정보를 갱신하는 것이 모두 요구될 수 있다. 본 논문에서는 연산의 순서가 중요한 비가환(non-commutative) 상태 추적을 지원하기 위해, Mamba-3의 대각 전이(diagonal transition)를 입력-의존적(input-dependent) 저순위(low-rank) 반사 항으로 확장한다. 이 랭크-1(rank-one) 업데이트는 입력에 의존적인 방향을 따라 상태 좌표들을 결합하여, 단일 Mamba-3 블록 내에서 비대각(non-diagonal) 상태 전이를 가능하게 한다. 이러한 확장은 Mamba-3의 지수-사다리꼴 이산화(exponential-trapezoidal discretization), 회전 임베딩(RoPE), 판독(readout)을 그대로 보존한다. 학습(training)을 위해, 제안된 순환(recurrence)을 각 청크 내에서 병렬화하도록 청크 단위 연산(chunkwise computation)을 적용한다. 실험은 이산 입력을 사용하는 군 단어 문제(group word problem)와 행동 복제(behavioral cloning)로 정책을 학습하는 연속 관측 기반의 야바위 게임(shell game)을 다룬다. 고정된 타이밍에서 우수한 성능을 보여 선택된 모델(model)들 중, 제안된 모델은 타이밍 지터(timing jitter)가 있는 연속 관측 환경의 야바위 게임에서 더 긴 맞바꿈 시퀀스(swap sequence)에 대해 더 높은 추적 성공률을 유지한다. 이러한 실험들은 제안된 방법이 평가된 비가환 추적 태스크에서 높은 정확도를 달성하며 표준 Mamba-3 대비 성능을 개선함을 보여준다. 따라서 본 확장은 비가환 상태 추적을 위한 Mamba-3 기반의 접근 방식을 제공한다.
원문 초록
State tracking from sequential observations can require both retaining information and updating it by composing observed operations. We extend Mamba-3's diagonal transition with an input-dependent low-rank reflection term to support noncommutative state tracking, in which the order of operations matters. The rank-one update couples state coordinates along an input-dependent direction, enabling non-diagonal state transitions within a single Mamba-3 block. The extension preserves Mamba-3's exponential-trapezoidal discretization, rotary embeddings (RoPE), and readout. For training, we adapt chunkwise computation to parallelize the proposed recurrence within each chunk. Experiments cover group word problems with discrete inputs and a shell game with continuous observations, in which a policy is trained by behavioral cloning. Among the models selected for their strong performance under fixed timing, the proposed model maintains higher tracking success on longer swap sequences in the shell game with continuous observations and timing jitter. These experiments show that the proposed method achieves high accuracy on the evaluated non-commutative tracking tasks, improving on standard Mamba-3. The extension thus offers a Mamba-3-based approach to non-commutative state tracking.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.28273v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
A Better Alternative to Piecewise Linear Time Series Segmentation
ECGGuard: Deep Watermarking of Electrocardiogram Signals With Error-Correcting
PulseGuard: rPPG-Derived Temporal Signals as a Forensic Modality for Talking-Face Deepfake Detection
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
AI 기반 그리드 엣지 협조를 위한 유한 표본 확률적 안전성 인증
Finite-Sample Probabilistic Safety Certification for AI-Based Grid-Edge Coordination
호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견
Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.