Efficient Estimation of Compressible State-Space Models with Application to Calcium Signal Deconvolution
원문 초록
In this paper, we consider linear state-space models with compressible innovations and convergent transition matrices in order to model spatiotemporally sparse transient events. We perform parameter and state estimation using a dynamic compressed sensing framework and develop an efficient solution consisting of two nested Expectation-Maximization (EM) algorithms. Under suitable sparsity assumptions on the innovations, we prove recovery guarantees and derive confidence bounds for the state estimates. We provide simulation studies as well as application to spike deconvolution from calcium imaging data which verify our theoretical results and show significant improvement over existing algorithms.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
확산 기반 상태 공간 모델
Diffusion-Driven State Space Models
많은 분야에서 실무자들은 잠재 시스템 역학을 충실히 포착하면서 정확한 예측을 생성하는 모델을 찾는다. 기존 접근법은 일반적으로 이 두 목표 중 하나를 포기한다. 딥 상태 공간 모델(deep state space model)은 종종 가우시안 잠재 전이(Gaussian latent transition)를 가정하여 적합(fit)과 예측을 제한하는 반면, 확산 모델(diffusion model)은 표현력이 매우 높지만 기저 역학에 대한 원칙적 추론(inference)이 부족하다. 두 접근법의 장점을 결합하기 위해, 우리는 기존의 가우시안 전이 분포를 확산 모델로 대체하는 확산 기반 상태 공간 모델(DDSSM, Diffusion-Driven State Space Model)을 제안한다. 우리의 DDSSM은 순차 데이터(sequential data)에서 오토인코더(autoencoder)와 확산 모델을 공동 학습(jointly train)하는 방법에 관한 미해결 문제를 해결하여, 시계열(time series)을 위한 잠재 확산 모델(latent diffusion model) 문헌을 확장한다. 또한 DDSSM이 다중모드 전이(multimodal transition)를 갖는 시뮬레이션 시계열의 적합과 예측에서 최첨단(state-of-the-art) 딥 SSM을 실험적으로 능가함을 확인하였다.
불연속 게이팅을 가진 선택적 SSM의 정칙성 및 안정성 특성
Regularity and Stability Properties of Selective SSMs with Discontinuous Gating
Mamba와 같은 선택적 상태 공간 모델(SSM)은 장시퀀스 모델링의 핵심으로 자리잡았다. 그러나 이들의 안정성은 아직 충분히 이해되지 않았다: 상태 공간 계수가 토큰(token) 의존적 게이팅 신호에 의해 온라인으로 변조되어, 그 순환(recurrence)은 선형 시불변(linear time-invariant)도 고전적 비선형도 아닌 특성을 지닌다. 우리는 수동성(passivity), 소산성(dissipativity), 입력-상태 안정성(Input-to-State Stability, ISS)을 통해 연속 시간 선택적 SSM을 연구하며, 선택 신호 $x(\cdot)$를 구동 입력 $u(\cdot)$로부터 명시적으로 분리한다. 우리는 네 가지 결과를 도출한다: 엄격한 소산성 하에서의 지수적 망각; 불연속 게이팅을 수용하는 선택 고정 서브시스템에 대한 정준 $\mathrm{AUC}_{\mathrm{loc}}$ 이차 저장; 범용 커널(kernel) 제약 및 "비가역적 망각"을 포함하는 범용 이차 저장 하에서의 파라메트릭 LMI; 그리고 허용 가능한 선택 스케줄 전반에 걸쳐 균일한 전역 ISS에 대한 충분 조건. 이후 우리는 Mamba 선택적 스캔 코어에 대한 샘플링된 블록 LMI를 도출함으로써 실용적 연결을 구축하며, 이를 미분 가능한 학습(training) 시간 정규화기로 활용한다. 7개의 표준 시계열 데이터셋과 4개의 예측 지평에 걸쳐, 해당 정규화기는 28/28 쌍에서 샘플링된 Mamba 코어 LMI 위반을 약 92% 감소시키며, 클린 MSE 비용은 0.018% 미만이다. 또한 주입된 교란 하에서 내부 Mamba 수동성 및 상태 노름 진단을 개선한다. 우리의 결과는 고전적인 제어 이론적 도구를 선택적 SSM에 대한 검증 가능한 구조적·학습 기준으로 전환하는 동시에, 어떤 보장이 심층 선택적 스캔 아키텍처로 이전되는지를 솔직하게 범위 한정한다.
Learning Sequential Kinematic Models from Demonstrations for Multi-Jointed Articulated Objects
Gibbs 무작위성-압축 명제
Gibbs randomness-compression proposition
손실 압축 과정과 연관된 측정 벡터 집합에 대한 Gibbs 엔트로피를 통해 무작위성과 압축을 연결하는 명제를 제안한다. 이 연결을 구축하는 과정에서, 반복적인 압축-학습 주기에서 압축을 탐색하는 수단으로 학습 과제의 성능을 사용한다. 이는 열역학적 효율을 탐색 수단으로 사용하는 통계역학적 관점에서의 반복적 coarse-graining으로 볼 수 있다. 압축률의 매우 작은 감소와 성능 사이의 공단조(comonotonic) 관계를 통해 이 연결을 공식화한다. 기준선 모델로 세 가지 서로 다른 모델 압축 과정을 사용하여, 심층 학습의 정형적인 비전 과제에서 이 명제의 타당성을 입증한다. 다음의 단순한 것부터 복잡한 것까지의 모델 압축 접근법을 사용한다: (1) 무작위 가지치기, (2) 크기(magnitude) 가지치기, (3) 이중 방식의 압축 센싱(compressed sensing)을 활용하는 이중 tomographic 압축을 이용한 보다 복잡한 압축으로, 이는 새로운 방법으로 소개된다. 심층 학습 네트워크의 남은 가중치를 측정 벡터로 사용하여 Gibbs 엔트로피를 측정한다. 성능으로 탐색한 압축과 학습된 모델에 대한 엔트로피 측정으로부터 얻은 무작위성 사이에 본질적으로 계산 가능한 연결이 존재한다는 개념을 보여준다.
Optimal Sensor Scheduling and Selection for Continuous-Discrete Kalman Filtering with Auxiliary Dynamics
Precision Spatio-Temporal Feature Fusion for Robust Remote Sensing Change Detection
토론
이 논문과 연결된 포럼 글이 아직 없습니다.