arXiv:2510.25693v4 eess.SP

PyDPF: 미분 가능한 파티클 필터링을 위한 Python 패키지

PyDPF: A Python Package for Differentiable Particle Filtering

John-Joseph Brady, Benjamin Cox, Yunpeng Li, Víctor Elvira

제출 2025-10-29

저자 비고

arXiv Comments

46 pages, 0 figures, under review at the Journal of Statistical Software, the python package can be found at https://pypi.org/project/pydpf/ , the full documentation at https://python-dpf.readthedocs.io/en/latest/#documentation-index , and the source code including experiment replication material at https://github.com/John-JoB/pydpf

한국어 초록

상태 공간 모델(SSM)은 시계열 분석에서 널리 사용되는 도구입니다. 실제 데이터에서 비롯되는 복잡한 시스템에서는 일련의 관측값에 대응하는 은닉 상태를 추정하기 위해 효율적인 몬테카를로(Monte Carlo) 기법인 파티클 필터링(PF)을 사용하는 것이 일반적입니다. 파티클 필터링을 적용하려면 시스템의 매개변수 형태와 파라미터가 모두 지정되어야 하지만, 이는 알려지지 않은 경우가 많아 추정해야 합니다. 표준 파티클 필터는 필터 자체가 미분 가능하지 않기 때문에 그래디언트 기반 최적화(optimization) 기법을 직접 적용할 수 없습니다. 그러나 최근 제안된 여러 방법은 리샘플링 단계를 수정하여 파티클 필터링을 미분 가능하게 만듭니다. 본 논문에서는 널리 사용되는 PyTorch 프레임워크를 기반으로 구축된 통일된 API를 통해 이러한 여러 미분 가능한 파티클 필터(DPF)의 구현을 제시합니다. 본 연구의 구현은 더 넓은 연구 커뮤니티에서 이러한 알고리즘에 쉽게 접근할 수 있도록 하며, 알고리즘 간의 직접적인 비교를 용이하게 합니다. 우리는 기존 여러 연구의 실험을 재현하여 프레임워크를 검증하고, 상태 공간 모델링의 여러 일반적인 과제를 해결하기 위해 DPF를 어떻게 적용할 수 있는지 보여줍니다.

원문 초록

State-space models (SSMs) are a widely used tool in time series analysis. In the complex systems that arise from real-world data, it is common to employ particle filtering (PF), an efficient Monte Carlo method for estimating the hidden state corresponding to a sequence of observations. Applying particle filtering requires specifying both the parametric form and the parameters of the system, which are often unknown and must be estimated. Gradient-based optimisation techniques cannot be applied directly to standard particle filters, as the filters themselves are not differentiable. However, several recently proposed methods modify the resampling step to make particle filtering differentiable. In this paper, we present an implementation of several such differentiable particle filters (DPFs) with a unified API built on the popular PyTorch framework. Our implementation makes these algorithms easily accessible to a broader research community and facilitates straightforward comparison between them. We validate our framework by reproducing experiments from several existing studies and demonstrate how DPFs can be applied to address several common challenges with state space modelling.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2510.25693v4

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13411v1cs.LG공통 태그 Bayesian Inference, Time Series

시스템 식별을 위한 문맥 내 학습: 확률적 정식화, 긴 시퀀스 처리 및 벤치마크 검증

In-Context Learning for System Identification: Probabilistic Formulation, Long-Sequence Handling, and Benchmark Validation

전통적인 시스템 식별(system identification)은 일반적으로 두 단계로 이루어집니다. 먼저 학습(training) 데이터를 처리하여 관심 대상 시스템의 모델을 추정하고, 그 후 해당 모델을 사용하여 새로운 입력 쿼리에 대한 출력을 예측합니다. 이와 대조적으로, 최근의 문맥 내 학습(ICL) 접근 방식은 명시적인 모델 추정을 거치지 않고, 제로샷(zero-shot) 방식으로 학습 데이터와 쿼리 입력으로부터 직접 출력으로 매핑하는 메타 모델을 학습합니다. 이 방식은 대규모 합성 생성 데이터셋에서 오프라인으로 학습된 메타 모델을 활용하여 시스템 식별 알고리즘의 동작을 모사합니다. 본 연구에서는 시스템 식별을 위한 이러한 메타학습(meta-learning) 프레임워크를 세 가지 방향으로 발전시킵니다. 첫째, 트랜스포머(Transformer) 기반 인코더-디코더와 긴 학습 시퀀스 처리에 특화된 메커니즘을 결합하여 긴 시계(horizon)에 걸쳐 보정된(calibrated) 예측을 가능하게 하는 통합 확률적 메타 식별 아키텍처를 개발합니다. 둘째, 사전학습된 메타 모델이 고전적 시스템 식별을 위한 불확실성 인식 합성 데이터 생성기 역할을 수행하여, 실제 데이터가 부족할 때 매개변수 모델(parametric model)을 정규화하는 태스크 맞춤형 데이터를 제공할 수 있음을 보여줍니다. 셋째, 표준 비선형 시스템 식별 벤치마크와 도전적인 OOD(out-of-distribution) 시나리오에서 프레임워크를 체계적으로 평가하여, SOTA(state-of-the-art) 방법들과 견줄 만한 정확도 및 강력한 일반화 성능을 입증하며, 여기에는 입력 전용 적응만으로도 상당한 분포 변화를 처리하기에 충분한 사례들도 포함됩니다.

arXiv:2607.09889v1cs.LG공통 태그 Time Series, state-space models

토큰이 아닌 고유 항목을 기억하기: 상태공간 모델과 어텐션 사이의 학습 가능한 Dirichlet-Process 캐시

Remembering Distinct Items, Not Tokens: A Learnable Dirichlet-Process Cache Between State-Space Models and Attention

고정 상태 시퀀스 모델은 무한한 과거를 유한한 상태로 압축하므로, 연상 재현율이 대략 상태 차원 수준으로 제한된다. 어텐션은 모든 토큰에 대해 키-값 항목을 유지함으로써 이 제한을 피하지만, 이차(quadratic) 연산량과 시퀀스 길이에 따라 증가하는 캐시를 요구한다. 우리는 그 중간 지점을 연구한다: 입력이 새로운 경우에만 슬롯을 할당하는 희소 캐시로, 그 크기가 토큰 수가 아닌 고유 항목의 수를 추적한다. 할당 규칙은 Dirichlet-process 혼합의 소분산 극한인 DP-means 클러스터링 규칙으로, 잠재변수 추론이 아닌 심층 순환 백본의 키-값 메모리 연산자로 활용된다. 우리는 이를 두 가지 형태로 개발한다: 고정된 농도(concentration)를 갖는 정적 캐시와, 농도가 최근 새로움 비율을 따르는 놀라움 적응형(surprise-adaptive) 변형이다. 중복이 있는 제어된 연상 재현율 벤치마크에서, 이 캐시가 고유 항목만 저장하면서 완전 어텐션의 재현율에 필적하고, 재현율 대 크기 프론티어에서 고정 예산 제거(eviction) 캐시를 능가하며, 상태공간 백본에서 테스트된 모든 모델 중 가장 낮은 메모리로 재현율 질의와 장거리 집계 모두에 응답함을 보인다. 할당은 end-to-end로 학습 가능하다: 작업 손실만으로 학습된 두 매개변수 새로움 임계값 게이트가 규칙을 정확히 복원하는 반면, 과매개변수화된 게이트는 실패하므로, 핵심 요소는 용량이 아닌 귀납적 바이어스임을 나타낸다. 증거는 적당한 규모의 제어된 메커니즘 연구 집합으로, 고유 항목 속성이 네 가지 실제 스트림(추천, 시스템 로그, 임상 이벤트, 보험 청구)에서 확인되었다. 실제 백본과 실제 코퍼스를 이용한 언어 검증은 동반 연구에서 추구된다.

arXiv:2607.09577v1stat.ME공통 태그 Bayesian Inference, Time Series

생존 예측을 위한 표 형식 파운데이션 모델의 중도절단 인식 타깃 인터페이스

A censoring-aware target interface for tabular foundation models in survival prediction

표 형식 환자 데이터에서의 시간-이벤트 예측은 예후 및 생의학적 의사결정 지원의 핵심이지만, 우중도절단(right-censored) 추적관찰은 일반적인 회귀 레이블의 직접 사용을 방해한다. 표 형식 파운데이션 모델은 소규모 이질적 데이터셋에 재사용 가능한 예측 구조를 제공하지만, 일반적으로 완전히 관측된 결과를 가정한다. 우리는 생존 결과를 제한 평균 생존 시간(restricted mean survival time, RMST)에 대한 잭나이프(jackknife) 유사 관측 타깃으로 변환하여, 생존 전용 미세조정 없이 여러 표 형식 백본이 호라이즌별 RMST 회귀를 수행할 수 있도록 하는 중도절단 인식 타깃 인터페이스 프레임워크인 SurvFM-RMST를 소개한다. 조건부 RMST가 알려진 통제된 시뮬레이션에서 SurvFM-RMST는 제한 무이벤트 시간을 정확하게 복원하였으며, 유사 RMST 타깃은 단순 제한 관측 시간 및 이벤트 전용 타깃보다 우수한 성능을 보였다. 적격한 36개의 정적 SurvSet 데이터셋에서 SurvFM 백본은 기존의 생존 분석 및 RMST 회귀 비교 모델들과 경쟁력 있는 성능을 보였으나, 상대적 성능은 엔드포인트, 호라이즌 및 실용적 제약에 따라 달랐다. 예측된 RMST는 보류된 환자들을 순서가 있는 관측 무이벤트 시간과 이벤트 농축을 갖는 그룹으로 층화하였다. 전반적으로, 결과는 유사 RMST 타깃 구성이 중도절단 생존 데이터와 표 형식 파운데이션 모델 예측 간의 이식 가능한 인터페이스로서 유효함을 지지한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.