PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2510.25693v4eess.SP

PyDPF: 미분 가능한 파티클 필터링을 위한 Python 패키지

PyDPF: A Python Package for Differentiable Particle Filtering

상태 공간 모델(SSM)은 시계열 분석에서 널리 사용되는 도구입니다. 실제 데이터에서 비롯되는 복잡한 시스템에서는 일련의 관측값에 대응하는 은닉 상태를 추정하기 위해 효율적인 몬테카를로(Monte Carlo) 기법인 파티클 필터링(PF)을 사용하는 것이 일반적입니다. 파티클 필터링을 적용하려면 시스템의 매개변수 형태와 파라미터가 모두 지정되어야 하지만, 이는 알려지지 않은 경우가 많아 추정해야 합니다. 표준 파티클 필터는 필터 자체가 미분 가능하지 않기 때문에 그래디언트 기반 최적화(optimization) 기법을 직접 적용할 수 없습니다. 그러나 최근 제안된 여러 방법은 리샘플링 단계를 수정하여 파티클 필터링을 미분 가능하게 만듭니다. 본 논문에서는 널리 사용되는 PyTorch 프레임워크를 기반으로 구축된 통일된 API를 통해 이러한 여러 미분 가능한 파티클 필터(DPF)의 구현을 제시합니다. 본 연구의 구현은 더 넓은 연구 커뮤니티에서 이러한 알고리즘에 쉽게 접근할 수 있도록 하며, 알고리즘 간의 직접적인 비교를 용이하게 합니다. 우리는 기존 여러 연구의 실험을 재현하여 프레임워크를 검증하고, 상태 공간 모델링의 여러 일반적인 과제를 해결하기 위해 DPF를 어떻게 적용할 수 있는지 보여줍니다.

arXiv:2511.18028v2cs.CV

MambaX: 상태 예측 제어를 이용한 이미지 초해상도

MambaX: Image Super-Resolution with State Predictive Control

이미지 초해상도(SR)는 센서의 근본적인 하드웨어 한계를 극복하기 위한 핵심 기술이다. 그러나 기존 접근법들은 주로 최종 해상도를 직접적으로 향상시키는 데 초점을 맞추고 있어, 중간 단계에서 발생하는 오차의 전파와 누적에 대한 효과적인 제어를 간과하는 경우가 많다. 최근 맘바(Mamba)는 전체 복원 과정을 다수의 노드를 가진 상태 시퀀스(state sequence)로 표현함으로써 중간 개입을 가능하게 하는 유망한 접근법으로 부상하였다. 그럼에도 불구하고, 맘바의 고정된 선형 매퍼(linear mapper)는 좁은 수용 영역(receptive field)과 제한된 유연성으로 인해 세밀한 이미지에서의 효과가 저해된다는 한계가 있다. 이를 해결하기 위해, 우리는 연속적인 스펙트럼 밴드를 잠재 상태 공간(latent state space)으로 매핑하고, 제어 방정식의 비선형 상태 파라미터를 동적으로 학습함으로써 SR 과제를 일반화하는 비선형 상태 예측 제어 모델인 MambaX를 구축하였다. 기존의 시퀀스 모델들과 비교하여, MambaX는 1) 동적 상태 예측 제어 학습을 사용하여 상태 공간 모델(state-space model)의 비선형 미분 계수를 근사하고, 2) 다중 모달(multimodal) SR 융합을 위한 새로운 상태 교차 제어(state cross-control) 패러다임을 도입하며, 3) 점진적 전이 학습(progressive transitional learning)을 활용하여 도메인 및 모달리티 변화(shift)로 인한 이질성을 완화한다. 우리의 평가는 단일 이미지 SR과 다중 모달 융합 기반 SR 과제 모두에서 동적 스펙트럼-상태 표현 모델의 우수한 성능을 보여주며, 임의의 차원과 모달리티에 걸쳐 스펙트럼적으로 일반화된 모델링을 발전시킬 수 있는 상당한 잠재력을 강조한다.

arXiv:2607.09889v1cs.LG

토큰이 아닌 고유 항목을 기억하기: 상태공간 모델과 어텐션 사이의 학습 가능한 Dirichlet-Process 캐시

Remembering Distinct Items, Not Tokens: A Learnable Dirichlet-Process Cache Between State-Space Models and Attention

고정 상태 시퀀스 모델은 무한한 과거를 유한한 상태로 압축하므로, 연상 재현율이 대략 상태 차원 수준으로 제한된다. 어텐션은 모든 토큰에 대해 키-값 항목을 유지함으로써 이 제한을 피하지만, 이차(quadratic) 연산량과 시퀀스 길이에 따라 증가하는 캐시를 요구한다. 우리는 그 중간 지점을 연구한다: 입력이 새로운 경우에만 슬롯을 할당하는 희소 캐시로, 그 크기가 토큰 수가 아닌 고유 항목의 수를 추적한다. 할당 규칙은 Dirichlet-process 혼합의 소분산 극한인 DP-means 클러스터링 규칙으로, 잠재변수 추론이 아닌 심층 순환 백본의 키-값 메모리 연산자로 활용된다. 우리는 이를 두 가지 형태로 개발한다: 고정된 농도(concentration)를 갖는 정적 캐시와, 농도가 최근 새로움 비율을 따르는 놀라움 적응형(surprise-adaptive) 변형이다. 중복이 있는 제어된 연상 재현율 벤치마크에서, 이 캐시가 고유 항목만 저장하면서 완전 어텐션의 재현율에 필적하고, 재현율 대 크기 프론티어에서 고정 예산 제거(eviction) 캐시를 능가하며, 상태공간 백본에서 테스트된 모든 모델 중 가장 낮은 메모리로 재현율 질의와 장거리 집계 모두에 응답함을 보인다. 할당은 end-to-end로 학습 가능하다: 작업 손실만으로 학습된 두 매개변수 새로움 임계값 게이트가 규칙을 정확히 복원하는 반면, 과매개변수화된 게이트는 실패하므로, 핵심 요소는 용량이 아닌 귀납적 바이어스임을 나타낸다. 증거는 적당한 규모의 제어된 메커니즘 연구 집합으로, 고유 항목 속성이 네 가지 실제 스트림(추천, 시스템 로그, 임상 이벤트, 보험 청구)에서 확인되었다. 실제 백본과 실제 코퍼스를 이용한 언어 검증은 동반 연구에서 추구된다.

arXiv:2607.06155v1cs.FL

유한 정밀도 순환 모델의 표현력을 도구 사용이 언제 증가시키는가

When Does Tool Use Increase the Expressive Power of Finite-Precision Recurrent Models?

유한 정밀도 순환 모델이 외부 도구를 사용할 때 계산 표현력이 언제 증가하는지를 이론적으로 분석하여, 유한 상태 도구는 표현력을 거의 높이지 못하지만 로컬 read/write/move 명령을 지원하는 테이프 도구 하나만으로도 시스템이 튜링 완전(Turing complete)해짐을 증명한다. 또한 이 구성이 이진 원-핫 은닉 상태를 가진 단층 유한 정밀도 선택적 아핀 SSM으로 정확히 실현됨을 보이며, $O(\log B)$의 순환 비트로 임의의 $B$-상태 튜링 기계를 시뮬레이션할 수 있다는 자원 효율성 결과도 함께 제시한다.

arXiv:2505.11602v3cs.LG

불연속 게이팅을 가진 선택적 SSM의 정칙성 및 안정성 특성

Regularity and Stability Properties of Selective SSMs with Discontinuous Gating

Mamba와 같은 선택적 상태 공간 모델(Selective SSMs)의 불연속 게이팅으로 인한 안정성 문제를 수동성(passivity), 소산성(dissipativity), 입력-상태 안정성(ISS) 이론으로 분석하여 지수적 망각, 전역 안정성 등 네 가지 이론적 결과를 도출하고, 이를 미분 가능한 학습 시간 정규화기로 구현하였다. 7개의 시계열 데이터셋 28쌍 전체에서 LMI 위반을 약 92% 감소시키면서 MSE 손실은 0.018% 미만으로 유지하여, 고전적 제어 이론 도구를 선택적 SSM의 검증 가능한 구조적·학습 기준으로 전환하는 실질적 가능성을 보였다.

arXiv:2606.31063v1stat.ML

동적 가우시안 프로세스와 Vanilla-SPDE 교환

Dynamic Gaussian Processes and the Vanilla-SPDE Exchange

관측 위치와 예측 위치가 공간적으로 분리된 시공간 가우시안 프로세스(GP) 추론에서 발생하는 과도한 계산 비용 문제를 해결하기 위해, 표준 GP와 SPDE 공식화 간의 동등성을 활용한 하이브리드 기법인 Vanilla-SPDE Exchange(VaSE)를 제안한다. VaSE는 관측 데이터의 회귀에 정적(static) 방법을, 사후 샘플의 예측 및 전파에 동적(dynamic) 방법을 결합하여 시간 및 공간 복잡도를 모두 개선함을 복잡도 분석과 수치 실험으로 입증한다.

arXiv:2606.23944v1astro-ph.IM

Stochastic Expectation Maximization for Robust State-Space Radio Interferometric Imaging

무선 간섭(RFI)으로 인한 heavy-tailed 측정 잡음을 다루기 위해 선형 상태-공간 모델에 compound-Gaussian 잡음을 적용하고, 잠재 상태와 잡음 texture를 폐형 Gibbs 갱신으로 몬테카를로 샘플링하는 SAEM(Stochastic Approximation Expectation-Maximization) 기반 강건 추정법을 제안한다. 수치 실험에서 RFI가 있는 전파 간섭계(radio interferometric) 영상 재구성에서 가우시안 EM과 오라클 RTS smoother보다 재구성 품질과 강건성이 크게 향상됨을 보였다.