NeuroMem-FHP: A Likelihood-Free Deep Learning Framework for Parameter Estimation of Fractional Hawkes Process
원문 초록
In this paper, we propose deep learning based NeuroMem-FHP framework for estimating the parameters of the fractional Hawkes process (FHP), a self-exciting point process that captures long-range dependence through a fractional Mittag-Leffler excitation kernel. Two neural architectures, namely a Long Short-Term Memory (LSTM) network and a Transformer, are developed to estimate the model parameters $(μ,γ,α,β)$ directly from sequences of inter-arrival times without requiring computationally intensive likelihood optimization. Experiments on synthetic data that both neural models significantly outperform the classical Maximum Likelihood Estimation (MLE) method, with the Transformer achieving the highest estimation accuracy (MSE = $0.1634$), followed by the LSTM (MSE = $0.1752$), compared to MLE (MSE = $2.8032$). An ablation study further examines the effects of key hyperparameters on model performance. The proposed framework is also on two real-world high-frequency datasets, namely AAPL NBBO transaction data and Montgomery County 911 emergency call records. Using a predictive validation approach, event sequences simulated from the estimated parameters closely reproduce the empirical distribution, tail behavior, and temporal dependence structure of the observed data. These results demonstrate that Transformer-based parameter estimation provides an accurate and efficient alternative to conventional estimation techniques for FHP and offers a promising framework for modeling event-driven systems with long-memory dynamics.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.11177v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
산일 시스템을 위한 데이터 기반 이산 시간 딥 순환 신경망 기반 모델링
Data-driven discrete-time deep recurrent neural network-based modeling for dissipative systems
물리 인공지능(Physical AI)은 실세계의 동역학을 더 잘 이해하고 예측하며 제어하는 AI 시스템을 개발하는 데 기여하며 점점 더 많은 주목을 받고 있습니다. 이를 달성하기 위해서는 높은 예측 정확도를 달성할 뿐만 아니라 동역학 시스템의 근본적인 물리적 특성을 보존하는 AI 모델이 필요합니다. 본 논문에서는 구조적 가중치 제약과 전용 학습 알고리즘을 통해 안정성 및 에너지 산일(energy dissipation)과 관련된 핵심 특성인 산일성(dissipativity)을 명시적으로 강제하는 딥 이산 시간 산일 순환 신경망(DissipNet)을 제안합니다. 구조적 설계에 의해, 제안된 신경망은 고유한 안정성을 보존하면서 산일 동역학을 학습할 수 있으며, 이는 랴푸노프 이론(Lyapunov theory)을 사용하여 엄밀하게 분석됩니다. 지배 방정식을 학습 손실에 반영하지만 산일성이나 수동성(passivity)과 같은 내부 해석적 특성의 보존을 보장하지 않는 물리 정보 신경망(PINN)과 달리, 본 접근 방식은 모델 수준에서 안정성에 대한 명시적인 보장을 제공합니다. 우리는 여러 모델링 응용 사례를 통해 제안된 방법의 효과를 입증하고, 나이브 순환 신경망(RNN) 및 PINN 기반 모델과 성능을 비교합니다.
상대 방전 단계(RDS) 분류: 배터리 방전 진행 상황의 실용적 지표
Relative Discharge Stage (RDS) Classification: A Practical Indicator of Battery Discharge Progress
실제 배터리 응용 환경에서는 미래의 부하 프로파일을 알 수 없고 매우 동적이기 때문에, 정확한 잔여 방전 시간(RDT) 예측은 어려운 과제이다. 연속적인 RDT 회귀의 불확실성을 해결하기 위해, 본 논문은 잔여 방전 상태를 Normal, Good, Moderate, Low, Recharge Required의 다섯 가지 해석 가능한 클래스로 나타내는 배터리 관리 지표인 상대 방전 단계(Relative Discharge Stage, RDS)를 제안한다. 현재의 충전 수준을 반영하는 충전 상태(SOC)와 달리, RDS는 추론 시 미래 전류 정보 없이도 남은 방전 과정을 특성화한다. 이를 위해 SOC 추정과 경량 시간적 학습을 결합한 물리 기반(physics-informed) RDS 분류 프레임워크를 제안한다. SOC 추정 구성요소는 2차 ECM 상태 및 단자 전압 예측, 히스테리시스 및 OCV 온도 보정, 코어 온도 추정, AEKF 상태 보정을 포함하며, OCV 평가, 온라인 STC-ECM 매개변수 적응, 사전학습된 신경망 잔차 전압 보정이 이를 뒷받침한다. 측정된 전류, 단자 전압, 표면 온도, 그리고 추정된 SOC는 슬라이딩 관측 윈도우로 구성되어 경량 시간적 합성곱 신경망(temporal convolutional network)으로 처리된다. 두 개의 공개 리튬이온 배터리 데이터셋에 대한 실험을 통해, 다양한 부하 및 열 조건에서 80%를 초과하는 정확도로 견고한 RDS 분류 성능을 확인하였다.
A Better Alternative to Piecewise Linear Time Series Segmentation
간섭과 잠재 교란 하에서 순차 설정에 대한 인과 추론
Causal Inference for Sequential Settings under Interference and Latent Confounding
본 연구는 순차적·관측적 설정에서 결과 간섭(outcome interference) 하의 인과 추론을 다룬다. 구체적으로, N개 단위에 대한 이진 결과가 T개 시간 단계에 걸쳐 Markovian인 설정을 고려한다. 각 시간 단계에서 N개 단위의 결과는 Ising 모델을 통해 포착되는 의존성을 갖으며, 각 결과는 또한 해당 처치(treatment)의 효과와 잠재 교란 요인(latent confounders)의 영향을 반영하는 외부장(external field)의 영향을 받는다. 패널 데이터(panel data) 문헌과 유사하게, 이러한 잠재 교란 요인은 저계수(low-rank) 요인 구조를 갖도록 모델링된다. 우리의 데이터는 이러한 고차원 분포로부터의 단일 샘플이다. 관심 있는 인과량을 추정하기 위해, 모델 매개변수를 학습하기 위한 최대 유사-가능도 추정(Maximum Pseudo-Likelihood Estimation, MPLE)에 기반한 계산 효율적인 방법을 제시한다. 완화된 가정 하에서, 매개변수 추정에 대한 비점근(non-asymptotic) 일관성을 확립하고, 이것이 학습된 모델로부터 샘플링한 후 관심 있는 인과량의 충실한 추정으로 이어짐을 보인다. 합성 실험과 함께, 미국 전역 카운티(county) 내 백신 접종률이 COVID-19 사망률에 미치는 인과 효과를 조사하는 실세계 사례 연구를 통해 방법의 효과를 입증한다.
HARN: 이벤트 기반 다중 시간대 예측을 위한 계층적 연상 공명 네트워크
HARN: Hierarchical Associative Resonance Network for Event-Driven Multi-Timeframe Forecasting
학습 가능한 분해 및 다양체 역학을 활용한 쌍곡 시계열 예측
Hyperbolic Time Series Forecasting with Learnable Decomposition and Manifold Dynamics
다중 스케일(multiscale) 구조는 시계열 예측의 핵심입니다. 시간 신호는 천천히 변화하는 트렌드, 중간 수준의 계절적 패턴, 그리고 고주파수 잔차를 포함합니다. 기존 예측 모델은 이러한 다중 스케일 구조를 유클리드 공간에서 모델링하여, 구성 요소들 사이에 유도되는 순서를 표현하지 못합니다. 본 연구에서는 종속 분해(cascaded decomposition)가 구성 요소들을 고유 주파수에 따라 정렬하여 자연스러운 주파수 계층을 형성함을 확인했습니다. 이 계층 구조는 반경에 따라 표현 용량이 증가하고 중첩된 계층 구조를 자연스럽게 수용하는 쌍곡 공간(hyperbolic space)의 지수적 부피 증가 특성과 잘 부합합니다. 이에 따라 본 연구에서는 쌍곡 공간에서 작동하는 최초의 장기 시계열 예측(LTSF) 프레임워크인 HyperForecast를 제안합니다. HyperForecast는 원점 근처의 저주파수 성분부터 경계 근처의 고주파수 성분에 이르기까지 반지름 거리가 이러한 중첩 구조를 포착하도록, 분해된 시간 구간을 푸앵카레 공(Poincaré ball) 위에 임베딩합니다. 또한 측지선 속도(geodesic velocity)를 두 가지 다양체 역학(manifold dynamics) 변형을 통해 모델링합니다: (a) 푸앵카레 잔차 역학을 통한 자기회귀 예측, (b) 모든 미래 구간을 병렬로 예측하는 비자기회귀 예측입니다. HyperForecast는 11개 장기 예측 벤치마크 중 9개에서 기존 및 최고 수준(SOTA)의 베이스라인 모델을 일관되게 능가하며, 긴 예측 구간에서 평균 제곱 오차(MSE)를 최대 58%까지 낮췄습니다. 추가 분석을 통해 학습된 반경 임베딩이 주파수 계층을 성공적으로 복원하며, 쌍곡 기하학이 예측 성능에 실질적으로 기여함을 밝혔습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.