시간 지식 그래프(Temporal Knowledge Graph, TKG)는 사실이 시간에 따라 어떻게 변화하는지를 기록하지만, TKG에서 미래 사건을 예측하는 일은 여전히 어렵습니다. 그 이유는 세 가지입니다: (i) 장거리 시간적 의존성을 인코딩하기 어렵고, (ii) 서로 다른 체인(chain)上的 이벤트가 상호적으로 촉발하거나 억제하는 방식으로 상호작용하는데, 이는 스냅샷 수준 모델로는 표현할 수 없으며, (iii) 도착 간 시간(inter-arrival time)이 heavy-tailed 분포를 따르고 통계적으로 희소(sparse)하므로 결정론적 시간 예측기는 신뢰할 수 없습니다. 우리는 이 세 가지 문제를 단일 프레임워크인 Group Attention Neural Hawkes Process(GAttNHP)로 해결합니다. GAttNHP는 서로 대응하는 세 가지 구성 요소로 구성됩니다. 첫째, 셀프 어텐션(self-attention) 인코더는 각 주체-관계(subject-relation) 체인을 연속 시간 점 프로세스(continuous-time point process)로 모델링하고, 먼 과거 이력의 지속적인 촉발(excitation) 효과를 포착합니다. 둘째, 의미론적 소프트 그룹핑(semantic soft-grouping) 모듈은 전역적으로 학습 가능한 Hawkes 사전(prior)을 해석적(analytical) 크로스 어텐션(cross-attention) 마스크로 변환하여, 체인들이 전수적 쌍별(pairwise) 계산 대신 잠재(latent) 그룹 소속(group membership)을 통해 촉발 패턴을 공유하도록 합니다. 셋째, Non-Crossing Quantile(NCQ) 회귀 헤드(regression head)가 평균 기반 시간 예측을 대체하여, heavy-tailed 도착 간 시간 분포에서도 안정적인 보정(calibrated)된 단조(monotonically) 순서의 분위수(quantile) 추정치를 제공합니다. 6개의 벤치마크 TKG 데이터셋에서 GAttNHP는 엔티티(entity) 예측과 시간 예측 모두에서 최신(state-of-the-art) 기준선(baseline) 대비 성능을 개선했으며, ablation 실험은 가장 큰 향상이 기존 모델이 가장 크게 실패하는 롱테일(long-tail) 이벤트 체인에서 나타남을 확인합니다.
In this paper, we propose deep learning based NeuroMem-FHP framework for estimating the parameters of the fractional Hawkes process (FHP), a self-exciting point process that captures long-range dependence through a fractional Mittag-Leffler excitation kernel. Two neural architectures, namely a Long Short-Term Memory (LSTM) network and a Transformer, are developed to estimate the model parameters $(μ,γ,α,β)$ directly from sequences of inter-arrival times without requiring computationally intensive likelihood optimization. Experiments on synthetic data that both neural models significantly outperform the classical Maximum Likelihood Estimation (MLE) method, with the Transformer achieving the highest estimation accuracy (MSE = $0.1634$), followed by the LSTM (MSE = $0.1752$), compared to MLE (MSE = $2.8032$). An ablation study further examines the effects of key hyperparameters on model performance. The proposed framework is also on two real-world high-frequency datasets, namely AAPL NBBO transaction data and Montgomery County 911 emergency call records. Using a predictive validation approach, event sequences simulated from the estimated parameters closely reproduce the empirical distribution, tail behavior, and temporal dependence structure of the observed data. These results demonstrate that Transformer-based parameter estimation provides an accurate and efficient alternative to conventional estimation techniques for FHP and offers a promising framework for modeling event-driven systems with long-memory dynamics.
분산형 에너지 자원(DERs)의 급속한 성장은 전력망 관리에 기회와 운영 과제를 동시에 가져옵니다. DER 도입을 정확히 예측하는 것은 선제적 인프라 계획에 필수적이지만, DER 성장의 내재된 불확실성과 공간적 격차로 인해 기존 예측 방식을 적용하기 어렵습니다. 더욱이, 배전망의 계층적 구조는 회로 및 변전소 수준 모두에서 통계적 보장을 충족하는 예측을 요구하며, 이는 신뢰할 수 있는 의사결정을 위해 달성하기 쉽지 않은 요구 사항입니다. 본 논문에서는 계층적 전력망 구조 전반에 걸쳐 타당성을 보장하는 DER 도입 예측을 위한 새로운 불확실성 정량화 프레임워크를 제안합니다. DER 도입 역학을 모델링하기 위해 다변량 호크스 과정(multivariate Hawkes process)과 맞춤형 분할 컨포멀 예측(split conformal prediction) 알고리즘을 활용하여, 집계 과정에서 통계적 보장을 유지하면서 예측 효율성을 유지하는 새로운 비준보 점수(nonconformity score)를 도입합니다. 우리는 완화된 조건 하에서 이론적 타당성을 확립하고, 인디애나폴리스(Indianapolis, Indiana)의 고객 수준 태양광 패널 설치 데이터에 대한 실증적 평가를 통해 본 방법이 예측 정확도와 불확실성 보정 측면에서 기존 베이스라인을 지속적으로 능가함을 입증합니다.