HAN-Mamba: 다중 스케일 금융 변동성 예측을 위한 계층적 선택적 상태 공간 네트워크
HAN-Mamba: Hierarchical Selective State Space Networks for Multi-Scale Financial Volatility Forecasting
한국어 초록
단기 실현 변동성 예측은 초 단위의 오더북(order book) 역학부터 주 단위의 체제 변화(regime drift)에 이르기까지, 서로 다른 시간 해상도에서 전개되는 시장 정보를 통합해야 합니다. 본 연구진의 이전 학회 연구에서는 스케일별 트랜스포머(Transformer) 인코더가 단기, 중기, 장기 스트림을 처리하고 학습된 어텐션 퓨저(fuser)가 이들의 기여도를 가중하는 계층적 구조인 HAN-T를 제안했습니다. 본 논문에서는 이차 시간 복잡도(quadratic)의 어텐션 인코더를 선택적 상태 공간(selective state space, Mamba) 인코더로 대체하는 한편, 입력이 긴 시퀀스가 아닌 세 개의 토큰 세트로 구성되는 퓨저에만 어텐션을 유지합니다. 그 결과 도출된 하이브리드 모델인 HAN-Mamba는 입력 의존적 게이팅을 통해 지속적이면서도 감쇠하는 메모리와 급격한 체제 전환이라는 변동성의 두 가지 구조적 특성에 부합하는 순환 상태로 각 스트림을 요약합니다. 시간 인지 5겹 교차 검증(time-aware five-fold cross-validation)을 적용한 Optiver 실현 변동성 예측 벤치마크에서, HAN-Mamba는 33% 더 적은 파라미터로 HAN-T 대비 평균 RMSPE를 개선했습니다(0.1942 대 0.1965). 또한 선형 시간(linear-time) 인코더 덕분에 고주파 컨텍스트를 60개에서 240개 버킷으로 확장하여 어텐션 변형 모델이 포화 상태에 도달하는 지점에서 오차를 0.1927로 줄일 수 있었으며, 추론(inference) 시 상수 시간의 스트리밍 업데이트를 지원합니다. 어블레이션 연구(Ablation)를 통해 이러한 성능 향상이 인코더 교체 덕분임을 규명하고, 계층적 사전 지식이 서로 다른 시퀀스 모델 패밀리 간에도 전이됨을 확인하며, 순열 불변(permutation-invariant) 어텐션 퓨저가 스케일 간 통합에 여전히 적합한 메커니즘임을 보여줍니다.
원문 초록
Short-horizon realized volatility forecasting requires the integration of market information that evolves at incompatible temporal resolutions, from second-level order book dynamics to weekly regime drift. Our conference work introduced HAN-T, a hierarchical architecture in which scale-specific Transformer encoders process short, mid, and long-horizon streams and a learned attention fuser weighs their contributions. This article replaces the quadratic attention encoders with selective state space (Mamba) encoders while retaining attention only in the fuser, where the input is a three-token set rather than a long sequence. The resulting hybrid, HAN-Mamba, summarizes each stream through a recurrent state whose input-dependent gating matches two structural properties of volatility: persistent but decaying memory and abrupt regime shifts. On the Optiver Realized Volatility Prediction benchmark under time-aware five-fold cross-validation, HAN-Mamba improves mean RMSPE over HAN-T (0.1942 vs. 0.1965) with 33% fewer parameters. Its linear-time encoders further allow the high-frequency context to be extended from 60 to 240 buckets, reducing error to 0.1927 where the attention variant saturates, and support constant-time streaming updates at inference. Ablations attribute the gains to the encoder swap, confirm that the hierarchical prior transfers across sequence-model families, and show that the permutation-invariant attention fuser remains the correct mechanism for cross-scale integration.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
16 pages. Accepted for publication in Springer Lecture Notes in Artificial Intelligence (ICAART 2026 Revised Selected Papers). Extended version of the ICAART 2026 paper (DOI: 10.5220/0014264900004052)