arXiv:2610.10323v1 cs.LG

HAN-Mamba: 다중 스케일 금융 변동성 예측을 위한 계층적 선택적 상태 공간 네트워크

HAN-Mamba: Hierarchical Selective State Space Networks for Multi-Scale Financial Volatility Forecasting

Mihai Bogdan Deaconu, Ioan Daniel Pop

제출 2026-10-07

저자 비고

arXiv Comments

16 pages. Accepted for publication in Springer Lecture Notes in Artificial Intelligence (ICAART 2026 Revised Selected Papers). Extended version of the ICAART 2026 paper (DOI: 10.5220/0014264900004052)

한국어 초록

단기 실현 변동성 예측은 초 단위의 오더북(order book) 역학부터 주 단위의 체제 변화(regime drift)에 이르기까지, 서로 다른 시간 해상도에서 전개되는 시장 정보를 통합해야 합니다. 본 연구진의 이전 학회 연구에서는 스케일별 트랜스포머(Transformer) 인코더가 단기, 중기, 장기 스트림을 처리하고 학습된 어텐션 퓨저(fuser)가 이들의 기여도를 가중하는 계층적 구조인 HAN-T를 제안했습니다. 본 논문에서는 이차 시간 복잡도(quadratic)의 어텐션 인코더를 선택적 상태 공간(selective state space, Mamba) 인코더로 대체하는 한편, 입력이 긴 시퀀스가 아닌 세 개의 토큰 세트로 구성되는 퓨저에만 어텐션을 유지합니다. 그 결과 도출된 하이브리드 모델인 HAN-Mamba는 입력 의존적 게이팅을 통해 지속적이면서도 감쇠하는 메모리와 급격한 체제 전환이라는 변동성의 두 가지 구조적 특성에 부합하는 순환 상태로 각 스트림을 요약합니다. 시간 인지 5겹 교차 검증(time-aware five-fold cross-validation)을 적용한 Optiver 실현 변동성 예측 벤치마크에서, HAN-Mamba는 33% 더 적은 파라미터로 HAN-T 대비 평균 RMSPE를 개선했습니다(0.1942 대 0.1965). 또한 선형 시간(linear-time) 인코더 덕분에 고주파 컨텍스트를 60개에서 240개 버킷으로 확장하여 어텐션 변형 모델이 포화 상태에 도달하는 지점에서 오차를 0.1927로 줄일 수 있었으며, 추론(inference) 시 상수 시간의 스트리밍 업데이트를 지원합니다. 어블레이션 연구(Ablation)를 통해 이러한 성능 향상이 인코더 교체 덕분임을 규명하고, 계층적 사전 지식이 서로 다른 시퀀스 모델 패밀리 간에도 전이됨을 확인하며, 순열 불변(permutation-invariant) 어텐션 퓨저가 스케일 간 통합에 여전히 적합한 메커니즘임을 보여줍니다.

원문 초록

Short-horizon realized volatility forecasting requires the integration of market information that evolves at incompatible temporal resolutions, from second-level order book dynamics to weekly regime drift. Our conference work introduced HAN-T, a hierarchical architecture in which scale-specific Transformer encoders process short, mid, and long-horizon streams and a learned attention fuser weighs their contributions. This article replaces the quadratic attention encoders with selective state space (Mamba) encoders while retaining attention only in the fuser, where the input is a three-token set rather than a long sequence. The resulting hybrid, HAN-Mamba, summarizes each stream through a recurrent state whose input-dependent gating matches two structural properties of volatility: persistent but decaying memory and abrupt regime shifts. On the Optiver Realized Volatility Prediction benchmark under time-aware five-fold cross-validation, HAN-Mamba improves mean RMSPE over HAN-T (0.1942 vs. 0.1965) with 33% fewer parameters. Its linear-time encoders further allow the high-frequency context to be extended from 60 to 240 buckets, reducing error to 0.1927 where the attention variant saturates, and support constant-time streaming updates at inference. Ablations attribute the gains to the encoder swap, confirm that the hierarchical prior transfers across sequence-model families, and show that the permutation-invariant attention fuser remains the correct mechanism for cross-scale integration.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.10323v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.