arXiv:2606.30037v1 cs.LG

백본이 아닌 헤드: 출력 헤드가 두꺼운 꼬리 수익률에서 아키텍처를 압도한다

Heads, Not Backbones: Output Heads Dominate Architectures on Fat-Tailed Returns

Sichao He, Yansong Zhang

제출 2026-06-29

한국어 초록

단기 예측 수평에서 두꺼운 꼬리(fat-tailed) 금융 수익률을 위한 딥 예측 파이프라인에서, 백본 아키텍처와 출력 헤드 중 어느 것이 더 중요한가? 우리는 세 가지 출력 헤드—포인트 헤드, 단일 가우시안 밀도 헤드, K=4 성분의 가우시안 혼합 밀도 헤드—하에서 네 가지 현대적 백본(TimesNet, DLinear, N-BEATS, iTransformer)을 비교한다. 앵커드 워크포워드 검증 하에서 S&P 500 월별 로그 수익률(1871–2023)에 대해, 세 가지 헤드는 엄격한 그래디언트를 형성한다: 포인트에서 가우시안으로 전환하면 CRPS가 약 1.3% 향상되고, 가우시안에서 혼합으로 전환하면 추가로 약 2.4%가 향상된다. 반면 백본 간 전환은 포인트 헤드 행과 백본 평균 축에서 CRPS를 1.5% 미만으로 변화시키며, 밀도 헤드에서의 백본 편차는 더 크지만(h=1 가우시안 행에서 N-BEATS에 의해 최대 5.1%), 헤드 그래디언트(3.7 퍼센트 포인트)가 여전히 지배적이다. 제곱 오차에 대한 모델 신뢰 집합(Model Confidence Set)은 5% 수준에서 12개 변형 중 어느 것도 배제하지 않는다: 헤드는 제곱 오차가 아닌 분포 지표(CRPS, 핀볼, 커버리지)에서만 이들을 구분한다. 단일 가우시안 대비 혼합 헤드의 증분 가치는 가장 높은 변동성 레짐에서 가장 크며(h=12에서 1970년대 스태그플레이션 시기에 13.9%), 이는 혼합이 단봉 가우시안이 표현할 수 없는 꼬리 위험을 포착함을 확인한다. 이 양상은 수평 의존적이다: 헤드는 단기 수평에서 지배적이지만, 장기 수평(h ≥ 6)에서는 백본이 다시 주도권을 되찾는다—이는 고전적 기준선과 비교하여 문서화한 h-분할이다(섹션 5.1). 우리는 단기 수평에서 두꺼운 꼬리 수익률에 대해 헤드가 백본을 압도하며, 혼합 분포는 리스크 관리 결정이 실제로 중요한 위기 시기에 단일 가우시안 대비 진정한 가치를 추가한다고 결론짓는다.

원문 초록

In a deep forecasting pipeline for fat-tailed financial returns at short horizons, which matters more - the backbone architecture or the output head? We compare four modern backbones (TimesNet, DLinear, N-BEATS, iTransformer) under three output heads: a point head, a single-Gaussian density head, and a Gaussian mixture density head with K=4 components. On S and P 500 monthly log-returns (1871-2023) under anchored walk-forward validation, the three heads form a strict gradient: switching from point to Gaussian improves CRPS by about 1.3 percent; switching from Gaussian to mixture adds a further about 2.4 percent. Switching between backbones, in contrast, changes CRPS by less than 1.5 percent on the point-head row and on the backbone-mean axis; density-head backbone spread is larger (up to 5.1 percent on the h=1 Gaussian row, driven by N-BEATS) but the head gradient (3.7 percentage points) still dominates. The Model Confidence Set on squared errors does not exclude any of the 12 variants at the 5 percent level: the head separates them only on distributional metrics (CRPS, pinball, coverage), not on squared error. The mixture head incremental value over a single Gaussian is largest in the highest-volatility regimes (13.9 percent in 1970s stagflation at h=12), confirming the mixture captures tail risk beyond what a unimodal Gaussian can express. The picture is horizon-dependent: the head dominates at short horizons, but at long horizons (h >= 6) the backbone re-takes the lead - an h-split we document against classical baselines (section 5.1). We conclude that on fat-tailed returns at short horizons, the head dominates the backbone, and the mixture distribution adds genuine value over a single Gaussian during crisis periods when risk-management decisions actually matter.

요약

S&P 500 월별 로그 수익률(1871–2023)을 대상으로 TimesNet, DLinear, N-BEATS, iTransformer 4종 백본과 포인트·단일 가우시안·가우시안 혼합(GMM) 출력 헤드를 비교한 결과, 단기 예측에서는 백본 교체(CRPS 변화 1.5% 미만)보다 헤드 교체(포인트→가우시안 1.3%, 가우시안→혼합 2.4% 추가 개선)의 효과가 일관되게 더 컸다. 특히 혼합 밀도 헤드는 1970년대 스태그플레이션처럼 변동성이 극도로 높은 구간에서 단일 가우시안 대비 최대 13.9%의 CRPS 개선을 보이며 꼬리 위험 포착 능력을 입증했으나, 장기 예측(h≥6)에서는 백본의 영향력이 다시 우세해지는 수평 의존적 패턴도 확인됐다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.30037v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15760v1cs.LG공통 태그 Time Series Analysis, Time Series Forecasting

학습 가능한 분해 및 다양체 역학을 활용한 쌍곡 시계열 예측

Hyperbolic Time Series Forecasting with Learnable Decomposition and Manifold Dynamics

다중 스케일(multiscale) 구조는 시계열 예측의 핵심입니다. 시간 신호는 천천히 변화하는 트렌드, 중간 수준의 계절적 패턴, 그리고 고주파수 잔차를 포함합니다. 기존 예측 모델은 이러한 다중 스케일 구조를 유클리드 공간에서 모델링하여, 구성 요소들 사이에 유도되는 순서를 표현하지 못합니다. 본 연구에서는 종속 분해(cascaded decomposition)가 구성 요소들을 고유 주파수에 따라 정렬하여 자연스러운 주파수 계층을 형성함을 확인했습니다. 이 계층 구조는 반경에 따라 표현 용량이 증가하고 중첩된 계층 구조를 자연스럽게 수용하는 쌍곡 공간(hyperbolic space)의 지수적 부피 증가 특성과 잘 부합합니다. 이에 따라 본 연구에서는 쌍곡 공간에서 작동하는 최초의 장기 시계열 예측(LTSF) 프레임워크인 HyperForecast를 제안합니다. HyperForecast는 원점 근처의 저주파수 성분부터 경계 근처의 고주파수 성분에 이르기까지 반지름 거리가 이러한 중첩 구조를 포착하도록, 분해된 시간 구간을 푸앵카레 공(Poincaré ball) 위에 임베딩합니다. 또한 측지선 속도(geodesic velocity)를 두 가지 다양체 역학(manifold dynamics) 변형을 통해 모델링합니다: (a) 푸앵카레 잔차 역학을 통한 자기회귀 예측, (b) 모든 미래 구간을 병렬로 예측하는 비자기회귀 예측입니다. HyperForecast는 11개 장기 예측 벤치마크 중 9개에서 기존 및 최고 수준(SOTA)의 베이스라인 모델을 일관되게 능가하며, 긴 예측 구간에서 평균 제곱 오차(MSE)를 최대 58%까지 낮췄습니다. 추가 분석을 통해 학습된 반경 임베딩이 주파수 계층을 성공적으로 복원하며, 쌍곡 기하학이 예측 성능에 실질적으로 기여함을 밝혔습니다.

arXiv:2610.13557v1cs.LG공통 태그 Density Estimation, Time Series Forecasting

AIS 데이터를 활용한 트랜스포머 모델 기반 확률적 선박 궤적 예측

Probabilistic Ship Trajectory Forecasting using Transformer Models on AIS Data

선박 궤적 예측은 해상 항해 시 필수적인 작업입니다. 이는 인간 항해사와 무인 수상정(autonomous surface vessel) 모두에 적용됩니다. 궤적 예측을 통해 충돌 회피와 같은 서브루틴이 상황을 파악하고 제때 적절히 대응할 수 있습니다. 본 논문에서는 협수로에서 수상정의 궤적 예측을 위한 트랜스포머(Transformer) 및 퍼포머(Performer) 모델을 연구합니다. 널리 활용되는 선박 자동 식별 장치(AIS)의 위치 데이터를 사용하여 후보 모델들을 학습(training)하고 평가(evaluation)합니다. 각 에이전트(agent) 주변 국소 영역에서 다른 선박들이 어떻게 이동했는지에 대한 과거 정보는 위치 히트맵을 통해 전달됩니다. 이 히트맵은 커널 밀도 추정(KDE)을 사용하여 생성되며, 트랜스포머 모델에 입력되기 전에 합성곱 신경망(CNN)으로 인코딩됩니다. 시의적절한 충돌 회피에 결정적인 모델 인식 예측 구간(prediction interval)을 효율적으로 도출하기 위해 모델은 분위수 손실(quantile loss)로 학습됩니다. 제안된 모델 구조는 이전 연구보다 크게 뛰어난 성능을 보이는 것으로 나타났으며, 국소 히트맵을 포함함으로써 이전 위치 정보만으로는 알 수 없는 선박의 움직임을 예측할 수 있게 됩니다.

arXiv:2610.13676v1cs.LG공통 태그 Time Series Analysis, Time Series Forecasting

공변량 기반 시계열 파운데이션 모델에서의 캘린더 특성 인코딩에 관하여

On the Encoding of Calendar Features in Covariate-Informed Time Series Foundation Models

시계열 파운데이션 모델(TSFM)은 점점 더 공변량 지원을 제공하고 있으며, 캘린더 정보는 모든 시점에서 이용 가능하다는 점에서 실제로 가장 흔한 유형의 범주형 공변량이다. 그러나 이러한 특성이 어떻게 인코딩되는지는 사전학습된 모델이 추론 시점에 남겨둔 몇 가지 설계 선택 중 하나임에도 불구하고, 연구 대상이 아니라 구현상의 세부사항으로 취급되는 경우가 많다. 본 연구에서는 정보가 모델에 전달되는 방식이 TSFM의 예측 정확도에 상당한 영향을 미친다는 것을 보인다. 이를 위해 우리는 세 가지 전통적인 타겟 비의존적(target-agnostic) 표현(순서형, 원-핫, 주기형)과 네 가지 타겟 인코딩을 포함한 일곱 가지 캘린더 인코딩을, 여러 도메인의 9개 데이터셋에 대해 네 가지 최신 TSFM을 대상으로 제로샷 롤링 평가에서 체계적으로 비교한다. 이 9개 데이터셋은 주말과 공휴일과 같은 사회적 활동의 영향을 받으므로, 캘린더 정보가 예측에 특히 중요하다. 우리는 인코딩 선택이 모든 모델에서 예측 정확도에 영향을 미치며, 단일 모델 내에서 비공휴일에는 최대 9.9%, 공휴일에는 최대 83%의 MASE 차이가 발생함을 확인했다. 효과와 활용도는 모델 간에 상당히 다르다. 개선은 주로 공휴일 주변에 집중되는데, 이는 캘린더 정보가 타겟 이력(target history)으로부터는 얻을 수 없는 신호를 제공하기 때문이며, 일부 모델-인코딩 조합은 비공휴일 예측도 개선시킨다. SHAP 기반 기여도 분석은 자기회귀 성분에 대한 공변량의 기여를 규명하고, 일부 모델-인코딩 조합이 성능을 저하시키는 이유를 설명한다. 우리의 연구 결과는 공변량 기반 TSFM을 위한 현재의 벤치마크가 고정된 인코딩 전략을 강제함으로써 모델 비교를 왜곡할 수 있음을 시사한다.

arXiv:2609.27785v1q-fin.RM공통 태그 Density Estimation, Time Series Analysis

준이산 최적 수송(Semi-Discrete Optimal Transport)을 통한 립시츠 연속성을 넘어선 금융 꼬리 위험 분석

Financial Tail Risk Beyond Lipschitz Continuity via Semi-Discrete Optimal Transport

금융 수익률은 두꺼운 꼬리(heavy-tailed) 분포를 따르며, 정확한 꼬리 위험 추정은 포트폴리오 리스크 관리의 핵심이다. 최신 신경망 생성 모델은 단순한 기저 분포를 학습된 사상(map)에 통과시켜 표본을 생성하며, 학습 안정성을 위해 이 사상은 립시츠(Lipschitz) 구성 요소로 만들어진다. 바로 이것이 결정적인 제약이다. 가우시안의 립시츠 사상은 서브가우시안(sub-Gaussian)이므로, 꼬리가 더 두꺼운 목표 분포는 어떠한 유한한 립시츠 상수에서도 정확 일치(exact match)를 이룰 수 없다. Monge–Ampère 방정식은 Brenier 사상의 국소적 왜곡을 밀도비 $f/(g\circ T)$와 연결하므로, 목표 밀도의 골이 깊을수록 더 높은 이득(gain)을 가진 사상이 필요하고 추정량의 분산도 더 커진다. 이 논증은 유계 왜곡(bounded distortion)만을 요구하므로, 정규화 플로(normalizing flow), 플로 매칭(flow matching), GAN, 확산(diffusion) 샘플러를 모두 포괄한다. 준이산 최적 수송(Semi-Discrete Optimal Transport, SDOT)은 소스의 꼬리 부류가 아니라 사상의 정則성(regularity)을 완화한다. SDOT의 파워 다이어그램(power diagram)은 학습 관측치마다 소스 측도의 정확히 $1/N$을 담는 셀을 부여하며, 꼬리 관측치는 사상을 늘려서가 아니라 셀 경계를 넘어 도달한다. 주요 실험에서는 첨도(kurtosis) 94에서 1,679에 이르도록 보정된 Merton 점프-확산(jump-diffusion) 모형의 심각도를 변화시키며 평가한다. SDOT는 꼬리 비율을 $0.85$--$0.94$로 유지하고 시드 간 표준편차도 $0.025$ 미만인 반면, 학습 기반 생성 모델은 모두 꼬리를 압축하거나, 그렇지 않으면 함께 커지는 분산과 함께 꼬리를 부풀린다. 추가 실험에서는 이 결과를 실제 S&P~500 수익률과 21년간의 백테스트로 확장하며, 여기서 SDOT는 CVaR 최적화 하에서 위험 조정 성과가 가장 우수한 시장중립 전략을 제공한다(샤프 비율 $0.70$, 최대 낙폭 $-2.60\%$이며, 차순위 생성 모델은 샤프 비율 $0.40$).

arXiv:2609.27867v1cs.LG공통 태그 Time Series Analysis, Time Series Forecasting

평가 선택이 예측 리더보드를 결정한다: 실제 운영 마켓플레이스 패널로부터의 증거

Evaluation Choices Decide the Forecasting Leaderboard: Evidence from a Production Marketplace Panel

예측 벤치마크는 어떤 방법이 이겼는지를 보고한다. 우리는 그 답이 모델을 학습하기도 전에 평가자의 선택에 의해 정해진다는 점을 보인다. 우리는 2025년대의 시계열 파운데이션 모델(time series foundation model) 6종을 포함한 24가지 예측 방법과 교과서적 기준 방법 하나를, 67개월에 걸친 1,887개 기업 고객으로 구성된 실제 운영 마켓플레이스 패널에서 벤치마크한다. 데이터, 예측 구간(horizon), 기간은 고정하고 평가 설계만 변화시킨다. 세 가지 선택은 각각 핵심 결론을 뒤집거나 무효화한다. 분석 단위를 시장 전체에서 개별 고객으로 바꾸면, 우리의 운영 기준선(baseline)은 19개 중 2위이며 어떤 방법에도 지지 않던 상태에서 25개 중 23위로 이동한다. 이 경우 24개 도전 방법 중 19개가 기준선을 능가한다. 오차를 얼마나 풀링(pooling)하는지에 따라 Diebold-Mariano 검정이 무언가를 발견하는지 여부 자체가 달라진다. 점 예측 대신 예측 구간을 평가하면 순위가 거의 완전히 뒤바뀌며, 간헐적 수요(intermittent demand)에서 순위 상관은 0.02이다. 이어서 실제 배포된 시스템이 이로부터 무엇을 얻는지 측정한다. 이 시스템의 선택 규칙은 아무것도 하지 않는 경우와 사후적 이점(hindsight)을 활용해 선택하는 경우 사이의 거리 중 55%를 확보한다. 이러한 순위 역전은 우리 데이터만의 특이한 현상이 아니다. 우리는 공개된 프로토콜을 수정 없이 공개 M5 소매 패널에서 실행했다. 동일한 형태의 기준선은 시장 전체 수준에서는 1위, 시계열별 수준에서는 모든 방법에 뒤지는 꼴찌를 기록하며, 재현 실행한 선택 규칙은 그곳에서 동일한 하한-상한 간 거리의 64.7%를 메운다. 그 후보군에 제로샷(zero-shot) 파운데이션 모델 5종을 추가하면 전체 수준의 우승자는 바뀌지만 이러한 양상은 바뀌지 않는다. 예측 구간의 사각지대 역시 그대로 나타나, 컨포멀(conformal) 구간은 가장 변동이 심한 품목에서 커버리지가 가장 크게 부족하다. 우리 패널을 점점 더 작은 그룹으로 나누면 이 대비는 하나의 곡선이 되며, 세분화 수준이 높아질 때마다 기준선의 순위는 악화된다. 우리는 평가 프로토콜을 공개하며, 발견하기 전까지 결과를 뒤집어 놓았던 우리 자신의 오류도 함께 보고한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.