Feature Selection with Annealing for Forecasting Financial Time Series
원문 초록
Stock market and cryptocurrency forecasting is very important to investors as they aspire to achieve even the slightest improvement to their buy or hold strategies so that they may increase profitability. However, obtaining accurate and reliable predictions is challenging, noting that accuracy does not equate to reliability, especially when financial time-series forecasting is applied owing to its complex and chaotic tendencies. To mitigate this complexity, this study provides a comprehensive method for forecasting financial time series based on tactical input output feature mapping techniques using machine learning (ML) models. During the prediction process, selecting the relevant indicators is vital to obtaining the desired results. In the financial field, limited attention has been paid to this problem with ML solutions. We investigate the use of feature selection with annealing (FSA) for the first time in this field, and we apply the least absolute shrinkage and selection operator (Lasso) method to select the features from more than 1,000 candidates obtained from 26 technical classifiers with different periods and lags. Boruta (BOR) feature selection, a wrapper method, is used as a baseline for comparison. Logistic regression (LR), extreme gradient boosting (XGBoost), and long short-term memory (LSTM) are then applied to the selected features for forecasting purposes using 10 different financial datasets containing cryptocurrencies and stocks. The dependent variables consisted of daily logarithmic returns and trends. The mean-squared error for regression, area under the receiver operating characteristic curve, and classification accuracy were used to evaluate model performance, and the statistical significance of the forecasting results was tested using paired t-tests. Experiments indicate that the FSA algorithm increased the performance of ML models, regardless of problem type.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
HARN: 이벤트 기반 다중 시간대 예측을 위한 계층적 연상 공명 네트워크
HARN: Hierarchical Associative Resonance Network for Event-Driven Multi-Timeframe Forecasting
실시간 금융 예측은 오래되었거나 사용할 수 없는 정보를 사용하지 않으면서 시간 프레임 간 비동기적인 봉 완성을 동기화해야 한다. 우리는 HARN(Hierarchical Associative Resonance Network)을 소개한다. 이는 각 이벤트를 설정된 가장 세밀한 시간 프레임에 고정하고, 시간 수준 전반에 걸쳐 지속적 상태와 행렬 값 연상 메모리를 유지하는 이벤트 기반 아키텍처이다. 타임스탬프 마스킹 전이는 완성된 봉의 타임스탬프가 현재 앵커와 일치할 때만 해당 수준을 갱신하여, 비활성 표현을 보존한다. HARN은 인과적 다중 스케일 인코딩, 잔차 기반 게이트 연상 쓰기, 전수 교차 수준 공명, 순서화된 상향식 증거 집계를 통합하여 각 시간 수준에서 예측을 생성한다. 예측은 베이시스 포인트 변화로 표현되며 평가를 위해 가격 스케일로 복원된다. 우리는 주식, 외환, 금에 걸친 네 가지 자산(AAPL, EURUSD, USDCHF, XAUUSD)에서 시간순 70/15/15 분할, 32봉 룩백, 1단계 예측 구간, 세 개의 랜덤 시드를 사용하여 HARN을 평가한다. HARN은 네 자산 모두에서 평가된 단일 시간 프레임 PatchTST 및 TimeXer 기준선보다 낮은 앵커 시간 프레임 테스트 평균 절대 오차(MAE)를 얻는다. HARN의 MAE는 각각 0.508, 0.000306, 0.000263, 2.552이며, PatchTST는 2.074, 0.000759, 0.000638, 9.563, TimeXer는 2.882, 0.010838, 0.014144, 15.297을 기록한다. 이러한 기술적 비교는 입력, 목표 정식화 또는 학습 절차의 차이로부터 아키텍처의 효과를 분리하지 못한다. AAPL과 EURUSD에 대한 단일 실행 구성요소 절제 실험은 작고 비단조적인 차이를 보인다. 이 결과는 비동기 다중 시간 프레임 예측에 대한 HARN의 실현 가능성을 보여주는 한편, 상대적 이점과 구성요소 기여를 규명하기 위한 통제된 비교와 더 폭넓은 절제 실험의 필요성을 시사한다.
글로벌 트리 예측 모델은 계층적 집계 수준에서 붕괴한다: 다섯 개 패널에 대한 실패 특성 분석
Global tree forecasters collapse at the hierarchical aggregate: a five-panel failure characterization
글로벌 예측 모델(global forecasting model)은 다수의 시계열을 풀링(pooling)하여 하나의 공유 함수를 학습한다. 그래디언트 부스팅 트리(Gradient-boosted trees)가 가장 널리 쓰이는 형태이다. 본 연구는 우리가 아는 한 아직 문서화된 적 없는 이 설계의 실패를 측정한다. 계층 구조의 개별 시계열로 글로벌 트리를 학습시킨 뒤 계층적 집계값(hierarchical aggregate)에 대한 예측을 요청하면, 집계값은 모델의 학습 범위를 크게 벗어나 있어 예측이 붕괴한다. 이 모델은 실제 운영 환경에서 총합을 30~50배 과소 예측하며, 공개 M5 재구성 데이터에서는 최대 496배까지 과소 예측한다. 그 메커니즘은 이미 알려져 있다. 트리는 학습 범위를 벗어나면 상수를 예측한다. 이것이 집계 수준에서 나타나는 이유는 총합이 모든 학습 시계열을 압도하기 때문이다. 해결책 또한 새로운 것이 아니다. Montero-Manso와 Hyndman(2021)이 권장하는 전처리 단계인 시계열별 스케일링(per-series scaling)은 붕괴를 방지한다. 가중치를 부여한 집계 수준 학습 행(weighted aggregate-level training row)과 계절 차분(seasonal differencing) 역시 마찬가지이다. 본 연구의 기여는 이 현상의 특성 분석에 있다. 붕괴는 운영 중인 기업 간 거래(B2B) 마켓플레이스, 합성 계층 구조, M5, Australian Tourism, 공개 비즈니스 구매자 패널이라는 다섯 개 패널에서 재현된다. 이는 세 가지 트리 라이브러리에서 성립하고, 학습 시드(seed)에 관계없이 일정하며, 통계적으로 유의하다. 붕괴는 즉각적으로 시작되며 단순한 지지 범위(support) 한계를 따른다. 스케일 격차가 겨우 1.15배만 되어도 이미 총합의 3분의 1을 잃는다. 표준적인 설정 변경으로는 이를 막을 수 없다. 모든 계층 수준을 학습에 풀링하는 방식은 대규모에서 실패하며, 리프(leaf)에 선형 모델을 적합하는 유일한 설정 옵션은 붕괴를 완화하지만 해소하지는 못한다. 예측을 재귀적으로 앞으로 굴리는(rolling forward) 실험은 해결책들을 구분해 준다. 집계 행 방식은 다시 붕괴하고, 시계열별 스케일링은 성능이 저하되지만 낮은 수준에 머물며, 오직 계절 차분만이 1단계(one-step) 예측 정확도를 그대로 유지한다. 마지막으로 운영 중인 시스템에서 이 실패를 진단하고 예방하기 위한 3단계 절차를 제시한다.
An Interval-Valued Time Series Forecasting Scheme With Probability Distribution Features for Electric Power Generation Prediction
학습 가능한 분해 및 다양체 역학을 활용한 쌍곡 시계열 예측
Hyperbolic Time Series Forecasting with Learnable Decomposition and Manifold Dynamics
다중 스케일(multiscale) 구조는 시계열 예측의 핵심입니다. 시간 신호는 천천히 변화하는 트렌드, 중간 수준의 계절적 패턴, 그리고 고주파수 잔차를 포함합니다. 기존 예측 모델은 이러한 다중 스케일 구조를 유클리드 공간에서 모델링하여, 구성 요소들 사이에 유도되는 순서를 표현하지 못합니다. 본 연구에서는 종속 분해(cascaded decomposition)가 구성 요소들을 고유 주파수에 따라 정렬하여 자연스러운 주파수 계층을 형성함을 확인했습니다. 이 계층 구조는 반경에 따라 표현 용량이 증가하고 중첩된 계층 구조를 자연스럽게 수용하는 쌍곡 공간(hyperbolic space)의 지수적 부피 증가 특성과 잘 부합합니다. 이에 따라 본 연구에서는 쌍곡 공간에서 작동하는 최초의 장기 시계열 예측(LTSF) 프레임워크인 HyperForecast를 제안합니다. HyperForecast는 원점 근처의 저주파수 성분부터 경계 근처의 고주파수 성분에 이르기까지 반지름 거리가 이러한 중첩 구조를 포착하도록, 분해된 시간 구간을 푸앵카레 공(Poincaré ball) 위에 임베딩합니다. 또한 측지선 속도(geodesic velocity)를 두 가지 다양체 역학(manifold dynamics) 변형을 통해 모델링합니다: (a) 푸앵카레 잔차 역학을 통한 자기회귀 예측, (b) 모든 미래 구간을 병렬로 예측하는 비자기회귀 예측입니다. HyperForecast는 11개 장기 예측 벤치마크 중 9개에서 기존 및 최고 수준(SOTA)의 베이스라인 모델을 일관되게 능가하며, 긴 예측 구간에서 평균 제곱 오차(MSE)를 최대 58%까지 낮췄습니다. 추가 분석을 통해 학습된 반경 임베딩이 주파수 계층을 성공적으로 복원하며, 쌍곡 기하학이 예측 성능에 실질적으로 기여함을 밝혔습니다.
고차원 금융 회귀에서 몬테카를로 트리 탐색을 통한 $L_0$ 특징 선택
$L_0$ Feature Selection via Monte Carlo Tree Search in High-Dimensional Financial Regression
특징(feature) 선택은 수많은 엔지니어링된 변수와 예측 변수 간의 강한 상관관계로 인해 모델(model)의 안정성과 해석 가능성이 저하되는 고차원 금융 회귀에서 핵심적인 문제입니다. 희소 회귀(sparse regression)에는 $L_1$ 정규화(regularization)(Lasso)가 널리 사용되지만, 정보성 신호가 상관관계를 갖는 변수들에 걸쳐 분산되어 있을 때는 수축(shrinkage) 특성이 제약으로 작용할 수 있습니다. 정확한 희소 회귀(exact sparse regression)는 이러한 수축을 피하지만 계산상 다루기 어려운 조합 최적화(combinatorial optimization) 문제를 해결해야 하며, 일반적으로 표본 외(out-of-sample) 오차가 아닌 표본 내(in-sample) 오차를 최소화하도록 적합됩니다. 본 논문에서는 일반화된 중첩 롤아웃 정책 적응(GNRPA)을 적용한 몬테카를로 트리 탐색(Monte Carlo Tree Search) 기반의 특징 선택 프레임워크를 제시합니다. 특징 선택을 순차적 의사결정 과정으로 정식화하며, 후보 부분집합은 학습(training) 오차 대신 표본 외 검증(validation) 성능을 기준으로 점수가 매겨집니다. 또한 본 방법은 부분집합 크기와 다중공선성을 고려하는 사전식 순서화 목적함수(lexicographic objective)를 지원합니다. 저자들은 시장, 거시경제 및 팩터 데이터를 포괄하는 1,072개의 엔지니어링된 특징으로부터 NASDAQ-100 지수의 주간 수익률을 설명하는 동시적 설명 회귀(contemporaneous explanatory regression) 과제에서 이 접근법을 연구합니다. 이는 다중공선성 환경에서의 부분집합 선택의 가치를 별개의 문제인 예측적 전망(forecasting)과 분리합니다. 이 과제에서 제안된 방법은 최적화된 Lasso 기준선(baseline)보다 더 높은 표본 외 설명력을 가진 희소 특징 부분집합을 식별하여, Lasso의 0.6313 대비 0.6961의 표본 외 $R^2$에 도달합니다. 이러한 결과는 몬테카를로 트리 탐색이 금융 회귀의 희소 설명적 특징 선택에서 볼록 정규화(convex regularization)의 실용적인 대안임을 시사하며, 표본 외 적합도만큼 투명성이 중요한 팩터 귀속(factor attribution) 및 위험 분해에 잠재적 가치가 있습니다.
SelectArena: 실제 환경 정형 데이터를 위한 특징 선택 현대적 벤치마크
SelectArena: A Modern Benchmark for Feature Selection on Real-world Tabular Data
정형 데이터셋(tabular dataset)에서 특징(특성/열)의 하위 집합을 선택하는 것은 실제 응용 분야 전반에서 흔히 마주하는 과제입니다. 산업계 전문가들은 모델 학습(training) 비용을 최소화하고자 하며, 기후 과학자들은 극단적 기상 현상을 이해하기 위해 해석 가능한 요인들의 부분집합을 필요로 하고, 임상의들은 비용 및 시간 제약으로 인해 진단 검사 항목 중 일부를 선택해야 합니다. 어떤 특징 선택(feature selection) 방법을 사용해야 할지 결정하기 위해 학술 문헌을 살펴볼 때, 다양한 분야의 실무자들은 실제 현실을 제대로 반영하지 못하는 벤치마킹 환경과 마주하게 됩니다. 광범위한 연구에도 불구하고, 기존 특징 선택 벤치마크들은 구식 모델, 임시방편적 평가(evaluation) 프로토콜, 또는 실제 문제를 반영하지 못하는 인위적으로 생성된 데이터에 의존하여 유용한 지침을 제공하는 데 한계가 있었습니다. 이러한 과학적 벤치마킹과 실제 응용 사이의 격차를 해소하기 위해, 본 연구에서는 현대적인 특징 선택 벤치마크인 SelectArena를 소개합니다. 본 논문에서는 분류(classification) 및 회귀 문제를 포괄하는 엄선된 71개의 실제 정형 데이터셋을 대상으로, 표준화된 평가 프로토콜과 최신 정형 (파운데이션) 모델을 활용하여 널리 사용되는 15가지 특징 선택 방법을 비교합니다. 실험 결과는 예측 성능, 실행 시간, 안정성, 유효성 전반에서 명확한 트레이드오프를 보여줍니다. 트리 기반 방법인 CART 및 RFImportance와 F-검정(F-Test)은 예측 성능과 실행 시간을 종합적으로 고려했을 때 파레토 최적(Pareto-optimal)인 것으로 나타났습니다. F-검정, 정보 이론 기반 방법, 거리 기반 방법은 안정성과 유효성 측면에서 앞섰으며, 특히 F-검정은 모든 평가 지표에서 균형 잡힌 선택지로 부상했습니다. 탐색 기반 방법들은 느리고 불안정하며 낮은 성능을 보였습니다. SelectArena는 이러한 연구 결과를 실질적인 지침으로 전환하고, 확장 가능한 플랫폼으로서 향후 특징 선택 연구를 지원합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.