날씨, 달력, COVID-19 지표를 활용한 하이브리드 트랜스포머-XGBoost 프레임워크 기반 뉴잉글랜드 단기 전력 수요 예측
Short-Term Electricity Demand Forecasting for New England Using a Hybrid Transformer-XGBoost Framework with Weather, Calendar, and COVID-19 Indicators
한국어 초록
정확한 단기 전력 수요 예측은 안정적인 전력 시스템 운영, 에너지 시장 계획, 인프라 최적화에 필수적이다. 본 논문은 트랜스포머 인코더를 이용한 시간적 특징 추출과 그래디언트 부스팅 의사결정 트리(XGBoost)를 결합한 하이브리드 프레임워크를 제시하며, 뉴잉글랜드 전역의 일별 전력 수요를 예측한다. 이 프레임워크는 뉴잉글랜드 6개 주에 걸친 6개 도시의 기상 관측 데이터, 달력 및 공휴일 효과, 자기회귀적 수요 시차(lag), 그리고 COVID-19 역학 변수를 통합한다. 하이퍼파라미터 최적화는 Optuna와 다변량 트리 구조 Parzen 추정기를 사용하여 500회 시도를 수행하며, 데이터 누출이 없는 70/15/15 시간 순서 기반 학습-검증-테스트 분할을 적용한다. 하이브리드 모델은 테스트 RMSE 8,876 MWh, MAPE 2.05%, R² 0.906을 달성한다. 표 형식 데이터만 사용하는 XGBoost 기준선은 RMSE 9,304 MWh, MAPE 2.21%, R² 0.896을 달성한다. Diebold-Mariano 검정(Harvey-Leybourne-Newbold 보정)은 427.7 MWh의 차이가 통계적으로 노이즈와 구별되지 않음을 확인한다(DM = -1.126, p = 0.262). 에블레이션 연구에 따르면 COVID-19 특징은 학습 정확도를 향상시켰으나 테스트에서 비대칭적 효과를 나타냈다: 제거 시 하이브리드 RMSE는 3.2% 저하된 반면 XGBoost 단독 모델은 1.2% 소폭 개선되었다. SHAP 시간적 분석은 8개 COVID 특징 중 5개가 팬데믹 활성 학습 기간보다 급성기 이후 테스트 세트에서 더 높은 순위를 보임을 나타내며, 이는 모델이 학습된 팬데믹 패턴을 과도하게 적용함을 시사한다. 이러한 결과는 시간적 타당성 감쇠(temporal validity decay)를 핵심 메커니즘으로 확립한다: 행동 변화가 2020~2021년 동안 강력한 COVID-수요 신호를 생성했으나, 2022년 중반까지 적응이 완료되어 역학적 특징들이 오래된 팬데믹 패턴에 대한 과적합을 증폭시키는 노이즈로 남게 되었다.
원문 초록
Accurate short-term electricity demand forecasting is critical for reliable power system operation, energy market planning, and infrastructure optimization. This paper presents a hybrid framework combining a Transformer encoder for temporal feature extraction with gradient-boosted decision trees (XGBoost) for daily electricity demand forecasting across New England. The framework integrates meteorological observations from six cities spanning all six New England states, calendar and holiday effects, autoregressive demand lags, and COVID-19 epidemiological variables. Hyperparameter optimization uses Optuna with a multivariate Tree-structured Parzen Estimator over 500 trials, with a leakage-free 70/15/15 chronological train-validation-test split. The hybrid model achieves a test RMSE of 8,876 MWh, MAPE of 2.05%, and R-squared of 0.906. A tabular-only XGBoost baseline achieves RMSE of 9,304 MWh, MAPE of 2.21%, and R-squared of 0.896. A Diebold-Mariano test (Harvey-Leybourne-Newbold correction) confirms the 427.7 MWh difference is statistically indistinguishable from noise (DM = -1.126, p = 0.262). An ablation study reveals COVID-19 features improved training accuracy but had asymmetric test effects: removal degraded hybrid RMSE by 3.2% while marginally improving XGBoost-only by 1.2%. A SHAP temporal analysis shows 5 of 8 COVID features rank higher on the post-acute test set than during pandemic-active training, indicating the model over-applies learned pandemic patterns. These findings establish temporal validity decay as a central mechanism: behavioral disruptions drove a strong COVID-demand signal during 2020-2021, but adaptation was complete by mid-2022, leaving epidemiological features as noise amplifying overfitting to stale pandemic patterns.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.20918v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
대규모 소매 수요 예측을 위한 정확도 보존형 안정성 정규화
Accuracy-Preserving Stability Regularization for Large-Scale Retail Demand Forecasting
소매 수요 예측은 보충, 생산 능력, 인력, 운송 계획 주기 전반에 재사용된다. 점오차(point-error) 목적함수는 인접 예측 간 급격한 변동을 제약하지 못하고, 사후(post-hoc) 평활화는 모델 적합 이후에만 작동한다. 시계열 내 연속적 이동에 대한 학습 시점 페널티가 점 정확도를 실질적으로 변화시키지 않으면서 수평적 예측 경로 안정성을 개선할 수 있는지 검토한다. 이 페널티는 최근 수요 임베딩(embedding)과 달력, 가격, 계층, 품목, 매장 특성을 결합한 시간 구조 파이프라인에서 평가된다. 1000, 3000, 4000 시계열 규모의 선정된 M5 수요 시계열에서, 안정성 인식 하이브리드 모델은 XGBoost 대비 Forecast Stability Score를 각각 6.91%, 6.66%, 7.68% 개선하며, 세 개의 랜덤 시드에 걸친 RMSE 변화는 0.72% 이내로 유지된다. 사후 지수 평활화는 원시 이동량은 더 낮지만 더 큰 RMSE 비용을 수반한다. 학습 시점 정규화는 더 많은 점 정확도를 보존하며 정규화된 안정성 기준에서 유리한 성능을 보인다. 이러한 결과는 운영 소매 수요 예측에서 예측 평가를 점오차 최소화에서 정확도-안정성 트레이드오프 관점으로 확장함을 보여준다.
미국 고고도 맑은 공기 난기류(CAT) 예측 모델링: 기계학습 접근법
Predictive Modeling of High-Altitude Clear Air Turbulence in the United States: A Machine Learning Approach
고고도 맑은 공기 난기류(CAT)는 예측하기 어렵고 탐지에 어려움이 있어 항공 안전에 상당한 위험을 초래한다. 본 연구는 미국 영공 내 200–350 hPa 압력면에서 CAT 예측을 개선하기 위해 기계학습 모델을 활용하며, 조종사 보고(PIREPs), ERA5 재분석 데이터, BADA 데이터베이스의 항공기 공력학 파라미터를 사용한다. 그래디언트 부스팅 알고리즘, 특히 XGBoost가 AUC 0.904로 최고 성능을 달성하여 비선형 대기 역학을 포착하는 능력이 뛰어남을 보여준다. 주요 결과는 예측에서 지리 좌표(특징 중요도 17.5%)와 TI3 같은 난기류 지수의 지배적 역할을 강조하며, 지역 지형과 대류권 상부 불안정성의 역할을 부각한다. 항력(drag force)과 날개 하중(wing loading) 같은 공력학적 특징의 통합은 중등도에서 심각한 체감 난기류 강도 탐지를 개선했으며(탐지 확률(POD)이 0.845에서 0.866으로 향상), 기존 항공기 독립적 방법에 추가적 가치를 제공한다. 계절 분석은 CAT 사고가 겨울철에 정점을 이루며 제트기류 활동과 상관됨을 밝혔다. 결과는 글로벌 연구와 일치하지만, 지리적 범위와 항공기 유형 다양성 등의 한계가 있다. 본 연구는 운용 CAT 예보를 위한 기계학습의 잠재력을 강조하며, 기후 변화에 따른 난기류 추세를 다루기 위한 글로벌 데이터 통합과 실시간 원격 측정(real-time telemetry)에 중점을 둔 향후 연구를 권고한다.
미국 건물 계량기 데이터 기반 AI 수요 예측을 위한 검증된 데이터 온보딩: 설계, 통제 평가, 그리고 수정된 네거티브 결과
Validated Data Onboarding for AI Demand Forecasting on U.S. Building Meter Data: Design, Controlled Evaluation, and a Corrected Negative Result
전력 유틸리티(electric utility)와 그리드 운영자(grid operator)는 다음날 수요를 예측하기 위해 머신러닝 모델에 점점 더 의존하고 있으며, 이러한 모델은 일상적으로 결함이 있는 계량기 데이터로부터 학습한다: 측정값이 누락되거나, 센서가 멈추거나(freeze), 건물이 수 시간 동안 0으로 기록되거나, 단위가 100배 차이로 바뀌는 경우가 있다. 이 보고서는 모델을 학습시키기 전에 이러한 결함을 탐지하고 복구하는 데이터 온보딩(data-onboarding) 파이프라인을, 예측 시점에 실제로 사용 가능한 정보만을 이용해 제시하며, 이 파이프라인이 24시간 선행 예측(24-hour-ahead forecast)을 보호하는지를 측정하는 통제 실험(controlled experiment)을 함께 제시한다. 공개된 Building Data Genome 2 데이터셋(210,528행, 2016-2017년)에서 추출한 미국 12개 건물의 시간별 전력 데이터에서, 학습 기간의 0.10%에 영향을 미치는 시드(seeded) 처리되고 해시 로그(hash-logged)된 결함은 그래디언트 부스팅(gradient-boosting) 예측기의 오차를 86% 증가시켰다; 탐지 및 과거 데이터만을 이용한 복구(past-only repair) 이후 오차는 정상 데이터 수준으로 돌아왔다(평균 절대 스케일 오차(mean absolute scaled error) 정상 0.760, 오염 1.415, 복구 0.729이며, 학습 타깃의 93%가 보존됨). 공개된 현장 연구(field study)에 맞춰 보정된 결함 발생률(학습 행의 1.6%)에서는, 보호되지 않은 예측기의 오차가 계절성 단순(seasonal-naive) 규칙의 4.4배에 달했으며, 복구된 예측기는 다시 정상 기준선(clean baseline)과 일치했다. 동일한 패턴이 릿지 회귀(ridge regression)와 랜덤 포레스트(random forest)에서도, 그리고 1시간부터 24시간까지의 예측 구간(horizon)에서도 유지되었다. 파이프라인의 초기 버전은 자연 발생 데이터(natural data)를 과도하게 정제(over-clean)하여 예측을 25% 악화시켰다; 이 결과는 그대로 유지되며, 그 원인은 공개된 아티팩트(artifact)에서 추적되고, 이를 수정하는 건물별(per-building) 보정은 날짜가 기록된 수정안(dated amendment)으로 문서화되어 있다. 모든 수치는 고정된(pinned) 공개 입력 데이터로부터 SHA-256 검증, 84개의 자동화된 테스트, 지속적 통합(continuous integration)을 통해 재현 가능하다.
향상된 에너지 소비 예측을 위한 자동화된 특징 엔지니어링, AutoML 및 의사결정 중심 학습
Automated Feature Engineering, AutoML, and Decision-Focused Learning for Improved Energy Consumption Forecasting
에너지 비용 및 수요의 증가와 환경 지속가능성 목표는 에너지 관리에 큰 과제를 안겨주고 있습니다. 에너지 소비 예측(ECF)은 미래 소비량을 예측함으로써 계획 수립을 지원하지만, ECF를 위한 머신러닝(ML) 모델은 종종 전문가 주도의 특징 엔지니어링(FE)에 의존합니다. 본 학위논문은 세 가지 기여를 통해 이러한 의존성을 해결합니다. 첫째, ECF를 위한 포괄적인 FE 파이프라인을 구축 및 평가하고 도메인 특화 특징을 조사합니다. 둘째, 타임스탬프와 지연된 소비량으로부터 해석 가능한 특징을 생성하고 엔드투엔드 ECF 모델링을 위해 AutoML과 통합되는 도메인 맞춤형 자동화 FE 알고리즘인 AutoEnergy를 도입합니다. 주거용, 상업용, 산업용, 재생 가능 에너지 및 그리드 도메인에 걸친 18개의 실제 에너지 데이터셋 전반에서 AutoEnergy는 기준선(baseline) AutoML 및 기존의 자동화된 FE 방식 대비 예측 오차를 19.52%-84.72% 감소시키는 동시에 1.31-4.41배 더 빠르게 실행되었으며, 개선 폭은 데이터셋에 따라 상이했습니다. 셋째, 배터리 에너지 저장 시스템 문제에 대해 AutoEnergy를 의사결정 중심 학습(DFL)과 통합하여, 충전 및 방전 결정을 최적화하는 동시에 전기 요금과 수요를 공동으로 예측합니다. 실제 영국 부동산 데이터셋에서 이 접근법은 자동화된 FE가 없는 동일한 DFL 모델과 비교하여 운영 비용을 22.9%-56.5% 절감합니다. 전반적으로 이러한 결과는 도메인 특화 자동화 FE가 수작업 특징 설계에 대한 의존도를 줄이고 예측 정확도를 향상시키며, 예측 성능의 이점을 에너지 관리에서의 측정 가능한 운영상 이익으로 전환할 수 있음을 보여줍니다.
기호적 실패 탐지 학습: 머신러닝과 블랙-숄즈 모형의 한계
Learning to Detect Symbolic Failure: Machine Learning and the Limits of Black-Scholes
우리는 옵션 가격 결정을 표현(representation) 문제로 다룬다. 즉, 260만 건의 실제 옵션 계약을 사용하여 머신러닝이 블랙-숄즈(Black-Scholes)로부터의 체계적인 편차를 탐지할 수 있는가? 우리는 세 가지 방식을 비교한다. 학습된 추상 임베딩(커널 PCA), 보존된 도메인 구조(트리 기반 앙상블), 그리고 신경망 검증이다. 트리 기반 방법은 커널 차원 축소보다 21.5%p 높은 성능(93.8% 대 72.3%)을 보였으며, 도메인 전문가가 설계한 특징(그릭스, 머니니스)은 엔지니어링된 특징보다 더 우수한 성능을 보였다. 신경망 기반 편차 레이블과 BS 기반 편차 레이블은 99.9974%의 비율로 일치하며, 이는 편차가 모델의 인위적 결과물이 아니라 시장 구조를 반영함을 시사한다. 우리는 전문가가 설계한 기호적 특징이 존재하는 도메인에서는 추상화를 학습하는 것보다 구조를 보존하는 것이 더 낫다고 결론짓는다. 우리는 활용 가능한 오가격(mispricing)이 존재한다고 주장하지 않는다.
글로벌 트리 예측 모델은 계층적 집계 수준에서 붕괴한다: 다섯 개 패널에 대한 실패 특성 분석
Global tree forecasters collapse at the hierarchical aggregate: a five-panel failure characterization
글로벌 예측 모델(global forecasting model)은 다수의 시계열을 풀링(pooling)하여 하나의 공유 함수를 학습한다. 그래디언트 부스팅 트리(Gradient-boosted trees)가 가장 널리 쓰이는 형태이다. 본 연구는 우리가 아는 한 아직 문서화된 적 없는 이 설계의 실패를 측정한다. 계층 구조의 개별 시계열로 글로벌 트리를 학습시킨 뒤 계층적 집계값(hierarchical aggregate)에 대한 예측을 요청하면, 집계값은 모델의 학습 범위를 크게 벗어나 있어 예측이 붕괴한다. 이 모델은 실제 운영 환경에서 총합을 30~50배 과소 예측하며, 공개 M5 재구성 데이터에서는 최대 496배까지 과소 예측한다. 그 메커니즘은 이미 알려져 있다. 트리는 학습 범위를 벗어나면 상수를 예측한다. 이것이 집계 수준에서 나타나는 이유는 총합이 모든 학습 시계열을 압도하기 때문이다. 해결책 또한 새로운 것이 아니다. Montero-Manso와 Hyndman(2021)이 권장하는 전처리 단계인 시계열별 스케일링(per-series scaling)은 붕괴를 방지한다. 가중치를 부여한 집계 수준 학습 행(weighted aggregate-level training row)과 계절 차분(seasonal differencing) 역시 마찬가지이다. 본 연구의 기여는 이 현상의 특성 분석에 있다. 붕괴는 운영 중인 기업 간 거래(B2B) 마켓플레이스, 합성 계층 구조, M5, Australian Tourism, 공개 비즈니스 구매자 패널이라는 다섯 개 패널에서 재현된다. 이는 세 가지 트리 라이브러리에서 성립하고, 학습 시드(seed)에 관계없이 일정하며, 통계적으로 유의하다. 붕괴는 즉각적으로 시작되며 단순한 지지 범위(support) 한계를 따른다. 스케일 격차가 겨우 1.15배만 되어도 이미 총합의 3분의 1을 잃는다. 표준적인 설정 변경으로는 이를 막을 수 없다. 모든 계층 수준을 학습에 풀링하는 방식은 대규모에서 실패하며, 리프(leaf)에 선형 모델을 적합하는 유일한 설정 옵션은 붕괴를 완화하지만 해소하지는 못한다. 예측을 재귀적으로 앞으로 굴리는(rolling forward) 실험은 해결책들을 구분해 준다. 집계 행 방식은 다시 붕괴하고, 시계열별 스케일링은 성능이 저하되지만 낮은 수준에 머물며, 오직 계절 차분만이 1단계(one-step) 예측 정확도를 그대로 유지한다. 마지막으로 운영 중인 시스템에서 이 실패를 진단하고 예방하기 위한 3단계 절차를 제시한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.