arXiv:2304.05174

Electricity Demand Forecasting with Hybrid Statistical and Machine Learning Algorithms: Case Study of Ukraine

Tatiana Gonzalez Grandon, Johannes Schwenzer, Thomas Steens, Julia Breuing

제출 2023-04-11

원문 초록

This article presents a novel hybrid approach using statistics and machine learning to forecast the national demand of electricity. As investment and operation of future energy systems require long-term electricity demand forecasts with hourly resolution, our mathematical model fills a gap in energy forecasting. The proposed methodology was constructed using hourly data from Ukraine's electricity consumption ranging from 2013 to 2020. To this end, we analysed the underlying structure of the hourly, daily and yearly time series of electricity consumption. The long-term yearly trend is evaluated using macroeconomic regression analysis. The mid-term model integrates temperature and calendar regressors to describe the underlying structure, and combines ARIMA and LSTM ``black-box'' pattern-based approaches to describe the error term. The short-term model captures the hourly seasonality through calendar regressors and multiple ARMA models for the residual. Results show that the best forecasting model is composed by combining multiple regression models and a LSTM hybrid model for residual prediction. Our hybrid model is very effective at forecasting long-term electricity consumption on an hourly resolution. In two years of out-of-sample forecasts with 17520 timesteps, it is shown to be within 96.83 \% accuracy.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26822v2cs.LG공통 태그 regression, Time Series

HARN: 이벤트 기반 다중 시간대 예측을 위한 계층적 연상 공명 네트워크

HARN: Hierarchical Associative Resonance Network for Event-Driven Multi-Timeframe Forecasting

실시간 금융 예측은 오래되었거나 사용할 수 없는 정보를 사용하지 않으면서 시간 프레임 간 비동기적인 봉 완성을 동기화해야 한다. 우리는 HARN(Hierarchical Associative Resonance Network)을 소개한다. 이는 각 이벤트를 설정된 가장 세밀한 시간 프레임에 고정하고, 시간 수준 전반에 걸쳐 지속적 상태와 행렬 값 연상 메모리를 유지하는 이벤트 기반 아키텍처이다. 타임스탬프 마스킹 전이는 완성된 봉의 타임스탬프가 현재 앵커와 일치할 때만 해당 수준을 갱신하여, 비활성 표현을 보존한다. HARN은 인과적 다중 스케일 인코딩, 잔차 기반 게이트 연상 쓰기, 전수 교차 수준 공명, 순서화된 상향식 증거 집계를 통합하여 각 시간 수준에서 예측을 생성한다. 예측은 베이시스 포인트 변화로 표현되며 평가를 위해 가격 스케일로 복원된다. 우리는 주식, 외환, 금에 걸친 네 가지 자산(AAPL, EURUSD, USDCHF, XAUUSD)에서 시간순 70/15/15 분할, 32봉 룩백, 1단계 예측 구간, 세 개의 랜덤 시드를 사용하여 HARN을 평가한다. HARN은 네 자산 모두에서 평가된 단일 시간 프레임 PatchTST 및 TimeXer 기준선보다 낮은 앵커 시간 프레임 테스트 평균 절대 오차(MAE)를 얻는다. HARN의 MAE는 각각 0.508, 0.000306, 0.000263, 2.552이며, PatchTST는 2.074, 0.000759, 0.000638, 9.563, TimeXer는 2.882, 0.010838, 0.014144, 15.297을 기록한다. 이러한 기술적 비교는 입력, 목표 정식화 또는 학습 절차의 차이로부터 아키텍처의 효과를 분리하지 못한다. AAPL과 EURUSD에 대한 단일 실행 구성요소 절제 실험은 작고 비단조적인 차이를 보인다. 이 결과는 비동기 다중 시간 프레임 예측에 대한 HARN의 실현 가능성을 보여주는 한편, 상대적 이점과 구성요소 기여를 규명하기 위한 통제된 비교와 더 폭넓은 절제 실험의 필요성을 시사한다.

arXiv:2610.02397v1cs.LG공통 태그 regression, Demand Forecasting

미국 건물 계량기 데이터 기반 AI 수요 예측을 위한 검증된 데이터 온보딩: 설계, 통제 평가, 그리고 수정된 네거티브 결과

Validated Data Onboarding for AI Demand Forecasting on U.S. Building Meter Data: Design, Controlled Evaluation, and a Corrected Negative Result

전력 유틸리티(electric utility)와 그리드 운영자(grid operator)는 다음날 수요를 예측하기 위해 머신러닝 모델에 점점 더 의존하고 있으며, 이러한 모델은 일상적으로 결함이 있는 계량기 데이터로부터 학습한다: 측정값이 누락되거나, 센서가 멈추거나(freeze), 건물이 수 시간 동안 0으로 기록되거나, 단위가 100배 차이로 바뀌는 경우가 있다. 이 보고서는 모델을 학습시키기 전에 이러한 결함을 탐지하고 복구하는 데이터 온보딩(data-onboarding) 파이프라인을, 예측 시점에 실제로 사용 가능한 정보만을 이용해 제시하며, 이 파이프라인이 24시간 선행 예측(24-hour-ahead forecast)을 보호하는지를 측정하는 통제 실험(controlled experiment)을 함께 제시한다. 공개된 Building Data Genome 2 데이터셋(210,528행, 2016-2017년)에서 추출한 미국 12개 건물의 시간별 전력 데이터에서, 학습 기간의 0.10%에 영향을 미치는 시드(seeded) 처리되고 해시 로그(hash-logged)된 결함은 그래디언트 부스팅(gradient-boosting) 예측기의 오차를 86% 증가시켰다; 탐지 및 과거 데이터만을 이용한 복구(past-only repair) 이후 오차는 정상 데이터 수준으로 돌아왔다(평균 절대 스케일 오차(mean absolute scaled error) 정상 0.760, 오염 1.415, 복구 0.729이며, 학습 타깃의 93%가 보존됨). 공개된 현장 연구(field study)에 맞춰 보정된 결함 발생률(학습 행의 1.6%)에서는, 보호되지 않은 예측기의 오차가 계절성 단순(seasonal-naive) 규칙의 4.4배에 달했으며, 복구된 예측기는 다시 정상 기준선(clean baseline)과 일치했다. 동일한 패턴이 릿지 회귀(ridge regression)와 랜덤 포레스트(random forest)에서도, 그리고 1시간부터 24시간까지의 예측 구간(horizon)에서도 유지되었다. 파이프라인의 초기 버전은 자연 발생 데이터(natural data)를 과도하게 정제(over-clean)하여 예측을 25% 악화시켰다; 이 결과는 그대로 유지되며, 그 원인은 공개된 아티팩트(artifact)에서 추적되고, 이를 수정하는 건물별(per-building) 보정은 날짜가 기록된 수정안(dated amendment)으로 문서화되어 있다. 모든 수치는 고정된(pinned) 공개 입력 데이터로부터 SHA-256 검증, 84개의 자동화된 테스트, 지속적 통합(continuous integration)을 통해 재현 가능하다.

arXiv:2609.27912v1cs.LG공통 태그 regression, Time Series

글로벌 트리 예측 모델은 계층적 집계 수준에서 붕괴한다: 다섯 개 패널에 대한 실패 특성 분석

Global tree forecasters collapse at the hierarchical aggregate: a five-panel failure characterization

글로벌 예측 모델(global forecasting model)은 다수의 시계열을 풀링(pooling)하여 하나의 공유 함수를 학습한다. 그래디언트 부스팅 트리(Gradient-boosted trees)가 가장 널리 쓰이는 형태이다. 본 연구는 우리가 아는 한 아직 문서화된 적 없는 이 설계의 실패를 측정한다. 계층 구조의 개별 시계열로 글로벌 트리를 학습시킨 뒤 계층적 집계값(hierarchical aggregate)에 대한 예측을 요청하면, 집계값은 모델의 학습 범위를 크게 벗어나 있어 예측이 붕괴한다. 이 모델은 실제 운영 환경에서 총합을 30~50배 과소 예측하며, 공개 M5 재구성 데이터에서는 최대 496배까지 과소 예측한다. 그 메커니즘은 이미 알려져 있다. 트리는 학습 범위를 벗어나면 상수를 예측한다. 이것이 집계 수준에서 나타나는 이유는 총합이 모든 학습 시계열을 압도하기 때문이다. 해결책 또한 새로운 것이 아니다. Montero-Manso와 Hyndman(2021)이 권장하는 전처리 단계인 시계열별 스케일링(per-series scaling)은 붕괴를 방지한다. 가중치를 부여한 집계 수준 학습 행(weighted aggregate-level training row)과 계절 차분(seasonal differencing) 역시 마찬가지이다. 본 연구의 기여는 이 현상의 특성 분석에 있다. 붕괴는 운영 중인 기업 간 거래(B2B) 마켓플레이스, 합성 계층 구조, M5, Australian Tourism, 공개 비즈니스 구매자 패널이라는 다섯 개 패널에서 재현된다. 이는 세 가지 트리 라이브러리에서 성립하고, 학습 시드(seed)에 관계없이 일정하며, 통계적으로 유의하다. 붕괴는 즉각적으로 시작되며 단순한 지지 범위(support) 한계를 따른다. 스케일 격차가 겨우 1.15배만 되어도 이미 총합의 3분의 1을 잃는다. 표준적인 설정 변경으로는 이를 막을 수 없다. 모든 계층 수준을 학습에 풀링하는 방식은 대규모에서 실패하며, 리프(leaf)에 선형 모델을 적합하는 유일한 설정 옵션은 붕괴를 완화하지만 해소하지는 못한다. 예측을 재귀적으로 앞으로 굴리는(rolling forward) 실험은 해결책들을 구분해 준다. 집계 행 방식은 다시 붕괴하고, 시계열별 스케일링은 성능이 저하되지만 낮은 수준에 머물며, 오직 계절 차분만이 1단계(one-step) 예측 정확도를 그대로 유지한다. 마지막으로 운영 중인 시스템에서 이 실패를 진단하고 예방하기 위한 3단계 절차를 제시한다.

arXiv:2609.26809v1cs.CV공통 태그 regression, Time Series

AgroBench: 카운티 통계와 픽셀 관측을 활용한 약지도 작물 수확량 학습을 위한 재현 가능한 멀티모달 벤치마크

AgroBench: A Reproducible Multimodal Benchmark for Weakly Supervised Crop Yield Learning from County Statistics and Pixel Observations

신뢰할 수 있는 농업 수확량 통계는 일반적으로 거친 행정 구역 단위로 보고되지만, 현대 지리공간 기계학습 방법은 공간적으로 명시적인 픽셀 수준 지도가 필요하다. 이러한 불일치는 멀티모달 지구 관측 데이터를 이용한 작물 수확량 학습을 위한 대규모 벤치마크 개발을 제한해 왔다. 공개된 미국 카운티 수준 작물 수확량 통계를 약지도 픽셀 수준 작물 시계열로 변환하기 위한 재현 가능한 벤치마크 AgroBench를 제시한다. 각 작물 픽셀 시계열은 직접 측정된 픽셀 수준 수확량 라벨 대신, 카운티 수준 수확량 값을 약한 지도 신호로 짝지어 사용한다. 지리공간 데이터 생성 파이프라인은 USDA 작물 수확량 통계를 작물별 토지 피복 마스크, Sentinel-2 다중분광 영상, Sentinel-1 합성 개구 레이더(SAR) 관측, 기후 변수, 지형 정보와 통합하여 생육기 동안 개별 작물 픽셀을 기술하는 시간 정렬 멀티모달 시퀀스를 생성한다. 결과 벤치마크는 미국 주요 5개 작물에 대해 8개 생육기(2017–2024)에 걸친 5,107개 카운티-연도 조합, 788,654개의 고유 작물 픽셀에서 1,300만 건 이상의 관측치를 포함한다. 표준화된 평가를 위해 Leave-One-Year-Out 평가 프로토콜을 사용한 작물 수확량 예측 벤치마크를 수립하고, 대표적인 기계학습 모델에 대한 기준선 결과를 제공한다. 데이터 생성 파이프라인, 벤치마크 데이터셋, 평가 프로토콜 전체를 공개함으로써 AgroBench는 약지도 학습, 멀티모달 원격 탐사, 시공간 모델링, 농업용 지리공간 파운데이션 모델에 관한 향후 연구를 위한 재현 가능한 토대를 제공한다.

arXiv:2607.22268v1stat.ML공통 태그 regression, Time Series

잔여 유효 수명 및 고장 모드 예측을 위한 일반 가치 함수

General Value Functions for Remaining Useful Life and Failure-Mode Prediction

잔여 유효 수명(RUL) 예측과 고장 모드 분류는 예측 정비에서 핵심 과제이다. 많은 데이터 기반 파이프라인은 완전한 종단 레이블을 사용한 고정 윈도우 지도학습을 사용한다; 이러한 접근은 관측이 부분적이거나 장치 식별 정보가 없을 때 연속적인 열화 상태 예측을 연결하는 시간적 재귀를 자연스럽게 인코딩하지 못한다. 우리는 흡수성 열화 과정에서의 벡터 일반 가치 함수(GVF) 예측으로 예후 예측(prognostics)을 공식화하고, RUL과 고장 모드 확률을 독립적인 윈도우 수준 레이블이 아닌 시간적으로 일관된 목표로 취급하며, 다단계 시간차(temporal-difference) 추정기 TD($n,λ$)로 이를 추정한다. 이를 뒷받침하는 이론은 벡터 GVF의 Bellman 고정점을 확인하고, 선형 projected-TD 극한과 실현 가능성(realizability) 하에서 완전 수익 Monte Carlo 회귀와의 관계를 특성화하며, 부트스트랩 TD 목표가 Monte Carlo 수익보다 분산이 작은 경우를 설명한다. 이벤트 트리거 다중 모드 시뮬레이션과 NASA C-MAPSS 레이블 부족 stitch 데이터에서, TD는 동일 백본 지도학습 Monte Carlo 대조군 대비 RUL 및 고장 모드 예측을 개선하며, 특히 완전 레이블이 부족한 경우에 그렇다. 실용적으로, 파편화되고 식별 정보가 없는 열화 기록은 완전한 run-to-failure 레이블이 확보될 때까지 폐기되지 않고 지역 Bellman 전이에 기여할 수 있다.

arXiv:2607.22399v1stat.ML공통 태그 regression, Time Series

유한 궤적로부터 에르고딕 동역학 시스템 학습

Learning Ergodic Dynamical Systems from a Finite Trajectory

우리는 에르고딕(ergodic) 확률적 동역학 시스템의 단일 유한 궤적로부터 학습하는 문제를 고려한다. 더 구체적으로, 시간 동질(time-homogeneous) 마르코프(Markov) 과정을 정의하는 이산 시간 자율 확률 시스템을 연구한다. 먼저 비선형 최소자승법(nonlinear least squares)으로 최적 1-단계 예측 함수를 추정하고, 과정의 불변 측도(invariant measure)에 대해 측정된 높은 확률 보장(high-probability guarantees)을 도출한다. 이러한 결과는 궤적 데이터의 비독립적·비동일분포적 특성이 고전적 통계적 학습 분석을 어떻게 수정하는지를 명시적으로 보여준다. 그런 다음 이 프레임워크를 고차 시스템과 유한 상태 공간으로 확장한다. 마지막으로, 동일한 최소자승법과 농도(concentration) 논증이 쿠프만 연산자(Koopman operator) 학습으로 자연스럽게 확장됨을 보인다. 우리의 접근법은 통계적 학습 이론과 마르코프 사슬에 대한 정량적 에르고딕 이론의 도구를 결합한다. 특히, 균일 기하학적 에르고딕(uniformly geometrically ergodic) 마르코프 사슬의 힐베르트 공간 값 가법 함수(additive functional)에 대한 농도 부등식(concentration inequality)에 의존한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.