향상된 에너지 소비 예측을 위한 자동화된 특징 엔지니어링, AutoML 및 의사결정 중심 학습
Automated Feature Engineering, AutoML, and Decision-Focused Learning for Improved Energy Consumption Forecasting
한국어 초록
에너지 비용 및 수요의 증가와 환경 지속가능성 목표는 에너지 관리에 큰 과제를 안겨주고 있습니다. 에너지 소비 예측(ECF)은 미래 소비량을 예측함으로써 계획 수립을 지원하지만, ECF를 위한 머신러닝(ML) 모델은 종종 전문가 주도의 특징 엔지니어링(FE)에 의존합니다. 본 학위논문은 세 가지 기여를 통해 이러한 의존성을 해결합니다. 첫째, ECF를 위한 포괄적인 FE 파이프라인을 구축 및 평가하고 도메인 특화 특징을 조사합니다. 둘째, 타임스탬프와 지연된 소비량으로부터 해석 가능한 특징을 생성하고 엔드투엔드 ECF 모델링을 위해 AutoML과 통합되는 도메인 맞춤형 자동화 FE 알고리즘인 AutoEnergy를 도입합니다. 주거용, 상업용, 산업용, 재생 가능 에너지 및 그리드 도메인에 걸친 18개의 실제 에너지 데이터셋 전반에서 AutoEnergy는 기준선(baseline) AutoML 및 기존의 자동화된 FE 방식 대비 예측 오차를 19.52%-84.72% 감소시키는 동시에 1.31-4.41배 더 빠르게 실행되었으며, 개선 폭은 데이터셋에 따라 상이했습니다. 셋째, 배터리 에너지 저장 시스템 문제에 대해 AutoEnergy를 의사결정 중심 학습(DFL)과 통합하여, 충전 및 방전 결정을 최적화하는 동시에 전기 요금과 수요를 공동으로 예측합니다. 실제 영국 부동산 데이터셋에서 이 접근법은 자동화된 FE가 없는 동일한 DFL 모델과 비교하여 운영 비용을 22.9%-56.5% 절감합니다. 전반적으로 이러한 결과는 도메인 특화 자동화 FE가 수작업 특징 설계에 대한 의존도를 줄이고 예측 정확도를 향상시키며, 예측 성능의 이점을 에너지 관리에서의 측정 가능한 운영상 이익으로 전환할 수 있음을 보여줍니다.
원문 초록
The rising cost and demand for energy, together with environmental sustainability goals, create major challenges for energy management. Energy Consumption Forecasting (ECF) supports planning by predicting future consumption, but Machine Learning (ML) models for ECF often depend on expert-driven Feature Engineering (FE). This thesis addresses that dependence through three contributions. First, it establishes and evaluates a comprehensive FE pipeline for ECF and investigates domain-specific features. Second, it introduces AutoEnergy, a domain-tailored automated FE algorithm that generates interpretable features from timestamps and lagged consumption and integrates with AutoML for end-to-end ECF modelling. Across eighteen real-world energy datasets spanning residential, commercial, industrial, renewable, and grid domains, AutoEnergy reduces forecasting error by 19.52%-84.72% relative to baseline AutoML and established automated FE methods, while running 1.31-4.41 times faster, with gains varying by dataset. Third, AutoEnergy is integrated with Decision-Focused Learning (DFL) for a Battery Energy Storage System problem, jointly forecasting electricity prices and demand while optimising charging and discharging decisions. On a real-world UK property dataset, this approach reduces operating costs by 22.9%-56.5% compared with the same DFL models without automated FE. Overall, the results show that domain-specific automated FE can reduce reliance on manual feature design, improve forecasting accuracy, and translate predictive gains into measurable operational benefits in energy management.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LightGBM을 활용한 지능형 국경 통제를 위한 다중 호라이즌(Multi-Horizon) 설명 가능 대기열 예측과 자원 인지형 의사결정 지원
Multi-Horizon Explainable Queue Forecasting and Resource-Aware Decision Support for Intelligent Border Control Using LightGBM
국경 통과 지점(border crossing point)은 교통 수요, 여행자 범주, 등록 상태, 검사 요건, 인력 배치, 차선 가용성이 여러 시간 척도에서 상호작용하는 확률적 서비스 시스템이다. 본 논문은 Light Gradient Boosting Machine(LightGBM) 모델을 기반으로 하는 구현 지향적인 다중 호라이즌(multi-horizon) 예측 및 의사결정 지원 아키텍처를 도입함으로써 기존의 멀티모달 대기열 관리 프레임워크를 확장한다. 단일 예측 블록과 달리, 제안된 접근법은 15분, 30분, 60분, 120분 예측을 위한 호라이즌별(horizon-specific) 회귀 모델(regressor)을 구성하고, 미래의 대기 시간(waiting time)과 대기열 길이(queue length)를 함께 추정한다. 이 모델들은 시간적으로 지연(lag)된 교통, 서비스, 밀도, 대기열 특징(feature)을 기반으로 작동하며, 운영층(operational layer)은 차선 호환성, 담당관 가용성, 저하될 수 있는 자원, 여행자 범주, 사전등록 정보, 인간 승인 제약을 반영한다. 분위수(quantile) LightGBM 모델은 대기 시간 예측에 대해 95% 예측 구간(prediction interval)을 제공한다. 예측을 넘어, 이 프레임워크는 국경 자원 관리 및 의사결정 지원 시스템에 적합한 기계 판독 가능한(machine-readable) 권고안, 경보, 종합 핵심성과지표(KPI), 신뢰도 정보, 통합 출력을 생성한다. 이 결과는 재현 가능한 합성 데이터 기준선(baseline)과, 실제 국경 통과 운영 데이터를 이용한 후속 검증(validation)을 위한 실용적 인터페이스를 수립한다.
Forecast Workflow Bench: 예산 제약 예측 도구를 활용한 언어 모델 의사결정 평가
Forecast Workflow Bench: Evaluating Language-Model Decisions with Budgeted Forecast Tools
시계열 파운데이션 모델(TSFM)은 운영 의사결정을 위한 예측을 제공하지만, 정확도만으로는 그 가치를 판단할 수 없다. 이러한 모델을 사용하는 에이전트를 평가하려면 의사결정 품질과 예측 비용을 측정해야 한다. FWBench는 고정된 예측 도구와 시뮬레이션된 용량 계약을 사용하여 전력 및 자전거 대여 사례 1,251건에 대해 이 역량을 평가한다. 에이전트는 모델, 이력(history) 및 예측 구간(horizon)을 선택한 뒤, 명시된 손실-비용 목적을 최소화하도록 용량을 제출한다. 호스팅 2종과 소형 언어 모델을 포함한 로컬 8종 구성을 평가했으며, TSFM 유무에 따른 로컬 모델도 시험했다. GPT-6 Astra는 예산의 2.5%만 사용해 저렴한 단기 예측을 선택적으로 구매했으며, 절감된 의사결정을 세 가지 손실-비용 가중으로 채점했을 때 고정 정책을 능가했다. FWBench는 비용 제약 하에서 언어 모델이 시계열 예측을 어떻게 선택하고 활용해 의사결정하는지 재현 가능하게 평가할 수 있게 한다.
글로벌 트리 예측 모델은 계층적 집계 수준에서 붕괴한다: 다섯 개 패널에 대한 실패 특성 분석
Global tree forecasters collapse at the hierarchical aggregate: a five-panel failure characterization
글로벌 예측 모델(global forecasting model)은 다수의 시계열을 풀링(pooling)하여 하나의 공유 함수를 학습한다. 그래디언트 부스팅 트리(Gradient-boosted trees)가 가장 널리 쓰이는 형태이다. 본 연구는 우리가 아는 한 아직 문서화된 적 없는 이 설계의 실패를 측정한다. 계층 구조의 개별 시계열로 글로벌 트리를 학습시킨 뒤 계층적 집계값(hierarchical aggregate)에 대한 예측을 요청하면, 집계값은 모델의 학습 범위를 크게 벗어나 있어 예측이 붕괴한다. 이 모델은 실제 운영 환경에서 총합을 30~50배 과소 예측하며, 공개 M5 재구성 데이터에서는 최대 496배까지 과소 예측한다. 그 메커니즘은 이미 알려져 있다. 트리는 학습 범위를 벗어나면 상수를 예측한다. 이것이 집계 수준에서 나타나는 이유는 총합이 모든 학습 시계열을 압도하기 때문이다. 해결책 또한 새로운 것이 아니다. Montero-Manso와 Hyndman(2021)이 권장하는 전처리 단계인 시계열별 스케일링(per-series scaling)은 붕괴를 방지한다. 가중치를 부여한 집계 수준 학습 행(weighted aggregate-level training row)과 계절 차분(seasonal differencing) 역시 마찬가지이다. 본 연구의 기여는 이 현상의 특성 분석에 있다. 붕괴는 운영 중인 기업 간 거래(B2B) 마켓플레이스, 합성 계층 구조, M5, Australian Tourism, 공개 비즈니스 구매자 패널이라는 다섯 개 패널에서 재현된다. 이는 세 가지 트리 라이브러리에서 성립하고, 학습 시드(seed)에 관계없이 일정하며, 통계적으로 유의하다. 붕괴는 즉각적으로 시작되며 단순한 지지 범위(support) 한계를 따른다. 스케일 격차가 겨우 1.15배만 되어도 이미 총합의 3분의 1을 잃는다. 표준적인 설정 변경으로는 이를 막을 수 없다. 모든 계층 수준을 학습에 풀링하는 방식은 대규모에서 실패하며, 리프(leaf)에 선형 모델을 적합하는 유일한 설정 옵션은 붕괴를 완화하지만 해소하지는 못한다. 예측을 재귀적으로 앞으로 굴리는(rolling forward) 실험은 해결책들을 구분해 준다. 집계 행 방식은 다시 붕괴하고, 시계열별 스케일링은 성능이 저하되지만 낮은 수준에 머물며, 오직 계절 차분만이 1단계(one-step) 예측 정확도를 그대로 유지한다. 마지막으로 운영 중인 시스템에서 이 실패를 진단하고 예방하기 위한 3단계 절차를 제시한다.
제안하되 판단하지 마라: 투자 팩터를 발굴하는 LLM 에이전트를 위한 언제든 유효(anytime-valid) 심판
Propose, Don't Judge: An Anytime-Valid Referee for LLM Agents That Mine Investment Factors
언어 모델 에이전트는 이제 양적 팩터 연구 전 과정을 수행한다. 투자 팩터를 제안하고, 백테스트하며, 생존자를 선별하고 은퇴시킨다. 우리는 그 일 가운데 에이전트가 어떤 역할을 유지해야 하는지 묻는다. 우리의 답은 통제된 자기 진화(governed self-evolution)이다. 에이전트는 제안할 수 있고, 에이전트가 건드릴 수 없는 고정(frozen) 통계 심판이 판단해야 한다. 심판은 제출 이후에 공개된 시장 결과만을 베팅(betting)으로 각 후보를 채점하므로, 어떤 제안 정책에 대해서든 모든 정지 시점(stopping time)에서 허위 발견(false-discovery) 보장이 성립한다. 우리는 세 가지 제안자(스크립트, 밴딧, 언어 모델)와 이 심판 및 의도적으로 누수가 있는(leaky) 세 가지 심판을 교차한다. 실험은 심재 진실(planted truth)이 있는 합성 세계, 프로브 작성 환경, CSI 500에 대한 10년 워크포워드(walk-forward)에서 수행한다. 누가 판단하는지가 허위 채택(false admissions) 수를 정한다. 고정 심판은 스크립트 제안자 하에서 누수 심판보다 임계값 미만(sub-threshold) 팩터를 5–11배 적게 채택하며, 어떤 제안자도 그 격차를 메우지 못한다. 누가 제안하는지가 수확(yield)을 정한다. 언어 모델은 스크립트를 능가하고 밴딧과 맞먹으며, 밴딧에는 없는 유일한 능력인 자체 진단 프로브 작성을 더한다. 인증(certificate)의 대가는 시간이다. 채택된 진짜 팩터는 약 500 거래일을 기다리며, 따라서 인증 포트폴리오의 Sharpe 비율은 게이트 없는(ungated) 포트폴리오에 뒤진다. 판단은 절차(procedure)에 속하고, 제안과 도구(instrument) 제작은 에이전트에 속한다.
Catch: Collaborative Feature Set Search for Automated Feature Engineering
ATM: A distributed, collaborative, scalable system for automated machine learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
PhD thesis, School of Computer Science, University of Nottingha, United Kingdom