미국 건물 계량기 데이터 기반 AI 수요 예측을 위한 검증된 데이터 온보딩: 설계, 통제 평가, 그리고 수정된 네거티브 결과
Validated Data Onboarding for AI Demand Forecasting on U.S. Building Meter Data: Design, Controlled Evaluation, and a Corrected Negative Result
한국어 초록
전력 유틸리티(electric utility)와 그리드 운영자(grid operator)는 다음날 수요를 예측하기 위해 머신러닝 모델에 점점 더 의존하고 있으며, 이러한 모델은 일상적으로 결함이 있는 계량기 데이터로부터 학습한다: 측정값이 누락되거나, 센서가 멈추거나(freeze), 건물이 수 시간 동안 0으로 기록되거나, 단위가 100배 차이로 바뀌는 경우가 있다. 이 보고서는 모델을 학습시키기 전에 이러한 결함을 탐지하고 복구하는 데이터 온보딩(data-onboarding) 파이프라인을, 예측 시점에 실제로 사용 가능한 정보만을 이용해 제시하며, 이 파이프라인이 24시간 선행 예측(24-hour-ahead forecast)을 보호하는지를 측정하는 통제 실험(controlled experiment)을 함께 제시한다. 공개된 Building Data Genome 2 데이터셋(210,528행, 2016-2017년)에서 추출한 미국 12개 건물의 시간별 전력 데이터에서, 학습 기간의 0.10%에 영향을 미치는 시드(seeded) 처리되고 해시 로그(hash-logged)된 결함은 그래디언트 부스팅(gradient-boosting) 예측기의 오차를 86% 증가시켰다; 탐지 및 과거 데이터만을 이용한 복구(past-only repair) 이후 오차는 정상 데이터 수준으로 돌아왔다(평균 절대 스케일 오차(mean absolute scaled error) 정상 0.760, 오염 1.415, 복구 0.729이며, 학습 타깃의 93%가 보존됨). 공개된 현장 연구(field study)에 맞춰 보정된 결함 발생률(학습 행의 1.6%)에서는, 보호되지 않은 예측기의 오차가 계절성 단순(seasonal-naive) 규칙의 4.4배에 달했으며, 복구된 예측기는 다시 정상 기준선(clean baseline)과 일치했다. 동일한 패턴이 릿지 회귀(ridge regression)와 랜덤 포레스트(random forest)에서도, 그리고 1시간부터 24시간까지의 예측 구간(horizon)에서도 유지되었다. 파이프라인의 초기 버전은 자연 발생 데이터(natural data)를 과도하게 정제(over-clean)하여 예측을 25% 악화시켰다; 이 결과는 그대로 유지되며, 그 원인은 공개된 아티팩트(artifact)에서 추적되고, 이를 수정하는 건물별(per-building) 보정은 날짜가 기록된 수정안(dated amendment)으로 문서화되어 있다. 모든 수치는 고정된(pinned) 공개 입력 데이터로부터 SHA-256 검증, 84개의 자동화된 테스트, 지속적 통합(continuous integration)을 통해 재현 가능하다.
원문 초록
Electric utilities and grid operators increasingly rely on machine-learning models to forecast next-day demand, and those models learn from meter data that is routinely defective: readings go missing, sensors freeze, buildings read zero for hours, and units change by a factor of 100. This report presents a data-onboarding pipeline that detects and repairs such defects before a model is trained, using only information available at forecast time, and a controlled experiment that measures whether the pipeline protects a 24-hour-ahead forecast. On hourly electricity data for twelve U.S. buildings from the public Building Data Genome 2 dataset (210,528 rows, 2016-2017), seeded, hash-logged defects touching 0.10% of the training period raised the error of a gradient-boosting forecaster by 86%; after detection and past-only repair the error returned to the clean-data level (mean absolute scaled error 0.760 clean, 1.415 corrupted, 0.729 repaired) while 93% of training targets were retained. At a defect prevalence calibrated to published field studies (1.6% of training rows) the unprotected forecaster's error reached 4.4 times that of a seasonal-naive rule, and the repaired forecaster again matched the clean baseline. The same pattern held for ridge regression and a random forest and across horizons of 1 to 24 hours. A first version of the pipeline over-cleaned natural data and made forecasts 25% worse; that result is retained, its cause is traced in the published artifacts, and the per-building calibration that corrects it is documented as a dated amendment. Every number is reproducible from pinned public inputs with SHA-256 verification, 84 automated tests and continuous integration.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
시계열 예측 벤치마크에는 시나리오 기반 스트레스 테스트가 필요하다
Time Series Forecasting Benchmarks Need Scenario-Grounded Stress Testing
시계열 예측(Time Series Forecasting, TSF)은 교통, 에너지, 금융, 헬스케어, 인프라 전반의 의사결정을 점점 더 주도하고 있으나, 현재의 평가는 지나치게 협소한 상태에 머물러 있습니다. 표준 벤치마크는 낮은 홀드아웃(held-out) 오차에 보상을 부여하는 반면, 강건성 연구는 일반적으로 실패를 가우시안 노이즈, 무작위 마스킹, 또는 제한된 적대적 섭동으로 단순화합니다. 이는 배포된 예측 시스템의 실제 실패 모드를 가립니다. 입력 측 이상치는 단순히 더 노이즈가 많은 입력에 그치지 않으며, 시계열 역학을 바꾸고, 변수 간 의존성을 깨뜨리며, 체제 변화(regime shift)를 유발하거나 결함이 있는 센서에서 다운스트림 의사결정으로 전파되는 구조화된 이벤트를 반영하는 경우가 많습니다. 이러한 시맨틱, 인과적, 시스템 수준의 실패는 독립동일분포(i.i.d.) 섭동만으로는 충실하게 포착될 수 없습니다. 감사가 불가능한 사전학습 말뭉치로 인해 홀드아웃 일반화의 신뢰성이 점차 떨어지면서, TSF 파운데이션 모델의 등장은 이러한 평가 격차를 더욱 시급한 문제로 만듭니다. 따라서 우리는 시나리오 기반 스트레스 테스트를 제안합니다. 각 테스트 인스턴스는 과거 입력과 미래 타깃뿐만 아니라 시맨틱 시나리오, 명시적인 실패 연산자, 측정 가능한 난이도를 포함해야 합니다. 이러한 변화는 평가를 해석 가능하고, 원인 규명이 가능하며, 배포에 적합하고 친화적으로 만들어, 커뮤니티가 어떤 모델이 정확한지뿐만 아니라 어떤 조건에서 왜 실패하는지까지 질문할 수 있도록 합니다.
혼돈 역학에서 극한 사건의 예측 지평에 걸친 잡음 유발 예측가능성 재분배
Noise-Induced Predictability Redistribution Across Forecast Horizons of Extreme Events in Chaotic Dynamics
혼돈 역학에서 극한 사건(EE)은 드물게 나타나는 넓은 이탈 excursion이며, 동역학적 잡음에 의해 그 예측 가능성이 달라질 수 있다. 우리는 3차 자율 혼돈 유동에서 잡음이 예측 지평에 걸쳐 EE 발생과 예측 성능을 어떻게 바꾸는지 조사한다. 모든 realization에 대해 단일 clean-data 임계값을 고정하고, broad event는 excursion당 하나의 maximum으로 정의하며, 시간순 데이터 분리를 적용한 HistGradientBoosting으로 15 time unit 이력으로부터 미래 윈도우 W=15를 예측한다. 관측 이력과 미래 사건 윈도우 사이의 예측 간격 G가 커질수록 clean Matthews correlation coefficient(MCC)는 G=0에서 0.641에서 G=15에서 0.165로 감소한다. 잡음 의존성은 8개 진폭에서 10개의 paired realization으로 평가한다. 평균 단기 지평 점수는 clean data에서 0.456에서 sigma=0.007에서 0.546으로 증가하며, paired gain은 0.0895(95% CI 0.0494-0.1295; Holm-adjusted p=0.0234)이다. 잡음은 EE 발생을 크게 증가시키는 반면 사건 amplitude와 width는 비교적 안정적으로 유지된다. 잡음 수준별 양성 학습(training) 샘플 수를 균등화하면 단기 지평 이득이 상당히 약해지고, 강한 잡음은 중기 지평 예측 성능을 낮춘다. 우리는 예측 성능의 이러한 지평 의존적·비균일한 변화를 잡음 유발 예측가능성 재분배(noise-induced predictability redistribution, NIPR)라고 부른다.
SeT-Diff: HPC 텔레메트리 및 시계열을 위한 의미 기반 파운데이션 모델
SeT-Diff: Towards Semantic Foundation Models for HPC Telemetry and Time-Series
데이터센터와 그 컴퓨트 노드는 워크로드, 환경 매개변수, 물리적 지표 간의 복잡한 상호작용을 모델링할 수 있는 정확하고 유연한 디지털 트윈이 필요하다. 현재 HPC 및 그 텔레메트리를 위한 머신러닝 접근법은 일반적으로 단일 작업에 맞춰진 익명의 고정 위치 센서 변수의 정적 부분집합에 의존한다. 결과적으로, 목표 작업이 변경되거나 센서 지표가 달라지면 이러한 모델은 더 이상 유효하지 않게 된다. 우리는 컴퓨트 노드 텔레메트리 및 시계열을 위한 최초의 파운데이션 모델인 SeT-Diff를 제안한다. 경직된 아키텍처와 달리, 우리의 확산(diffusion) 기반 접근법은 각 센서의 의미적 설명에 생성 과정을 조건화하여 시스템 역학을 데이터셋의 구조로부터 분리한다. 실제 슈퍼컴퓨터 데이터셋에 대한 실험은 재구성 작업에서 평균 절대 오차(MAE) 0.0470을 보여준다. SeT-Diff는 제로샷(zero-shot) 순열 안정성을 보이며, 센서 순서가 섞여도 정확도를 미미한 저하만으로 유지한다. 단일 사전학습 모델이 데이터 보간(imputation), 예측(forecasting), 가상 센싱(virtual sensing)을 효과적으로 수행하며 — 열 추론에서 0.033 MAE를 달성 — SeT-Diff를 HPC 시스템을 위한 효과적인 데이터 기반 디지털 트윈으로 만든다.
MissHyper: 결측 안내 하이퍼그래프 예측에서 임상 동기성 복원
MissHyper: Restoring Clinical Synchronicity in Missingness-Guided Hypergraph Forecasting
임상 불규칙 다변량 시계열은 생리학적 역학뿐 아니라 언제 무엇을 관측할지를 결정하는 측정 과정에 의해서도 형성된다. 그러나 이벤트 중심 모델에서는 동일 타임스탬프 구조가 너무 이른 시점에 평탄화될 수 있다. 같은 타임스탬프에 획득된 측정값이 고립된 노드로 임베딩되면, 이후 메시지 전달(message-passing) 계층에 이르기까지 지역적 환자 상태 문맥을 사용할 수 없게 된다. 우리는 이러한 전파 전(pre-propagation) 표현 병목을 연구하고, 메시지 전달이 시작되기 전에 동일 타임스탬프 문맥을 복원함으로써 이를 해결한다. 전파 전 동기성 복원을 갖춘 결측 안내 하이퍼그래프 예측 모델인 MissHyper를 제안한다. MissHyper는 각 이벤트에 지역적 지원 밀도(support-density) 단서를 보강하고, 동일 타임스탬프 기록을 집계하여 환자 상태 문맥을 복구하며, 결측 안내 게이트를 사용해 노드별 증거와 복구된 문맥을 적응적으로 융합한다. PhysioNet 2012, MIMIC-III, MIMIC-IV에서 MissHyper는 다단계 예측에서 일관된 성능 향상을 달성하고 강력한 하이퍼그래프 기준선을 능가한다. 이 결과는 이벤트 초기화를 개선하는 것이 하류 전파 아키텍처를 재설계하지 않고도 희소 임상 예측에 도움이 될 수 있음을 시사한다. 어블레이션(ablation)은 스냅샷 복원, 적응적 융합, 지원 밀도 인코딩이 모두 기여함을 보여주며, 희소 임상 예측에서 이벤트 초기화가 핵심 설계 축임을 가리킨다.
수문 시계열 확률적 보간 및 예측을 위한 트랜스포머 기반 확산 모델
Transformer-based Diffusion models for Hydrological Time Series Probabilistic Imputation and Forecasting
관측이 제한된 수문기상 시계열 모델링은 수계 시스템 및 수자원 모니터링, 또한 홍수나 가뭄 위험 평가에서 핵심 과제이다. 기본 프로세스의 높은 변동성과 가용 측정값의 희소성으로 인해, 전통적인 통계적 접근법은 종종 그 역학을 정확히 표현하는 데 어려움을 겪는다. 이러한 맥락에서, 심층 학습의 최근 발전은 여러 관측 지점에서 샘플링된 복잡한 시간적 프로세스의 표현과 생성을 개선할 유망한 방향을 제공한다. 본 연구는 수문학적 시계열의 시뮬레이션 및 재구성에 트랜스포머 기반 확산 모델의 적용을 조사한다. 제안된 프레임워크는 북동부 프랑스의 석회암 고원에 위치하며 숲과 경작지로 덮인 세 인접 상류 유역에 분포한 여섯 지점에서 수량과 수질의 공동 모델링에 적용된다. 해당 모델은 15년 이상 LNE 계량학 전문성과 Andra의 월별 품질 관리 협력을 통해 품질 관리되었고 센서 드리프트 및 고장이 보정된 가용 관측 데이터를 사용하여 보정 및 검증된다. 그 성능은 시계열 모델링에 일반적으로 사용되는 여러 확립된 기준선 접근법과 비교된다. 정량적 평가 지표를 사용하여 두 가지 설정—불완전한 시계열의 보간(imputation)과 향후 수문학적 조건의 예측(forecasting)—에서 제안 방법이 관측 신호의 핵심 시간적 특성을 재현하는 능력을 평가한다. 결과는 트랜스포머 기반 접근법의 효과를 뒷받침하며 수문학적 데이터에 존재하는 복잡한 패턴을 포착하고 시뮬레이션하는 능력을 강조한다. 특히 결과는 확산 모델이 예측과 보간 모두에서 가변적인 결측 데이터를 갖는 관측 설정 하에서 현실적인 시계열 분포를 효율적으로 샘플링할 수 있음을 나타낸다.
지속 가능한 도시를 위한 기후 회복력 전기차 충전 인프라: 예방 정비와 저탄소 이동성을 위한 해석 가능한 인과-앙상블 프레임워크
Climate-resilient electric vehicle charging infrastructure for sustainable cities: An interpretable causal-ensemble framework for preventive maintenance and low-carbon mobility
신뢰할 수 있는 전기차(EV) 충전 인프라는 지속 가능한 저탄소 도시의 핵심 요소이지만, 극한 고온, 집중 강수, 습도와 같은 도시 기후 스트레스가 장비 고장 위험을 점점 더 높이고 도시 에너지 및 이동 서비스의 회복력을 약화시키고 있다. 수동적 수리에서 예방 정비로 운영을 전환하려면 정확하고 전향적인 고장 위험 예측이 필수적이며, 이는 물리적·행동적·맥락적·과거 신호의 이질적 시간 척도와 다주(多週) 수준의 예측으로 인해 복잡해진다. 우리는 기후 회복력 충전 자산 관리를 위한 해석 가능한 의사결정 지원 시스템을 구성하는 특징 기반 동적 스태킹 앙상블(FGDSE)을 개발한다. 이는 이질적 신호를 네 가지 특징 계열로 분할하고, 각각을 데이터와 귀납적 바이어스가 맞는 도메인 전문가에 배정하며, 단기 펄스와 장기 열화를 위한 두 개의 심층 시간 전문가를 추가한다. 이후 예측 기간별 게이팅 메커니즘이 1~30일에 걸친 일별 고장 위험을 예측하기 위해 적응적 가중치를 학습한다. SHAP 기여도 분석과 X-learner는 확률적 출력을 충전소(post) 수준 처치 효과를 갖는 인과적 의사결정 지원으로 확장한다. 13개 충전소의 25개월 데이터에서 FGDSE는 10일을 넘는 예측 기간에서 12개 베이스라인을 능가하며, 30일에서 약 85%의 매크로 재현율을 유지하고 AUC 감소는 3.2포인트에 불과하며, 지배 요인이 고장 이력에서 기후 스트레스로 이동함을 보여준다. 극한 고온을 시간이 지남에 따라 인과 효과가 증폭되는 유일한 노출 요인으로 식별하고, 약 30%의 충전소를 고온 민감으로 표시하며, 도시 이동 회복력을 강화하고 저탄소 이동을 지속하는 기후 적응형 정비를 위한 정량적 임계값을 도출한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Technical report; 8 pages, 5 figures, 2 tables. Code, data manifests, and reproducibility artifacts: https://github.com/LIANGYIXUAN3335/energy-data-onboarding-forecasting . Preprint; not peer reviewed