한국어 초록
AI 기상 모델은 극값(extremes)을 과소평가한다고 자주 보고되지만, 대부분의 증거는 재분석 자료를 기준으로 검증된 결정론적 회귀 모델에 해당합니다. 본 연구에서는 10개월간의 유럽 관측소 데이터를 활용하여 ECMWF IFS와 비교하며 12개의 물리적 및 AI 예측 모델을 평가(evaluation)합니다. 이번 평가는 고정된 ERA5 1991-2020 기후학에서 정의된 체제 내에서 10m 풍속, 2m 기온, 태양 복사, 강수량을 다룹니다. 연구 결과, 꼬리(tail) 영역에서 AI 모델 고유의 일관된 성능 저하는 발견되지 않았습니다. 여러 AI 모델은 극한 조건에서도 IFS보다 더 높은 정확도를 유지한 반면, 다른 모델들은 현저히 저하되었으며, 물리적 모델들 사이에서도 이와 유사한 편차가 나타났습니다. 그럼에도 불구하고 모든 모델은 낮은 관측치는 과대예측하고 높은 관측치는 과소예측하는 공통적인 조건부 오차 패턴을 보입니다. 따라서 극값의 감쇠가 상대적 기술 점수(relative skill)의 일률적인 손실을 의미하는 것은 아닙니다. 꼬리 영역의 성능은 예측이 AI에 의해 생성되었는지 혹은 물리적 수치 모델링에 의해 생성되었는지보다는 모델, 변수 및 평가 환경에 따라 달라집니다.
원문 초록
AI weather models are often reported to underestimate extremes, but most evidence concerns deterministic regression models verified against reanalysis. We evaluate twelve physical and AI forecast models against ECMWF IFS using ten months of European station observations. The evaluation covers 10 m wind, 2 m temperature, solar radiation, and precipitation within regimes defined from a fixed ERA5 1991-2020 climatology. We find no uniform AI-specific deficit in the tails. Several AI models remain more accurate than IFS under extreme conditions, while others deteriorate markedly; comparable variation occurs among physical models. Every model nevertheless exhibits a common conditional-error pattern, overpredicting low observations and underpredicting high observations. Attenuation of extreme values therefore does not imply a uniform loss of relative skill: tail performance depends on the model, variable, and evaluation setting rather than on whether the forecast is produced by AI or physical numerical modelling.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SeoulMMOD: 대규모 멀티모달 출발지-목적지 흐름 벤치마크
SeoulMMOD: A Large-Scale Multimodal Origin-Destination Flow Benchmark
출발지-목적지(OD) 흐름 예측(forecasting)은 도시 전역에서 인간 이동의 규모와 패턴을 예측하여 도시 모빌리티(mobility) 의사결정을 지원한다. 기존의 공개 OD 벤치마크 대부분은 단일 교통 서비스 또는 최대 두 가지 수단(mode)만을 다루어, 도시 전역 모빌리티에 대한 부분적인 관점만을 제공한다. 수단 범위가 부분적이면, 관측된 수요 변화를 교통 수단 간 이동(shift)과 전체 이동량(total travel)의 변화로 분리하기 어렵다. 우리는 서울의 도시 전역 멀티모달 모빌리티를 위한 대규모 공개 벤치마크인 SeoulMMOD를 소개한다. SeoulMMOD는 25개 자치구(district)와 426개 행정동(sub-district)에 걸친 6가지 도시 이동 수단에 대한 전체 모빌리티를 추정하는 3년간의 시간 단위 OD 흐름 데이터를, 이동 시간, 이동 거리, 캘린더(calendar), 강우량, 관심 지점(POI, point-of-interest) 신호와 함께 제공한다. SeoulMMOD를 사용하여 우리는 공통 프로토콜 하에서 14개의 예측 베이스라인(baseline)을 벤치마킹하고, 공간적 스케일링(spatial scaling), 결합 학습(joint training) 대 수단별 분리 학습(mode-separate training), 그리고 연도 간 일반화(cross-year generalization)의 효과를 분석한다. 결과는 자치구 수준에서 작동하는 여러 시공간(spatio-temporal) 모델이 행정동 수준 OD 예측으로는 확장되지 않으며, 단순한(naive) 결합 멀티모달 학습이 정확도를 일관되게 향상시키지는 않음을 보여준다. 종합적으로, 이 데이터셋과 벤치마크는 도시 규모에서 다중 수단, 다년도 OD 예측을 위한 재현 가능한 테스트베드(testbed)를 구축한다.
지구과학 분야 AI 모델의 전략적 거버넌스
Strategic Governance of AI Models in Earth Science
기상 및 기후 데이터로 사전학습(pre-training)된 AI 파운데이션 모델이 기상 예측을 넘어 다양한 지구과학 과제에 점차 널리 미세조정(fine-tuning)되고 있습니다. 이러한 모델의 개발과 도입 속도는 과학계의 평가 능력을 앞지르고 있습니다. 현재 이 모델들은 거의 전적으로 벤치마크 스킬 지표로만 평가받고 있는데, 이는 예측이 기준 결과물을 얼마나 가깝게 재현하는지를 측정할 뿐 모델이 예측 대상 시스템을 지배하는 물리적 과정을 제대로 반영하는지는 측정하지 못합니다. 따라서 예측 스킬과 물리적 신뢰성은 서로 구별되는 특성입니다. 이러한 구분은 모델이 학습하지 않은 기후 변화의 비정상성(nonstationary) 조건 하에서 가장 중대한 영향을 미칩니다. 본 연구에서는 작업 특화 에뮬레이터부터 파운데이션 모델에 이르기까지 지구과학 분야 AI 모델의 물리적 평가를 위한 5가지 우선순위로 학습 데이터, 미세조정, 행동 테스팅, 기저 메커니즘 해석 가능성(mechanistic interpretability), 그리고 출력 검증을 제시합니다. 또한 향후 10년을 위한 3가지 활동으로 1) 공개된 AI 지원 평가 데이터셋 구축, 2) 물리 기반 평가를 위한 공통 보고 기준 수립, 3) 이러한 모델의 안전성(safety)에 관한 전담 연구 프로그램 운영을 제안합니다.
중고 전자기기의 다중 시계열 가격 예측을 위한 심층 학습 대 통계 모델: 체계적 벤치마크
Deep Learning vs. Statistical Models for Multi-Horizon Price Forecasting of Second-Hand Electronics: A Systematic Benchmark
중고 전자기기의 재판매 가격 예측은 가격 책정 오류가 곧바로 위험으로 이어지는 구독 기반 플랫폼에 매우 중요합니다. 구조화된 금융 시장과 달리 중고 전자기기는 높은 변동성, 희소한 매물 등록 이력, 비정규 가격 역학을 보이지만, 이 영역에 대한 체계적인 시계열 벤치마크(benchmark)는 존재하지 않습니다. 본 논문에서는 중고 전자기기 가격 예측을 위한 통계 및 심층 학습(deep learning) 예측 모델의 첫 다중 시계열(multi-horizon) 벤치마크를 제시합니다. 폴란드 온라인 마켓플레이스의 일별 가격 매물 대규모 데이터셋(2022년 1월부터 2025년 3월까지, 100개 이상의 스마트폰 및 노트북 모델)을 사용하며, 고전적 기법(ARIMA, ETS, Theta), 순환 및 합성곱 네트워크(LSTM, TCN), 현대 심층 아키텍처(N-BEATS, N-HiTS, TFT, PatchTST, Informer)를 포괄하는 11개 모델을 1일부터 365일까지 6개 예측 구간(horizon)에 걸쳐 평가합니다. 세 가지 상호보완적 평가 프로토콜은 궤적 적합도, 단발성(one-shot) 종단점 정확도, 시계열 간 전이(cross-horizon transfer)를 측정합니다. N-BEATS는 30일 이후에서 가장 낮은 MAPE를 달성하여 365일에서 8.51%에 도달했으며, 이는 최고 성능 통계 기준선(baseline)의 14.94% 대비 43% 감소한 수치입니다. 단기 예측 구간(1-7일)에서는 모든 모델이 약 0.72% MAPE로 수렴하며 나이브 기준선도 경쟁력을 유지합니다. 365일 기준으로 학습된 단일 N-BEATS 모델은 더 짧은 모든 예측 구간으로 일반화되어 구간별 맞춤형 모델의 필요성을 없앱니다. 또한 N-BEATS와 N-HiTS는 뛰어난 하이퍼파라미터 안정성을 보여줍니다.
TRACE: 공식 운영 텍스트를 활용한 전력 가격 예측을 위한 재현 가능한 벤치마크
TRACE: A Reproducible Benchmark for Electricity Price Forecasting with Official Operational Text
전력 가격 예측(EPF)은 전력 시장에서의 일정 수립, 입찰, 위험 관리를 지원하지만, 기존 벤치마크는 주로 수치형 입력에 집중하여 예측 시점의 텍스트 컨텍스트가 지닌 예측 가치는 충분히 평가되지 못했습니다. 우리는 미국 주요 시장의 5개 구역 가격과 예측 마감 시점에 이용 가능한 공식 운영 텍스트를 결합한 7,300개 구역-일(zone--day) 인스턴스로 구성된 재현 가능한 벤치마크인 TRACE를 소개합니다. TRACE는 각 마감 시점의 공식 운영 텍스트를 재구성하여 마감 이후 정보의 누수를 방지합니다. 우리는 TRACE의 의미론적 정렬(semantic alignment)과 예측 가치를 평가합니다. 의미론적 평가는 실측 가격의 중심 추세 변동 및 양쪽 꼬리 위험과 일치하며, 특히 상위 꼬리 가격 위험에서 가장 일관되게 나타납니다. 예측 가치는 시계열 파운데이션 모델 전반에서 상위 꼬리 핀볼 손실(pinball loss)이 중앙값 기준 7.4% 감소하는 결과로 입증됩니다. 통제된 일간 텍스트 불일치(cross-day text-mismatch) 절제 실험을 수행하면 이러한 성능 향상이 반전되어 텍스트를 사용하지 않은 기준선보다 낮아집니다.
자기회귀 기상 모델의 사후 학습 양자화
Post-Training Quantization of Autoregressive Weather Models
고해상도 수치 예보(NWP) 및 자료 동화(DA)의 발전은 대기 역학을 모사하는 심층 학습(DL) 아키텍처의 발전을 이끌어왔습니다. 일기 예보용 에뮬레이터는 수일에서 계절 내(subseasonal) 시간 규모로 확장되는 예측 기간에서 물리 기반 모델에 필적하는 예보 품질을 보여줍니다. 이러한 에뮬레이터는 자기회귀 추론에서 하드웨어 가속 행렬 곱을 기반으로 구동되어 수치 예보에 필요한 계산 시간과 자원을 크게 줄여줍니다. GPU 아키텍처에서 행렬 곱 연산 과정을 최적화하면 고해상도 영역으로 확장할 기회를 제공하며, 즉시 사용 가능한(out-of-the-box) 솔루션의 구현을 가능하게 합니다. 사후 학습 양자화(PTQ)는 여러 심층 학습 아키텍처 전반에서 전력 소모를 줄이면서도 단위 시간당 계산 횟수를 가속화하고 늘려 엣지 하드웨어에서의 응용을 가능하게 하는 것으로 입증되었습니다. 본 연구에서는 전 지구 규모 일기 예보를 위한 사전 학습된 AI 에뮬레이터에 PTQ가 미치는 영향을 조사합니다. 지구물리 유체역학 응용을 위한 개념 증명(proof of concept)으로서 DLWP(Deep Learning Weather Prediction) 및 FourCastNet(FCN) 모델에 PTQ 알고리즘을 구현합니다. 우리는 단기 예측 기간에 걸쳐 에뮬레이터 추론에 미치는 PTQ의 영향을 체계적으로 조사합니다. 시뮬레이션 양자화를 사용한 PTQ 구성 평가는 단기 기간에 걸쳐 정성적으로 유의미한 예보 가능성을 시사합니다. 이러한 결과는 자기회귀 기상 에뮬레이터에 대한 PTQ의 첫 번째 벤치마크이자 동역학계 대상 심층 학습 모델의 양자화 기반 최적화를 위한 기초를 제공합니다.
시계열 예측 벤치마크에는 시나리오 기반 스트레스 테스트가 필요하다
Time Series Forecasting Benchmarks Need Scenario-Grounded Stress Testing
시계열 예측(Time Series Forecasting, TSF)은 교통, 에너지, 금융, 헬스케어, 인프라 전반의 의사결정을 점점 더 주도하고 있으나, 현재의 평가는 지나치게 협소한 상태에 머물러 있습니다. 표준 벤치마크는 낮은 홀드아웃(held-out) 오차에 보상을 부여하는 반면, 강건성 연구는 일반적으로 실패를 가우시안 노이즈, 무작위 마스킹, 또는 제한된 적대적 섭동으로 단순화합니다. 이는 배포된 예측 시스템의 실제 실패 모드를 가립니다. 입력 측 이상치는 단순히 더 노이즈가 많은 입력에 그치지 않으며, 시계열 역학을 바꾸고, 변수 간 의존성을 깨뜨리며, 체제 변화(regime shift)를 유발하거나 결함이 있는 센서에서 다운스트림 의사결정으로 전파되는 구조화된 이벤트를 반영하는 경우가 많습니다. 이러한 시맨틱, 인과적, 시스템 수준의 실패는 독립동일분포(i.i.d.) 섭동만으로는 충실하게 포착될 수 없습니다. 감사가 불가능한 사전학습 말뭉치로 인해 홀드아웃 일반화의 신뢰성이 점차 떨어지면서, TSF 파운데이션 모델의 등장은 이러한 평가 격차를 더욱 시급한 문제로 만듭니다. 따라서 우리는 시나리오 기반 스트레스 테스트를 제안합니다. 각 테스트 인스턴스는 과거 입력과 미래 타깃뿐만 아니라 시맨틱 시나리오, 명시적인 실패 연산자, 측정 가능한 난이도를 포함해야 합니다. 이러한 변화는 평가를 해석 가능하고, 원인 규명이 가능하며, 배포에 적합하고 친화적으로 만들어, 커뮤니티가 어떤 모델이 정확한지뿐만 아니라 어떤 조건에서 왜 실패하는지까지 질문할 수 있도록 합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.