Ensemble data assimilation to diagnose AI-based weather prediction model: A case with ClimaX version 0.3.1
원문 초록
Artificial intelligence (AI)-based weather prediction research is growing rapidly and has shown to be competitive with the advanced dynamic numerical weather prediction models. However, research combining AI-based weather prediction models with data assimilation remains limited partially because long-term sequential data assimilation cycles are required to evaluate data assimilation systems. This study proposes using ensemble data assimilation for diagnosing AI-based weather prediction models, and marked the first successful implementation of ensemble Kalman filter with AI-based weather prediction models. Our experiments with an AI-based model ClimaX demonstrated that the ensemble data assimilation cycled stably for the AI-based weather prediction model using covariance inflation and localization techniques within the ensemble Kalman filter. While ClimaX showed some limitations in capturing flow-dependent error covariance compared to dynamical models, the AI-based ensemble forecasts provided reasonable and beneficial error covariance in sparsely observed regions. In addition, ensemble data assimilation revealed that error growth based on ensemble ClimaX predictions was weaker than that of dynamical NWP models, leading to higher inflation factors. A series of experiments demonstrated that ensemble data assimilation can be used to diagnose properties of AI weather prediction models such as physical consistency and accurate error growth representation.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
농업 분야 기상 매개변수 예측을 위한 심층 학습 모델의 탐색적 분석
Exploratory Analysis of Deep Learning Models for Forecasting Meteorological Parameters in the Agricultural Sector
정확한 기상 예측은 농업 계획, 관개 관리, 환경 의사결정 지원에 필수적이다. 본 연구는 기준 증발산량($ET_0$), 수증기압 포차(VPD), 풍속, 풍향의 사인 및 코사인 성분에 대한 다변량 예측을 위해 순환 및 하이브리드 심층 학습 아키텍처를 비교 평가한다. 분석에는 OpenMeteo Historical Weather API를 통해 ERA5에서 수집한 그리스 이오아니나 지역의 2011년 1월부터 2026년 4월까지 총 134,376개의 시간별 관측값이 활용된다. 단층 및 다층 GRU와 LSTM 네트워크를 하이브리드 1D-CNN-GRU 및 1D-CNN-LSTM 모델과 비교하며, 두 가지 예측 과제—24시간 익일 예측과 168시간 주간 예측—를 수행한다. 성능은 정규화 평균제곱근오차, 결정계수, 복합 가중 지수 점수(WQS)를 사용하여 평가한다. 순수 순환 모델 중 가장 효과적인 모델은 24시간 예측 구간에서 WQS 0.816755를 기록한 64-유닛 LSTM이며, 168시간 예측 구간에서는 WQS 0.779465를 기록한 1024-유닛 GRU이다. 하이브리드 CNN-GRU 모델은 24시간 및 168시간 예측 구간에서 각각 0.827535와 0.782863으로 전체 최고 점수를 달성하였으나 LSTM 모델에 비해 유닛 수가 더 많은 반면, CNN-LSTM 모델은 파라미터 수를 크게 줄이면서도 거의 동일한 결과를 산출한다. 대응하는 순환 기준 모델과 비교하였을 때, 하이브리드 모델은 24시간 구간에서 WQS를 1.22--1.63\%, 168시간 구간에서 0.44--0.45\% 향상시키며, 합성곱 특징 추출이 단기 예측에 더욱 유익함을 시사한다.
GNSS 기반 천정 습윤 지연을 기상 파운데이션 모델에 통합하여 강수 예측 개선
Integrating GNSS-Derived Zenith Wet Delay into a Weather Foundation Model Improves Precipitation Forecasting
전지구 위성항법시스템(GNSS, Global Navigation Satellite Systems)은 측위로 잘 알려져 있지만, 대기 중 수증기가 신호를 지연시키기 때문에 기상 과학에도 활용된다. 이 지연인 천정 습윤 지연(ZWD, Zenith Wet Delay)은 전천후 연직 수분량의 직접 측정값이다. ZWD는 수십 년간 수치 기상 예측(numerical weather prediction)에 동화되어 왔음에도 불구하고, 심각한 강수의 과소 추정이라는 알려진 결함을 해결한다는 장점에도 불구하고, 선도적인 머신러닝 기상 모델(MLWM, machine learning weather models)에는 아직 활용되지 않고 있다. 본 논문에서는 최신 기상 파운데이션 모델인 Aurora에 GNSS 기반 ZWD를 통합한 최초의 연구를 제시한다. 확장된 Aurora는 사전학습된 변수들과 비교할 만한 수준의 기술로 ZWD를 학습한다. 더 중요하게는, ZWD를 포함하면 6시간 누적 강수에 대한 미세조정(fine-tuning) 시 예측이 체계적으로 개선된다. 개선 효과는 강도가 높아질수록 커지며, 99번째 백분위수에서 공정 위협 점수(Equitable Threat Score)가 8.8% 향상되고, 강수 파워 스펙트럼은 종관 및 행성 규모에서 더욱 현실적이 된다. 따라서 직접적인 GNSS 관측은 MLWM이 고영향 강수 예측에 활용할 수 있는 정보를 인코딩하고 있다.
Otter Weather: 숙련되고 계산 효율적인 중기 기상 예측
Otter Weather: Skillful and Computationally Efficient Medium-Range Weather Forecasting
최첨단 중기 AI 기상 모델은 기존의 수치 기상 예측(NWP)을 능가할 수 있으나 막대한 학습 예산을 필요로 한다. 이는 자원이 부족한 집단의 사용을 제한하고 빠른 모델 반복을 심각하게 저해한다. 여기서 우리는 AI를 통한 고성능 기상 예측을 대중화하도록 설계된 고효율 시공간 예측 모델인 Otter Weather를 개발한다. 표준 WeatherBench 프로토콜을 사용하여 1.5° 해상도의 ERA5 재분석 데이터로 평가한 결과, Otter 계열은 성능-연산 파레토 경계를 크게 진전시킨다. 결정론적 버전은 24시간 예보 시차에서 최고의 NWP 기준선을 9.6% 능가하면서 학습에 3.5 A100-일 미만이 필요하다. 이는 경량 AI 모델 대비 2배의 효율 향상을, 자원 집약적인 최첨단 아키텍처 대비 100배의 연산 감소를 제공한다. 우리는 연속 순위 확률 점수(CRPS)를 통한 학습으로 이러한 효율 향상을 확률 예측으로 확장한다. 더 큰 아키텍처로 확장한 Otter-XL은 IFS ENS 기준선 대비 9.7%의 CRPS 개선을 달성한다. 이는 유사한 연산 예산에서 비교 가능한 경량 모델 대비 예측 성능이 거의 두 배 증가함을 의미한다. Otter-XL은 또한 GenCast와 같은 최첨단 아키텍처를 2% 이상 능가하면서 연산은 한 자릿수 적게 사용한다. 마지막으로 Otter를 복잡한 음향 산란 PDE 과제에 그대로 적용하면 최첨단 파운데이션 모델링 접근법을 능가하며, 이는 여기서 이룬 진전이 다양한 과학 분야에 적용될 수 있음을 시사한다.
지정가 주문서 예측을 위한 추론-연산 프런티어
The Inference-Compute Frontier for Limit Order Book Prediction
우리는 FI-2010에서 지정가 주문서 예측에 대한 경험적 추론-연산 프런티어를 규명한다. 저연산 및 중연산 모델에 적합시킨 멱법칙은, 해당 적합에서 가장 큰 예산의 $56$--$2{,}515$배에 달하는 연산량을 가진, 제외된 MLPLOB 방식의 믹서 계열까지 외삽된다. 아홉 개의 폴드와 다섯 개의 예측 수평선에 걸쳐, 실현된 목표 프런티어에서 통합 $R^2$는 $0.934$이며 상수 종점 외삽보다 RMSE가 59\% 낮고, 제외된 모든 운용점에서는 $0.731$이다. 측정된 지연 시간은 더 약한 관계를 보이며 모델 계열의 순위를 바꾼다. 따라서 우리는 연산을 조밀한 시간 및 특징 혼합에 집약하도록 FastBiNLOB을 설계한다. H120은 다섯 개의 시드 모두에서 네 개의 수평선 중 두 개에서 발표된 최첨단 macro-F1을 능가한다. 우리의 CPU/MPS 프로토콜에서 H96은 W128 MLPLOB 기준 대비 중앙값 지연 시간을 23.6\% 줄이고, H120은 TLOB에서 착안한 이중 축 어텐션 기준 대비 60.2\% 줄인다.
미관측 교란 변수에 강건한 위험 점수 학습
Learning Risk Scores Robust to Unobserved Confounders
미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.
지구과학 분야 AI 모델의 전략적 거버넌스
Strategic Governance of AI Models in Earth Science
기상 및 기후 데이터로 사전학습(pre-training)된 AI 파운데이션 모델이 기상 예측을 넘어 다양한 지구과학 과제에 점차 널리 미세조정(fine-tuning)되고 있습니다. 이러한 모델의 개발과 도입 속도는 과학계의 평가 능력을 앞지르고 있습니다. 현재 이 모델들은 거의 전적으로 벤치마크 스킬 지표로만 평가받고 있는데, 이는 예측이 기준 결과물을 얼마나 가깝게 재현하는지를 측정할 뿐 모델이 예측 대상 시스템을 지배하는 물리적 과정을 제대로 반영하는지는 측정하지 못합니다. 따라서 예측 스킬과 물리적 신뢰성은 서로 구별되는 특성입니다. 이러한 구분은 모델이 학습하지 않은 기후 변화의 비정상성(nonstationary) 조건 하에서 가장 중대한 영향을 미칩니다. 본 연구에서는 작업 특화 에뮬레이터부터 파운데이션 모델에 이르기까지 지구과학 분야 AI 모델의 물리적 평가를 위한 5가지 우선순위로 학습 데이터, 미세조정, 행동 테스팅, 기저 메커니즘 해석 가능성(mechanistic interpretability), 그리고 출력 검증을 제시합니다. 또한 향후 10년을 위한 3가지 활동으로 1) 공개된 AI 지원 평가 데이터셋 구축, 2) 물리 기반 평가를 위한 공통 보고 기준 수립, 3) 이러한 모델의 안전성(safety)에 관한 전담 연구 프로그램 운영을 제안합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.