arXiv:2407.12168

A Scalable Real-Time Data Assimilation Framework for Predicting Turbulent Atmosphere Dynamics

Junqi Yin, Siming Liang, Siyan Liu, Feng Bao, Hristo G. Chipilski, Dan Lu, Guannan Zhang

제출 2024-07-16

원문 초록

The weather and climate domains are undergoing a significant transformation thanks to advances in AI-based foundation models such as FourCastNet, GraphCast, ClimaX and Pangu-Weather. While these models show considerable potential, they are not ready yet for operational use in weather forecasting or climate prediction. This is due to the lack of a data assimilation method as part of their workflow to enable the assimilation of incoming Earth system observations in real time. This limitation affects their effectiveness in predicting complex atmospheric phenomena such as tropical cyclones and atmospheric rivers. To overcome these obstacles, we introduce a generic real-time data assimilation framework and demonstrate its end-to-end performance on the Frontier supercomputer. This framework comprises two primary modules: an ensemble score filter (EnSF), which significantly outperforms the state-of-the-art data assimilation method, namely, the Local Ensemble Transform Kalman Filter (LETKF); and a vision transformer-based surrogate capable of real-time adaptation through the integration of observational data. The ViT surrogate can represent either physics-based models or AI-based foundation models. We demonstrate both the strong and weak scaling of our framework up to 1024 GPUs on the Exascale supercomputer, Frontier. Our results not only illustrate the framework's exceptional scalability on high-performance computing systems, but also demonstrate the importance of supercomputers in real-time data assimilation for weather and climate predictions. Even though the proposed framework is tested only on a benchmark surface quasi-geostrophic (SQG) turbulence system, it has the potential to be combined with existing AI-based foundation models, making it suitable for future operational implementations.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2406.14399v4cs.LG공통 태그 Weather Forecasting공식 코드 · Papers with Code

운용 전 지구 관측소 기상 예측을 위한 물리 정보 기반 시계열 모델 벤치마킹

Benchmarking Physics-Informed Time-Series Models for Operational Global Station Weather Forecasting

시계열 예측(TSF) 모델의 개발은 종종 포괄적인 데이터셋의 부족으로 제약받습니다. 특히 전 지구 관측소 기상 예측(GSWF)에서는 기존 데이터셋이 규모가 작고, 시간적으로 짧으며, 공간적으로 희소합니다. 이를 해결하기 위해, 우리는 실제 상황을 더 잘 반영하는 대규모 관측 기상 데이터셋인 WEATHER-5K를 소개하며, 이는 개선된 모델 학습과 평가를 지원합니다. 최근 TSF 방법들은 벤치마크에서 좋은 성능을 보이지만, 복잡한 기상 역학과 극한 사건을 포착하는 데 있어 운용 수치 기상 예측 시스템보다 뒤처집니다. 우리는 미래의 기상 상태를 예측하기 위해 동적 코어와 트랜스포머 잔차를 결합한 물리 정보 기반 예측 모델인 PhysicsFormer를 제안합니다. 기압-바람 정렬과 에너지 인식 평활화 손실을 통해 물리적 일관성을 강제하여, 복잡한 시간적 패턴을 포착하면서 타당한 역학을 보장합니다. 우리는 여러 기상 변수, 극한 사건 예측, 모델 복잡도에 걸쳐 PhysicsFormer와 다른 TSF 모델을 운용 시스템과 비교 벤치마킹하여, 학계 TSF 모델과 운용 예측 간의 격차에 대한 포괄적인 평가를 제공합니다. 데이터셋과 벤치마크 구현은 다음에서 확인할 수 있습니다: https://github.com/taohan10200/WEATHER-5K.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.