arXiv:2407.11696

Global atmospheric data assimilation with multi-modal masked autoencoders

Thomas J. Vandal, Kate Duffy, Daniel McDuff, Yoni Nachmany, Chris Hartshorn

제출 2024-07-16

원문 초록

Global data assimilation enables weather forecasting at all scales and provides valuable data for studying the Earth system. However, the computational demands of physics-based algorithms used in operational systems limits the volume and diversity of observations that are assimilated. Here, we present "EarthNet", a multi-modal foundation model for data assimilation that learns to predict a global gap-filled atmospheric state solely from satellite observations. EarthNet is trained as a masked autoencoder that ingests a 12 hour sequence of observations and learns to fill missing data from other sensors. We show that EarthNet performs a form of data assimilation producing a global 0.16 degree reanalysis dataset of 3D atmospheric temperature and humidity at a fraction of the time compared to operational systems. It is shown that the resulting reanalysis dataset reproduces climatology by evaluating a 1 hour forecast background state against observations. We also show that our 3D humidity predictions outperform MERRA-2 and ERA5 reanalyses by 10% to 60% between the middle troposphere and lower stratosphere (5 to 20 km altitude) and our 3D temperature and humidity are statistically equivalent to the Microwave integrated Retrieval System (MiRS) observations at nearly every level of the atmosphere. Our results indicate significant promise in using EarthNet for high-frequency data assimilation and global weather forecasting.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2406.14399v4cs.LG공통 태그 Weather Forecasting공식 코드 · Papers with Code

운용 전 지구 관측소 기상 예측을 위한 물리 정보 기반 시계열 모델 벤치마킹

Benchmarking Physics-Informed Time-Series Models for Operational Global Station Weather Forecasting

시계열 예측(TSF) 모델의 개발은 종종 포괄적인 데이터셋의 부족으로 제약받습니다. 특히 전 지구 관측소 기상 예측(GSWF)에서는 기존 데이터셋이 규모가 작고, 시간적으로 짧으며, 공간적으로 희소합니다. 이를 해결하기 위해, 우리는 실제 상황을 더 잘 반영하는 대규모 관측 기상 데이터셋인 WEATHER-5K를 소개하며, 이는 개선된 모델 학습과 평가를 지원합니다. 최근 TSF 방법들은 벤치마크에서 좋은 성능을 보이지만, 복잡한 기상 역학과 극한 사건을 포착하는 데 있어 운용 수치 기상 예측 시스템보다 뒤처집니다. 우리는 미래의 기상 상태를 예측하기 위해 동적 코어와 트랜스포머 잔차를 결합한 물리 정보 기반 예측 모델인 PhysicsFormer를 제안합니다. 기압-바람 정렬과 에너지 인식 평활화 손실을 통해 물리적 일관성을 강제하여, 복잡한 시간적 패턴을 포착하면서 타당한 역학을 보장합니다. 우리는 여러 기상 변수, 극한 사건 예측, 모델 복잡도에 걸쳐 PhysicsFormer와 다른 TSF 모델을 운용 시스템과 비교 벤치마킹하여, 학계 TSF 모델과 운용 예측 간의 격차에 대한 포괄적인 평가를 제공합니다. 데이터셋과 벤치마크 구현은 다음에서 확인할 수 있습니다: https://github.com/taohan10200/WEATHER-5K.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.