WeatherFormer: Empowering Global Numerical Weather Forecasting with Space-Time Transformer
원문 초록
Numerical Weather Prediction (NWP) system is an infrastructure that exerts considerable impacts on modern society.Traditional NWP system, however, resolves it by solving complex partial differential equations with a huge computing cluster, resulting in tons of carbon emission. Exploring efficient and eco-friendly solutions for NWP attracts interest from Artificial Intelligence (AI) and earth science communities. To narrow the performance gap between the AI-based methods and physic predictor, this work proposes a new transformer-based NWP framework, termed as WeatherFormer, to model the complex spatio-temporal atmosphere dynamics and empowering the capability of data-driven NWP. WeatherFormer innovatively introduces the space-time factorized transformer blocks to decrease the parameters and memory consumption, in which Position-aware Adaptive Fourier Neural Operator (PAFNO) is proposed for location sensible token mixing. Besides, two data augmentation strategies are utilized to boost the performance and decrease training consumption. Extensive experiments on WeatherBench dataset show WeatherFormer achieves superior performance over existing deep learning methods and further approaches the most advanced physical model.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Coachable Agents for Interactive Gameplay
VIGOR: 모델 기반 강화학습에서 잠재 공간 일관성을 통한 제로샷 시각적 일반화
VIGOR: Zero-Shot Visual Generalization via Latent-Space Consistency in Model-Based Reinforcement Learning
Otter Weather: 숙련되고 계산 효율적인 중기 기상 예측
Otter Weather: Skillful and Computationally Efficient Medium-Range Weather Forecasting
Ocular Verification for Virtual Reality
도메인 적응형 사전학습 및 데이터 증강 접근법을 활용한 강건한 마라티어 감성 분석
Robust Marathi Sentiment Analysis using Domain-Adaptive Pre-training and Data Augmentation Approaches
자원이 부족한 언어의 경우, 주석이 달린 데이터의 부족과 텍스트 출처 전반에 걸친 강한 도메인 가변성으로 인해 감성 분석(Sentiment Analysis)이 여전히 까다로운 문제로 남아 있습니다. 마라티어(Marathi)는 널리 사용되는 언어임에도 불구하고 포괄적인 다중 도메인 감성 분석 연구가 부족합니다. 최근 L3Cube의 연구를 통해 마라티어 다중 도메인 데이터셋이 도입되면서 도메인을 고려한 감성 분류 연구가 더욱 원활해졌습니다. 본 연구에서는 사전학습된 MahaBERT 모델을 사용하여 서로 다른 도메인에 걸친 마라티어 감성 분류 성능을 개선합니다. 각 개별 도메인 데이터셋으로 모델을 학습(training)하고 마스크 언어 모델링(masked language modeling)을 활용한 도메인 적응형 사전학습(domain-adaptive pretraining)을 적용하여 모델이 도메인 특화 언어를 더 잘 이해하도록 지원합니다. 또한, 학습 데이터의 다양성을 높이기 위한 데이터 증강(data augmentation) 기법으로 역번역(back-translation)을 활용합니다. 실험 결과, 이러한 방법들이 모든 도메인에서 일관된 정확도 향상으로 이어짐을 보여줍니다. 성능 향상 폭은 데이터셋에 따라 최소 약 0.12%에서 최대 약 1.74%에 이릅니다. 이러한 결과는 도메인 적응형 사전학습과 데이터 증강이 감성 분석 모델 개선에 효과적인 전략임을 입증합니다. 이는 서로 다른 도메인 전반에서 더욱 강건한 성능을 달성하는 데 기여하며, 마라티어와 같은 저자원 언어에 이 접근 방식을 더욱 적합하게 만듭니다.
LURE: 단계별로 라벨링된 온라인 그루밍 대화 합성 코퍼스
LURE: a Phase-Labelled Synthetic Corpus of Online-Grooming Exchanges
단계 주석이 달린 대화형 데이터는 미성년자 대상 온라인 그루밍(online grooming)의 진행 과정을 연구하고 조기 경보 도구를 개발하는 데 필수적입니다. 그러나 공개적으로 접근 가능한 유일한 출처인 Perverted-Justice 아카이브(ChatCoder를 사용해 코딩된 부분집합 포함)는 규모가 작고, 오래되었으며, 추가 업데이트가 중단된 상태입니다. 본 연구에서는 기관 내 하드웨어에서 실행되는 검색-증강 파이프라인을 사용해 생성한 그루머-피해자 대화 합성 코퍼스를 제시합니다. 이 파이프라인은 공개적으로 사용 가능한 80억 개 매개변수(parameter) 규모의 거부 완화(refusal-ablated) 언어 모델(language model)을 활용합니다. 해당 코퍼스는 합성 데이터셋을 위한 책임 있는 생성 프로토콜의 5단계를 따라 구축되었습니다: ChatCoder 유인 소통 체계 기반의 온톨로지 주도 설계(4개 그루밍 단계에 매핑된 8개 소통 태그), 다중 모델 프롬프트(prompt) 테스트, 인간 참여형(human-in-the-loop) 감독, 의미 및 특징(feature) 수준의 검증(validation), 모달리티 인식 문서화. 공개된 코퍼스는 7개 태그와 4개 단계에 걸친 2,121개의 고유한 대화로 구성되며, 각각 플루치크(Plutchik) 감정 필드가 함께 제공됩니다. 검증을 통해 코퍼스의 무결성과 어휘 프로파일뿐만 아니라 실제 시드 대화의 재현 여부, 도메인 내 레이블 복원력(태그 정확도: 0.85, 단계 정확도: 0.93), 그리고 8개 태그 수준에서 자동 코딩된 대화(31,640행) 및 3개 구성 개념 수준에서 인간 코더가 코딩한 대화(10,876개 게시글)인 실제 ChatCoder 가해자 대화로의 전이 능력을 정량화했습니다. 어휘 및 문장 임베딩(embedding) 특징에 대해 정확도를 측정했으며, 실제-합성 판별기(discriminator)는 두 도메인을 91%의 정확도로 구분할 수 있었습니다. 본 코퍼스의 활용 범위에는 통제된 단계 조건부 실험, 파이프라인 개발, 실제 데이터 및 인식 제고 자료와 병행한 데이터 증강이 포함됩니다. 코퍼스와 데이터시트, 감사 코드는 심사를 거친 접근 권한 하에 공개됩니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.