ClimateLLM: Efficient Weather Forecasting via Frequency-Aware Large Language Models
원문 초록
Weather forecasting is crucial for public safety, disaster prevention and mitigation, agricultural production, and energy management, with global relevance. Although deep learning has significantly advanced weather prediction, current methods face critical limitations: (i) they often struggle to capture both dynamic temporal dependencies and short-term abrupt changes, making extreme weather modeling difficult; (ii) they incur high computational costs due to extensive training and resource requirements; (iii) they have limited adaptability to multi-scale frequencies, leading to challenges when separating global trends from local fluctuations. To address these issues, we propose ClimateLLM, a foundation model for weather forecasting. It captures spatiotemporal dependencies via a cross-temporal and cross-spatial collaborative modeling framework that integrates Fourier-based frequency decomposition with Large Language Models (LLMs) to strengthen spatial and temporal modeling. Our framework uses a Mixture-of-Experts (MoE) mechanism that adaptively processes different frequency components, enabling efficient handling of both global signals and localized extreme events. In addition, we introduce a cross-temporal and cross-spatial dynamic prompting mechanism, allowing LLMs to incorporate meteorological patterns across multiple scales effectively. Extensive experiments on real-world datasets show that ClimateLLM outperforms state-of-the-art approaches in accuracy and efficiency, as a scalable solution for global weather forecasting.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
희소 레이어는 루프형 언어 모델의 스케일링에 핵심적이다
Sparse Layers are Critical to Scaling Looped Language Models
루프형 언어 모델은 트랜스포머 레이어 집합을 깊이 방향으로 반복하여 메모리 비용을 줄이고 루프 경계에서 자연스러운 조기 종료 지점을 제공한다. 그러나 루프형 모델은 고유한 레이어를 갖는 표준 트랜스포머만큼 유리하게 스케일링되지 않는다. 우리는 루프 유무에 따라 표준 트랜스포머와 전문가 혼합(MoE) 트랜스포머를 비교하여 두 가지 주요 결과를 얻는다. 첫째, 밀집 루프형 모델은 그렇지 않은 반면 Looped-MoE 모델은 표준 기준 모델보다 더 잘 스케일링됨을 확인한다. 우리는 이를 루프 간 라우팅 발산에서 비롯된 것으로 추적한다. Looped-MoE 모델에서는 동일한 공유 레이어를 통과할 때마다 서로 다른 전문가가 활성화되어, 추가 매개변수 없이 표현력을 회복한다. 둘째, 루프형 모델은 표준 모델보다 조기 종료에서 더 나은 연산-품질 절충을 가진다. 각 루프가 최종 출력을 생성하는 동일한 레이어로 끝나므로 루프 경계는 더 우수한 종료 지점이며, 이는 이 지점에서 출력이 더 일찍 수렴한다는 사실로 확인된다. 요약하면, 우리는 루프형 모델을 스케일링하기 위한 명확한 방향을 제시한다. 조기 종료를 갖춘 Looped-MoE 모델은 대규모에서 표준 트랜스포머를 능가할 수 있을 뿐 아니라, 품질 저하를 최소화하면서 상당한 메모리 및 추론 절감도 가능하게 한다.
대규모 비전-언어 모델에서의 인지 전문가 혼합
Mixture of Cognitive Experts in Large Vision-Language Models
대규모 시각-언어 모델(LVLM)은 시각 입력과 텍스트 입력 모두에 대한 강력한 추론 능력을 필요로 한다. 최근 연구는 인지적 요소, 특히 다양한 표현과 메타인지가 더 나은 성능과 상관관계가 있음을 시사한다. 필요한 지각 기능의 상당수는 이미 도메인 특화 컴퓨터 비전 모델이 제공하고 있으며, 이러한 모델은 객체 탐지, 위치 특정, 상태 추론, 공간 배치 복원, 텍스트 판독을 수행하는 지각 하위 시스템으로 활용될 수 있다. 핵심 과제는 이러한 다중 인코더 전문가들을 신뢰할 수 있고 해석 가능하며 일관된 표현으로 통합하여 검증 가능성을 높이고 환각을 줄이는 것이다. 이는 시각-언어 질문이 서로 다른 인지 수준에 걸쳐 있음에도 대부분의 LVLM 파이프라인이 질의의 요구와 무관하게 동일한 지각-추론 경로를 적용하기 때문에 어렵다. 본 논문은 Bloom에서 착안한 분류 체계를 계층적 추론 프로토콜로 사용하는 증거 기반 멀티모달 추론 프레임워크를 제안한다. 2단계 인지 언어화 과정은 먼저 전문가 출력을 짧고 원자적인 증거 진술로 분해하여 문자적 증거 요약(Literal Evidence Summary)을 생성하고, 이어서 Bloom 언어화(Bloom Verbalization)를 통해 이 항목들을 단계적 추론 흔적으로 변환한다. 경량 추론 흔적 모듈(Reasoning Trace Module)은 이 흔적을 정량적으로 분석하여 증거 사용과 추론 진행을 명시적으로 드러낸다. 실험 결과 지각과 추론 모두에서 향상이 나타났으며, 진단 결과 질의에 따라 서로 다른 인지 진입 수준과 증거 사용 궤적이 유도됨을 확인하였다.
LLM에서의 전문가 격리 및 비활성화를 통한 백도어 억제
Backdoor Containment via Expert Quarantine and Shutdown in LLMs
백도어가 삽입된 대규모 언어 모델(LLM)은 정상 입력에서는 정상적으로 동작하면서 숨겨진 트리거가 주어지면 공격자가 지정한 출력을 생성할 수 있다. 기존 방어 기법은 학습 이전, 학습 중, 학습 이후, 추론 시점의 네 단계에 걸쳐 있으며, 두 가지 기본 전략 중 하나를 공유한다. 하나는 (오염된 데이터를 걸러내거나 최적화 중 그 습득을 차단하여) 백도어 학습을 억제하는 것이고, 다른 하나는 완전히 백도어가 형성된 모델이 만들어진 뒤에 (모델 가중치를 복구하거나 입력을 게이팅하여) 학습한 다음 정화하는 것이다. 우리는 세 번째 전략으로 '학습하되 유도하라(learn, but channel)'를 제안한다. 이는 학습 중 백도어 형성을 허용하되, 이를 배포 시 비활성화할 수 있도록 지정된 격리 구성요소로 유도하는 것이다. 이를 위해 정규화로 유도되는 MoE 유사 환경에서 구축한 계산 효율적 격리 전략인 Quarantined Expert Shutdown(QES)을 제안한다. 구체적으로, 오염된 데이터셋이 주어지면 QES는 Transformer 기반 언어 모델에 라우팅되는 전문가별 LoRA 분기와 경량 라우터를 추가하고, 보조 라우팅 목표를 사용하여 트리거 조건부 동작을 지정된 전문가로 끌어들이면서 다른 곳에서는 정상 능력을 보존한다. 배포 시 완화는 격리된 전문가의 라우팅 가중치를 0으로 만드는 상수 시간의 단일 연산으로 귀결되며, 트리거 검사나 추가 가중치 업데이트가 필요하지 않다. 실험적으로 우리의 방법은 두 가지 과제, 세 가지 공격, 네 가지 모델 계열에 걸친 대부분의 설정에서 공격 성공률(ASR)을 100%에서 0-10%로 낮추며, 하위 과제 성능은 대체로 보존되거나 소폭만 영향을 받는다. 이러한 결과는 '학습하되 유도하라'가 생성형 LLM의 백도어 격리에서 이전에 탐구되지 않은 체제임을 확립한다.
Otter Weather: 숙련되고 계산 효율적인 중기 기상 예측
Otter Weather: Skillful and Computationally Efficient Medium-Range Weather Forecasting
최첨단 중기 AI 기상 모델은 기존의 수치 기상 예측(NWP)을 능가할 수 있으나 막대한 학습 예산을 필요로 한다. 이는 자원이 부족한 집단의 사용을 제한하고 빠른 모델 반복을 심각하게 저해한다. 여기서 우리는 AI를 통한 고성능 기상 예측을 대중화하도록 설계된 고효율 시공간 예측 모델인 Otter Weather를 개발한다. 표준 WeatherBench 프로토콜을 사용하여 1.5° 해상도의 ERA5 재분석 데이터로 평가한 결과, Otter 계열은 성능-연산 파레토 경계를 크게 진전시킨다. 결정론적 버전은 24시간 예보 시차에서 최고의 NWP 기준선을 9.6% 능가하면서 학습에 3.5 A100-일 미만이 필요하다. 이는 경량 AI 모델 대비 2배의 효율 향상을, 자원 집약적인 최첨단 아키텍처 대비 100배의 연산 감소를 제공한다. 우리는 연속 순위 확률 점수(CRPS)를 통한 학습으로 이러한 효율 향상을 확률 예측으로 확장한다. 더 큰 아키텍처로 확장한 Otter-XL은 IFS ENS 기준선 대비 9.7%의 CRPS 개선을 달성한다. 이는 유사한 연산 예산에서 비교 가능한 경량 모델 대비 예측 성능이 거의 두 배 증가함을 의미한다. Otter-XL은 또한 GenCast와 같은 최첨단 아키텍처를 2% 이상 능가하면서 연산은 한 자릿수 적게 사용한다. 마지막으로 Otter를 복잡한 음향 산란 PDE 과제에 그대로 적용하면 최첨단 파운데이션 모델링 접근법을 능가하며, 이는 여기서 이룬 진전이 다양한 과학 분야에 적용될 수 있음을 시사한다.
지속적 모션-언어 에이전트를 향하여: 점진적 모션 이해 및 생성을 위한 LoRA 변형
Towards Continual Motion-Language Agents: LoRA Variants for Incremental Motion Understanding and Generation
모션-언어 에이전트는 인간 동작을 이해하는 방향(모션-텍스트, M2T)과 자연어로부터 동작을 생성하는 방향(텍스트-모션, T2M) 모두에서 양방향 능력을 갖추어야 한다. 기반 모델들이 정적 환경에서 높은 성능을 달성했음에도 불구하고, 동적 환경에서 운용되는 자율 에이전트는 이전에 습득한 기술을 파국적으로 망각하지 않으면서 새로운 운동 스타일이나 특수 제스처와 같은 새로운 모션 개념을 지속적으로 통합해야 한다. 본 연구에서는 순차적 태스크 노출 하에서 양방향 모션-언어 학습의 안정성-가소성 트레이드오프를 조사한다. 고정된 대규모 언어 모델(LLM) 백본을 기반으로, 태스크 간 간섭을 완화하도록 설계된 저랭크 적응(LoRA) 변형을 도입한다. 특히, 추론 시 태스크 레이블 없이 태스크별 전문가를 선택하기 위해 오토인코더 기반 라우터를 활용하는 전문가 혼합(MoE) 아키텍처를 제안한다. 이러한 방법들을 평가하기 위해, 모션 설명의 의미적 클러스터링을 통해 HumanML3D로부터 도출된 재현 가능한 5개 태스크 벤치마크를 구축한다. 실험 결과, M2T 및 T2M 방향 모두에서 높은 생성 및 캡셔닝 품질을 유지하면서 망각이 거의 발생하지 않음을 보인다. 또한, 라우팅을 통한 하드 전문가 선택이 소프트 전문가 혼합보다 품질 지표에서 유의미하게 우수하며, 이는 지속적 학습 환경에서 성능 유지를 위해 전문가 격리 보존이 중요함을 시사한다. 마지막으로, 토큰 수준의 정확도와 다운스트림 생성 품질 간의 괴리가 발생할 수 있음을 관찰하며, 이는 평생 모션-언어 에이전트에 관한 향후 연구에서 보다 포괄적인 평가 프로토콜의 필요성을 부각시킨다.
프로브 혼합(Mixture of Probes): 프로빙을 통한 멀티모달 LLM의 특권 모달리티 학습
Mixture of Probes: Learning from Privileged Modalities in Multimodal LLMs Through Probing
멀티모달 대규모 언어 모델(MLLM)은 일반적으로 학습 중 사용 가능한 모든 모달리티가 추론 시에도 접근 가능하다는 가정 하에 설계됩니다. 그러나 많은 실세계 환경에서는 이 가정이 성립하지 않아, 보조 모달리티가 학습 중에만 제공되는 특권 모달리티(privileged modality) 설정에서 모델이 동작해야 합니다. 이러한 모달리티들은 유용한 정보를 포함하고 있음에도 불구하고, 기존 MLLM은 모달리티를 상호 보완적 감독(supervision)의 원천이 아닌 교환 가능한 입력으로 취급함으로써 이를 효과적으로 활용하는 데 대체로 실패합니다. 우리는 MLLM 내에서 모달리티별 신호와 모달리티 공통 신호를 분리하는 새로운 프레임워크인 프로브 혼합(Mixture of Probes, MoP)을 제안합니다. 이를 통해 모델은 모달리티 의존적 구조를 보존하면서 모달리티 간 전이 가능한 표현을 학습할 수 있습니다. MoP의 핵심은, 기존 MLLM에서와 같이 최종 층 정렬에만 의존하는 대신, 공유 모달리티 인코더의 중간 표현에서 정보를 추출하고 조직하는 구조적 프로빙 메커니즘을 통해 이러한 분리를 달성한다는 점입니다. 이 분리를 지원하기 위해, 프로브 붕괴(probe collapse)를 방지하고 교차 모달리티 학습을 장려하는 프로브 분리 손실을 중심으로 한 MoP의 학습 전략인 MoP 교차 모달리티 학습(MoP Cross-modal Training, MoP-X)을 추가로 도입합니다. 우리는 특권 모달리티 설정에 맞춰진 포괄적인 평가 프로토콜 하에 4가지 모달리티와 8가지 과제에 걸친 두 도메인에서 MoP를 평가하며, 각 모달리티는 추론 시 유일한 입력으로 독립적으로 처리됩니다. MoP는 강력한 MLLM 기준 모델들을 일관되게 능가하여 최대 65%의 상대적 성능 향상을 달성함으로써, 보조 모달리티가 추론 시 사용 불가능하더라도 학습 중 효과적으로 활용될 경우 상당한 성능 향상을 제공할 수 있음을 보여줍니다. 코드, 모델 체크포인트 및 평가 프로토콜은 https://github.com/Sony/MoP에서 공개될 예정입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.