기후 모델에서 강제력이 기온에 미치는 영향에 대한 계층적 인과 표상 학습
Learning Hierarchical Causal Representations of the Effects of Forcings on Temperature in Climate Models
한국어 초록
머신러닝(ML) 에뮬레이터는 지구 시스템 모델(Earth System Models) 예측을 기반으로 학습(training)된 후 기후 변화 시나리오를 시뮬레이션할 수 있는 빠르고 비용 효율적인 방법을 제공합니다. 그러나 이러한 데이터 주도적 접근 방식의 블랙박스 특성은 출력값의 사용성과 신뢰성을 제한하며, 특히 인과적 귀인(causal attribution) 도구로서의 활용을 제한합니다. 본 연구에서는 최첨단 전지구 기후 모델의 해수면 온도 장에 적용되는 계층적 인과 표상 학습(hierarchical causal representation learning) 프레임워크를 개발합니다. 이전 연구 대비 주요 진보로서, 본 프레임워크는 내부 기후 변동성에서 발생하는 대기 역학적 상호작용과 대기 중 온실가스 및 에어로졸 농도 변화로 인한 강제 반응(forced responses)을 모두 명시적으로 모델링합니다. 미래 기후 변화 시나리오로 학습했을 때, 본 방법은 장기 전지구 평균 및 지역 기온 변화를 정확하게 예측하며, 미확인 시나리오에 대해 평가(evaluation)했을 때 온실가스 및 에어로졸 농도 섭동에 대해 물리적으로 현실적인 반응을 보여줍니다. 본 연구 결과는 기후 모델 에뮬레이션을 발전시키는 데 있어 인과 표상 학습 프레임워크의 잠재력을 강조합니다.
원문 초록
Machine learning (ML) emulators provide a fast and cost-effective method to simulate climate change scenarios after being trained on Earth System Models projections. However, the black-box nature of those data-driven approaches limit the usability and trustworthiness of their outputs and in particular their use as causal attribution tools. Here, we develop a hierarchical causal representation learning framework applied to sea surface temperature fields from a state-of-the-art global climate model. As a key advance over previous work, our framework explicitly models both atmospheric dynamical interactions arising from internal climate variability and forced responses due to changes in atmospheric greenhouse gas and aerosol concentrations. When trained on future climate change scenarios, our method accurately predicts the long-term global mean and regional temperature evolution and shows physically realistic responses to perturbations in greenhouse gas and aerosol concentrations when evaluated on unseen scenarios. Our results underline the potential of causal representation learning frameworks for advancing climate model emulation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
삭제가 아닌 은닉: 네트워크가 얽힌 특징을 억제하는 방식
Hidden not Deleted: How Networks Suppress Entangled Features
기하학 기반 소프트 상태 추상화의 예측 한계 및 쿱만 폐포
Prediction Limits and Koopman Closure of Geometry-Induced Soft State Abstractions
소프트 상태 표현(soft state representation)은 각 상태에 합이 1인 음이 아닌 클래스 가중치 벡터를 할당합니다. 본 연구에서는 이러한 가중치의 구성과 상태 동역학이 선형 예측의 정확도를 어떻게 공동으로 결정하는지 조사합니다. 고정된 임의의 가측 표현(measurable representation)에 대해, 지정된 스펙트럼 노름(spectral norm) 한계를 가진 행렬들 중 모집단 최소 평균 제곱근 예측 오차에 대한 유한 표본 신뢰 하한을 유도합니다. 이 한계는 각 참조 클래스 내 후속 좌표의 변동과 소프트 입력이 제공할 수 있는 개선 정도를 비교합니다. 또한 예측 행렬을 적합하지 않고도 독립적인 평가 쌍으로부터 계산됩니다. 선택된 허용 오차를 초과하는 한계는 해당 행렬 클래스 전체에 대해 그 허용 오차를 배제하며, 0인 한계는 결론을 내릴 수 없음을 의미합니다. 커널 아핀 헐 머신(Kernel Affine Hull Machines)을 사용하여 구성된 좌표의 경우, 재구성 점수 마진이 참조 라벨과의 불일치를 제어하며 예측 오차 한계에 반영됩니다. 정확한 결정론적 선형 진화 하에서, 잉여 계수 벡터를 고려하여 쿱만(Koopman) 및 재생핵 힐베르트 공간(RKHS) 수반 해석도 확립합니다. 4개 상태 연구에서는 보고된 117,000개의 복제 데이터셋에 걸쳐 신뢰 하한을 해석적으로 알려진 최적값과 비교합니다. 그런 다음 파일럿 데이터에서 선택된 반데르폴(Van der Pol) 표현을 두 가지 전이 법칙 각각에 대해 32개의 독립적인 데이터셋에서 평가합니다. 보고된 한계는 적합된 행렬 노름에서는 양수이지만, 더 큰 노름 한계에서는 0이 될 수 있습니다. 추가적인 예측 연구를 통해 좌표 변동, 공통 예측 목표, 장기 시계(long-horizon) 오차를 검토합니다. 이러한 결과는 재구성 클래스와의 일치도, 달성 가능한 예측 정확도, 정확한 연산자 폐포(operator closure)를 구별합니다.
MACTS-EM: 창발적 메모리를 활용한 다중 에이전트 협업 시계열 예측
MACTS-EM: Multi-Agent Collaborative Time Series Forecasting with Emergent Memory
시계열 예측(time series forecasting)은 여러 분야에서 여전히 중요한 과제로 남아 있다. 상당한 발전이 있었음에도, 기존 접근법들은 체제 전환(regime shift), 도메인 간 지식 전이, 멀티모달 데이터 통합과 같은 복잡한 현상을 다루는 데 어려움을 겪는다. 본 논문은 전문화된 에이전트들이 협업하여 우수한 예측 성능을 달성하는 새로운 프레임워크인 창발적 메모리를 활용한 다중 에이전트 협업 시계열 예측(Multi-Agent Collaborative Time Series Forecasting with Emergent Memory, MACTS-EM)을 소개한다. MACTS-EM 아키텍처는 다음을 통합한다: (1) 패턴 인식, 이상 탐지, 인과 추론, 불확실성 정량화를 위한 도메인 특화 예측 에이전트; (2) 동적 에이전트 할당을 위한 메타인지 층(meta-cognitive layer); (3) 도메인 간 패턴 전이를 가능하게 하는 창발적 메모리 메커니즘; (4) 멀티모달 맥락 통합; (5) 적대적 강건성(adversarial robustness) 구성 요소. 금융 시장, 기후 패턴, 에너지 소비, 전염병 확산에 대한 평가 결과, MACTS-EM은 대부분의 시나리오에서 기존 접근법을 능가하며, 예측 정확도에서 8-12%의 향상, 제로샷 전이 능력에서 22-27%의 개선, 체제 전환 시 복원력에서 16-21%의 강화, 분포 변화 이후 회복 속도에서 15-18%의 향상을 보였다. 본 연구 결과는 시계열 예측에 대한 협업적이고 에이전트 기반(agentic)인 접근법이 전통적인 아키텍처를 넘어서는 유망한 방향임을 시사하며, 다중 해상도의 시간적 이해와 맥락적 적응을 요구하는 복잡한 실세계 시나리오에서 특히 그렇다.
인과성이 의미론적 간극을 메우는 방법
How Causality Bridges the Semantic Gap
수치적 측정값은 시스템이 어떻게 동작하는지 포착하지만, 변수의 의미를 명시하지 않은 채 남겨두는 경우가 많습니다. 어떤 변수는 측정되지만 이름이 전혀 붙지 않으며, 어떤 변수는 전혀 측정되지 않기도 합니다. 기존 방법들은 일반적인 인간 지식을 참조하여 이러한 변수에 의미를 부여하지만, 이는 지식이 존재하는 영역에서는 지식의 바이어스(bias)를 그대로 물려받고, 지식이 존재하지 않는 영역에서는 아무런 정보도 제공하지 못합니다. 본 연구에서는 대신 인과 구조(causal structure)를 통해 측정값과 의미 사이의 이러한 간극을 메우며, 한 변수가 다른 변수에 어떻게 작용하는지로부터 해당 변수의 의미를 파악합니다. 이를 구조 제약 의미 정렬(structure-constrained semantic alignment)로 공식화하여, 알려진 소수의 이름을 앵커로 삼고 인과 그래프가 함의하는 의존 관계 하에서 이름 없는 각 변수의 임베딩(embedding)을 도출합니다. 이에 따라 측정값으로부터 잠재 변수를 포함한 인과 그래프를 발견하고, 해당 관계 하에서 임베딩을 도출하며, 언어 모델(language model)을 통해 이를 이름으로 표현하는 프레임워크인 CausalBridge를 구축합니다. 인과 구조는 측정값을 생성한 메커니즘을 반영하며 측정값만으로 복원되므로, 인간 지식의 바이어스로부터 자유로운 유일한 정보 원천이 될 수 있습니다. 20%에서 90%의 변수 이름이 마스킹된 5개의 설문조사와 3개의 로보틱스 시나리오에서 CausalBridge를 평가합니다. 이 프레임워크는 연관성(association)에 의존하는 기존 방법보다 관측 변수와 잠재 변수의 의미를 더 정확하게 복원하며, 시스템에 대한 문서화가 덜 되어 있을수록 성능 격차는 더 벌어집니다. 프레임워크가 발견한 그래프는 문서화된 그래프만큼 정확하게 변수 이름을 지정하며, 새로운 시스템의 이름 부여는 몇 분 만에 샘플링 방법 대비 극히 일부의 비용으로 수행됩니다. 의미론적 간극이 충실하게 메워지면, 기계는 세상을 이해하고 인과적으로 행동을 취할 수 있습니다.
시계열 월드 모델에서 정확도와 메커니즘 일관성의 괴리에 대하여
On the Divergence of Accuracy and Mechanism Consistency in Time Series World Models
시계열 월드 모델(TSWM)은 제어 대상 시스템의 관측된 과거 이력과 계획된 행동 및 외생적 입력을 바탕으로 시스템의 상태를 예측한다. 기존 접근법들은 행동을 공변량으로 취급하는 예측 모델을 구축하며, 실행된 계획 하에서의 예측 오차를 기준으로 학습되고 평가된다. 그러나 월드 모델은 실행되지 않은 계획들을 비교해야 함에도 불구하고, 변경된 계획에 대한 모델의 반응은 아직 검증되지 않은 상태로 남아 있다. 본 연구에서는 어떠한 설계 선택이 중요하며, 정확한 예측 모델이 실제 시스템처럼 변경된 계획에 반응하는지 묻는다. 우리는 정형화(formalization)와 벤치마크를 통해 두 질문을 모두 다룬다. 정형화 과정에서는 상태, 행동, 외생적 입력을 분리하고, 연속형·모드형·이벤트형 행동을 구분하며, 혈관수축제가 혈압을 상승시키는 것과 같이 방향성이 알려진 선언된 행동-상태 관계를 기반으로 구축된 지표인 메커니즘 일관성(mechanism consistency)을 도입한다. 이는 행동을 변화시켰을 때 예측 결과가 선언된 방향으로 움직이는지를 점검한다. 벤치마크는 공학 인프라 및 임상 치료 분야의 실제 행동을 포함하는 8개의 공개 데이터셋을 통합하고, 7개의 백본과 5개의 시드에 걸쳐 예측 공간, 계획 융합(plan fusion), 계획 인코딩을 다양하게 변화시킨다. 첫째, 동결된 잠재 예측 공간은 관측 공간 대비 평균 절대 오차(MAE)를 평균 9.9% 낮추고, 게이트 출력 융합은 입력 연결 대비 MAE를 평균 12.7% 낮추며, 두 방식 모두 8개 데이터셋 전체에서 성능을 개선한다. 반면 시간적 계획 인코딩에 따른 평균 MAE 변화는 최대 2.2%에 불과하다. 둘째, 예측 오차와 메커니즘 일관성은 서로 괴리를 보인다. 오차가 가장 낮은 구성조차 선언된 메커니즘이 있는 5개 데이터셋 중 4개에서 일관성이 무작위 수준(chance) 이하에 머물렀으며, 어떠한 설계 선택으로도 이를 피할 수 없었다. 마지막으로, 변화된 행동에 대한 반응 중 잘못된 부호(wrong-signed)를 갖는 부분에 페널티를 부여하는 손실 함수인 방향성 지도(directional supervision)는 MAE의 변화 없이 페널티가 적용된 메커니즘의 일관성을 크게 향상시킨다. 종합하면, 본 연구는 정확도를 위한 동결된 잠재 공간 및 출력단 융합, 그리고 메커니즘 일관성을 위한 학습 목표라는 TSWM을 위한 레시피를 제공한다.
미분 가능한 가우시안 표현을 통한 집단 동역학 학습
Learning Collective Dynamics with Differentiable Gaussian Representations
집단적 반응은 개인차, 접촉 기회, 그리고 누적된 경험에 따라 달라집니다. 총합된 집계 카운트로부터 이러한 동역학을 학습하려면 집단의 반응 분포를 현재 관측치 및 미래 행동 모두와 연결해야 합니다. 본 논문에서는 세 가지 구성 요소를 통해 이러한 연결을 학습하는 Differentiable Gaussian Dynamics(DGD)를 소개합니다. 이는 이질적인 반응 성향을 나타내는 가우시안 혼합(Gaussian mixture), 접촉 강도 및 행동 확률의 미분 가능한 집계, 그리고 후속 반응을 업데이트하는 피드백 순환입니다. 재매개변수화된 적분과 시간적 순환을 통해 집계된 예측 오차가 분포, 관측 함수, 피드백 파라미터를 공동으로 학습(training)할 수 있게 합니다. KuaiRand-Pure 및 Online Retail II의 4개 윈도우에서 DGD는 결합 행동 헤드를 갖춘 DeepAR 변형보다 더 낮은 결합 행동 음의 로그 가능도(negative log-likelihood)를 달성합니다. Retail 2010에서 DGD의 1일 행동 카운트 MAE는 해당 변형의 6.88 대비 4.71입니다. KuaiRand의 표준 추천 윈도우에서 분포를 학습하면 고정된 가우시안 대비 행동 음의 로그 가능도가 10.82% 감소하며, 통제된 실험에서 피드백 동역학을 제거하면 결합 KL이 0.0340에서 0.2577로 증가합니다. 이러한 결과는 집계된 관측치로부터 집단 표현과 그 피드백 과정을 학습하는 것의 가치를 입증합니다. 코드는 https://github.com/OranAi-Ltd/oransim 에서 이용할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.