Causal Deciphering and Inpainting in Spatio-Temporal Dynamics via Diffusion Model
원문 초록
Spatio-temporal (ST) prediction has garnered a De facto attention in earth sciences, such as meteorological prediction, human mobility perception. However, the scarcity of data coupled with the high expenses involved in sensor deployment results in notable data imbalances. Furthermore, models that are excessively customized and devoid of causal connections further undermine the generalizability and interpretability. To this end, we establish a causal framework for ST predictions, termed CaPaint, which targets to identify causal regions in data and endow model with causal reasoning ability in a two-stage process. Going beyond this process, we utilize the back-door adjustment to specifically address the sub-regions identified as non-causal in the upstream phase. Specifically, we employ a novel image inpainting technique. By using a fine-tuned unconditional Diffusion Probabilistic Model (DDPM) as the generative prior, we in-fill the masks defined as environmental parts, offering the possibility of reliable extrapolation for potential data distributions. CaPaint overcomes the high complexity dilemma of optimal ST causal discovery models by reducing the data generation complexity from exponential to quasi-linear levels. Extensive experiments conducted on five real-world ST benchmarks demonstrate that integrating the CaPaint concept allows models to achieve improvements ranging from 4.3% to 77.3%. Moreover, compared to traditional mainstream ST augmenters, CaPaint underscores the potential of diffusion models in ST enhancement, offering a novel paradigm for this field. Our project is available at https://anonymous.4open.science/r/12345-DFCC.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
잠재 변수를 가진 인과 구조의 관측적 부분 순서
The observational partial order of causal structures with latent variables
동일한 가시 변수(visible variable) 집합을 갖는 두 인과 구조에 대해, 첫 번째 구조로 실현 가능한 가시 변수 상의 분포 집합이 두 번째 구조로 실현 가능한 가시 변수 상의 분포 집합을 포함하면, 첫 번째 구조가 두 번째 구조를 관측적으로 지배(observationally dominate)한다고 한다. 이러한 지배 관계를 알면 관측 데이터가 주어졌을 때 이들 구조 중 어느 것이 적합한지 판별하는 데 유용하다. 본 연구에서는 잠재 변수(latent variable)를 가진 인과 구조의 동치류(equivalence class)들이 관측적 지배 관계에 대해 이루는 부분 순서를 결정하는 문제를 다룬다. 가시 변수가 세 개인 경우에는 지배 순서를 완전하게 규명하였고, 가시 변수가 네 개인 경우에는 부분적으로 규명하였다. 또한 우리의 기법은 어떤 관측적 동치류가 벨 부등식(Bell inequalities) 및 도구 부등식(instrumental inequalities)과 유사한 비자명한(nontrivial) 부등식 제약으로 실현 가능한 분포 집합이 특징지어지는지를 식별하는 데에도 도움이 된다. 가시 변수의 수가 늘어날수록 비자명한 부등식 제약을 만족하는 동치류가 어디에나 존재하게 된다는 증거를 발견하였다. (이러한 동치류는 양자적으로 실현 가능한 분포와 고전적으로 실현 가능한 분포 사이에 차이가 있을 수 있는 경우이므로, 이는 양자-고전 간극(quantum-classical gap)이 존재할 가능성 또한 어디에나 있음을 시사한다.) 나아가, 조건부 독립 제약에만 의존하는 제약 기반 인과 발견(causal discovery) 알고리즘은, 이를 넘어서는 알고리즘(즉, 중첩 마르코프(nested Markov) 제약과 부등식 제약도 함께 활용하는 알고리즘)에 비해 관측적 동치류를 구별하는 능력이 상당히 약하다는 증거도 발견하였다.
일반화 최소제곱법 기반 커널화 텐서 분해
Generalized Least Squares Kernelized Tensor Factorization
불완전한 다차원 텐서 구조 데이터를 복원하는 것은 많은 실제 응용에서 근본적인 과제이다. 평활성 제약 저순위 텐서 분해는 전역 및 장거리 상관관계를 효과적으로 포착하지만, 짧은 스케일, 고주파, 또는 국소적으로 변하는 구조를 특성화하는 데 종종 어려움을 겪는다. 본 연구는 다차원 시공간 데이터 완성을 위해 보완적인 일반화 최소제곱법 기반 커널화 텐서 분해(Generalized Least Squares Kernelized Tensor Factorization, GLSKF) 프레임워크를 제안한다. GLSKF는 GLS(Generalized Least Squares) 목적 함수 하에서 공분산 정규화된 저순위 전역 성분과 명시적으로 모델링된 국소 상관 잔차 성분을 가산적으로 통합하여, 전역 의존성과 국소적 변화를 모두 효과적으로 모델링할 수 있게 한다. 공분산 노름 정규화기는 두 성분 모두에서 시공간 의존성을 인코딩한다. 전역 분해에서 평활성을 강제하기 위해 잠재 인자 열에 구조화된 공분산이 부과되며, 반면 잔차의 국소 상관관계를 모델링하기 위해 컴팩트 지지(compactly supported) 희소 커널이 사용된다. 결측 데이터 하에서 공분산 행렬의 크로네커(Kronecker) 구조를 활용하고 빠른 공액 그래디언트(conjugate gradient) 해법을 용이하게 하는 블록 단위 선형계 업데이트를 갖춘 교대 최소제곱법(alternating least squares) 알고리즘을 개발한다. 효율적인 행렬-벡터 곱을 위해 국소 잔차 공분산 행렬의 희소성과 토플리츠(Toeplitz) 구조를 활용함으로써 추가적인 계산 이득을 얻는다. GLSKF를 네 가지 실제 다차원 데이터 완성 과제—교통 속도 대치, 컬러 이미지 완성, 디지털 영상 복원, MRI 데이터 재구성—에서 평가한다. 실험 결과는 GLSKF가 다양한 텐서 완성 과제에서 우수한 재구성 성능과 유리한 확장성을 달성함을 보여주며, 다차원 데이터 완성에 대한 광범위한 적용 가능성을 뒷받침한다.
Paths to Causality: Finding Informative Subgraphs Within Knowledge Graphs for Knowledge-Based Causal Discovery
Permutation-Free High-Order Interaction Tests
TimeGraph: Synthetic Benchmark Datasets for Robust Time-Series Causal Discovery
Generating Hypotheses of Dynamic Causal Graphs in Neuroscience: Leveraging Generative Factor Models of Observed Time Series
토론
이 논문과 연결된 포럼 글이 아직 없습니다.