DCD-PFN: 인과 발견을 위한 분리 인식 파운데이션 모델
DCD-PFN: A Decoupling-Aware Foundation Model for Causal Discovery
한국어 초록
인과 발견은 복잡한 데이터 생성 메커니즘을 이해하는 데 핵심적이지만, 전통적인 알고리즘은 고도로 비선형이고 노이즈가 많은 시스템에서 어려움을 겪거나 심각한 계산 병목에 시달리는 경우가 많다. Prior-Data Fitted Networks(PFN)에 기반한 최근의 테이블형 파운데이션 모델은 뛰어난 제로샷 추론 능력을 보여주었지만, 명시적 구조적 인과 발견에 대한 잠재력은 아직 충분히 탐구되지 않았다. 이 격차를 메우기 위해, 우리는 인과 발견을 위한 분리 인식 파운데이션 모델인 DCD-PFN을 제안한다. DCD-PFN은 전역 그래프 재구성을 직접 상환(amortize)하는 대신, 분리 기반 패러다임을 통해 국소 인과 발견에 집중한다. 다양한 합성 구조적 인과 모델(SCM)에 대한 사전학습을 통해, 모델은 Markov 경계(MB) 식별을 가능하게 하는 샘플별 분리 가중치를 학습한다. 더 나아가, 병렬화된 국소 발견을 활용함으로써 DCD-PFN은 분리 기반 인과 발견의 이론적 토대에 기반을 두면서 전역 인과 그래프를 효율적으로 재구성한다. 실험 결과, 우리의 파운데이션 모델은 강건한 제로샷 일반화를 달성함을 보여준다.
원문 초록
Causal discovery is critical for understanding complex data-generating mechanisms, yet traditional algorithms often struggle with highly non-linear and noisy systems, or suffer from severe computational bottlenecks. Recent tabular foundation models based on Prior-Data Fitted Networks (PFNs) have demonstrated remarkable zero-shot inference capabilities, but their potential for explicit structural causal discovery remains underexplored. To bridge this gap, we propose DCD-PFN, a decoupling-aware foundation model for causal discovery. Instead of directly amortizing global graph reconstruction, DCD-PFN focuses on local causal discovery through a decoupling-based paradigm. Through pre-training on diverse synthetic Structural Causal Models (SCMs), the model learns sample-wise decoupling weights that enable Markov boundary (MB) identification. Furthermore, by leveraging parallelized local discovery, DCD-PFN efficiently reconstructs global causal graphs while remaining grounded in the theoretical foundations of decoupling-based causal discovery. Experiments demonstrate that our foundation model achieves robust zero-shot generalization.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.21212v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
조건부 공분산 순서화를 통한 함수적 인과 발견
Functional Causal Discovery via Conditional Covariance Ordering
본 연구는 각 노드가 확률 함수인 설정에서의 인과 발견을 다룬다. 이 주제에 대한 기존 연구는 선형성 또는 비선형성과 같은 구조적 가정, 가우스성 또는 비가우스성과 같은 분포 가정에 의존한다. 이와 달리 우리는 이러한 가정을 피하기 위해 공분산 연산자(covariance operator)를 활용한다. 함수적 가산 노이즈 모델(functional additive noise model) 하에서, 조건부 공분산 연산자의 노름(norm)을 비교하는 것에 기반하여 유효한 위상 순서(topological ordering)를 식별하기 위한 새로운 충분 조건을 제안한다. 이 식별 가능성(identifiability) 조건을 활용하여, 선형 및 비선형 모델을 포괄하는 새로운 혼합 회귀 모델을 개발한다. 변수 선택과 함께, 우리의 절차는 함수 변수(functional variable)에 대한 인과 방향성 비순환 그래프(DAG)의 추정을 산출한다. 이론적으로, 이 회귀 모델에 대한 최소자승(least-squares) 유형 이론을 개발하고, 순서 결정(order determination), 희소 회귀(sparse regression), DAG 식별에 대한 점근적 일치성(asymptotic consistency)을 도출한다. 이산 관측(discrete observation)에 기반한 계산 알고리즘을 제공한다. 시뮬레이션 데이터에 적용했을 때, 우리의 접근법은 기존 방법들 가운데 만족스러운 성능을 보인다. 뇌 유효 연결성(brain effective connectivity)에 대한 실제 데이터 예제도 제시한다.
하나가 다른 하나로 이어진다: 시계열 인과 발견의 핵심 요소
One Thing Leads to Another: The Essentials of Time Series Causal Discovery
시계열 인과 발견(time series causal discovery) --- 시계열들 간의 인과관계를 탐지하는 과정 --- 은 반세기도 더 전의 신호 처리(signal processing) 연구에 그 뿌리를 두고 있다. 이후 이 분야는 활발하고 폭넓은 관심을 받아왔으며, 통계학, 동역학계(dynamical systems), 머신러닝 등 여러 분야에서 서로 다른 형태로 발전해왔다. 이처럼 파편화되어 끊임없이 변화하는 연구 지형에 처음 발을 들이는 것은 부담스러울 수 있다. 본 튜토리얼은 여러 연구 공동체에 걸친 시계열 인과 발견에 대한 통합적인 개요를 제공한다. 우리는 현대의 발견 방법들이 기반으로 삼는 핵심 원리들을 소개하고, 그 한계와 가정들을 논의한다. 또한 발견 방법들이 어떻게 평가, 벤치마크, 파인튜닝(fine-tuning)되는지도 논의한다. 더 나아가 시계열에 대한 인과 발견이 농업 및 지구과학, 헬스케어, 그리고 인공지능 시스템에서의 다운스트림 작업(downstream task)에 어떻게 점점 더 중요해지고 있는지를 논의한다. 우리는 본 튜토리얼이 최근 쏟아지는 인과성(causality) 연구들을 탐색하는 데 유용한 자료가 될 뿐만 아니라, 신호 처리 분야의 독자들이 인과 문제에 기여하도록 초대하는 역할을 할 것이라고 믿는다. 독자들에게 추가적인 도움을 주기 위해, 우리는 유용한 코드 패키지와 자료들을 연결해주는 동반 저장소(companion repository)를 https://github.com/CHAI-UK/Awesome-Time-Series-Causal-Discovery 에서 운영하고 있다.
인과성이 의미론적 간극을 메우는 방법
How Causality Bridges the Semantic Gap
수치적 측정값은 시스템이 어떻게 동작하는지 포착하지만, 변수의 의미를 명시하지 않은 채 남겨두는 경우가 많습니다. 어떤 변수는 측정되지만 이름이 전혀 붙지 않으며, 어떤 변수는 전혀 측정되지 않기도 합니다. 기존 방법들은 일반적인 인간 지식을 참조하여 이러한 변수에 의미를 부여하지만, 이는 지식이 존재하는 영역에서는 지식의 바이어스(bias)를 그대로 물려받고, 지식이 존재하지 않는 영역에서는 아무런 정보도 제공하지 못합니다. 본 연구에서는 대신 인과 구조(causal structure)를 통해 측정값과 의미 사이의 이러한 간극을 메우며, 한 변수가 다른 변수에 어떻게 작용하는지로부터 해당 변수의 의미를 파악합니다. 이를 구조 제약 의미 정렬(structure-constrained semantic alignment)로 공식화하여, 알려진 소수의 이름을 앵커로 삼고 인과 그래프가 함의하는 의존 관계 하에서 이름 없는 각 변수의 임베딩(embedding)을 도출합니다. 이에 따라 측정값으로부터 잠재 변수를 포함한 인과 그래프를 발견하고, 해당 관계 하에서 임베딩을 도출하며, 언어 모델(language model)을 통해 이를 이름으로 표현하는 프레임워크인 CausalBridge를 구축합니다. 인과 구조는 측정값을 생성한 메커니즘을 반영하며 측정값만으로 복원되므로, 인간 지식의 바이어스로부터 자유로운 유일한 정보 원천이 될 수 있습니다. 20%에서 90%의 변수 이름이 마스킹된 5개의 설문조사와 3개의 로보틱스 시나리오에서 CausalBridge를 평가합니다. 이 프레임워크는 연관성(association)에 의존하는 기존 방법보다 관측 변수와 잠재 변수의 의미를 더 정확하게 복원하며, 시스템에 대한 문서화가 덜 되어 있을수록 성능 격차는 더 벌어집니다. 프레임워크가 발견한 그래프는 문서화된 그래프만큼 정확하게 변수 이름을 지정하며, 새로운 시스템의 이름 부여는 몇 분 만에 샘플링 방법 대비 극히 일부의 비용으로 수행됩니다. 의미론적 간극이 충실하게 메워지면, 기계는 세상을 이해하고 인과적으로 행동을 취할 수 있습니다.
인과 발견을 통해 밝혀낸 영국 바이오뱅크(UK Biobank) 내 신체 활동과 치매 위험을 연결하는 경로
Causal discovery identifies pathways linking physical activity to dementia risk in the UK BioBank
신체 활동(Physical Activity, PA)은 일관되게 치매 위험 감소와 연관되어 있으나, 신체 활동과 치매 예방을 연결하는 메커니즘은 여전히 완전히 이해되지 않았습니다. 본 연구에서는 영국 바이오뱅크(UK Biobank)의 60세 이상 고령자 42,293명을 대상으로 대규모 언어 모델(LLM) 유도 인과 발견(causal discovery)과 매개 분석(mediation analysis)을 통합하여, 객관적으로 측정된 중강도 및 고강도 신체 활동(MVPA)과 치매 위험을 잇는 경로를 체계적으로 식별했습니다. 행동, 심리, 기능 및 임상 영역 전반에 걸쳐, 인과 발견은 우울증, 기능적 능력, 흡연 행동, 고혈압, 심혈관 질환, 만성 콩팥병, 뇌 손상을 거쳐 높은 MVPA가 낮은 치매 위험으로 이어지는 상호 연결된 경로를 일관되게 확인했습니다. 연쇄 매개 분석에서는 우울증이 중심 경로로 확인되었으며, 이는 MVPA와 치매 위험 간 전체 연관성의 15.1%를 설명했습니다. 성별 계층화 분석에서는 뚜렷한 기전 패턴이 드러났는데, 여성은 주로 대사 및 기능적 경로를 보인 반면, 남성은 흡연 및 심혈관 질환과 관련된 행동 및 심혈관·대사 연쇄 반응을 보였습니다. 종합하면, 이러한 결과는 신체 활동과 치매 사이의 예방적 연관성이 단일 경로가 아닌 상호 연결된 행동, 심리 및 심혈관·대사 과정을 통해 매개됨을 시사합니다. 우울증은 두드러지면서도 잠재적으로 수정 가능한 경로로 나타났으며, 이는 신체 활동 증진과 정신 건강 및 심혈관 위험 관리를 결합한 치매 예방 전략 통합의 가능성을 강조합니다.
학습 가능한 평탄화를 통한 다양한 스켈레톤으로의 모션 리타겟팅
Retargeting Motions to Diverse Skeletons via Learnable Flattening
구조 간 모션 리타겟팅(motion retargeting)은 서로 다른 골격 토폴로지(skeletal topology) 간에 모션을 전달하는 것을 목표로 합니다. 최근의 발전에도 불구하고, 기존의 최신 모델들은 제로샷(zero-shot) 환경, 즉 학습(training) 중에 보지 못한 서로 다른 토폴로지를 가진 스켈레톤에 대한 신뢰성에 어려움을 겪고 있으며, 최근의 트랜스포머(Transformer) 기반 시도들은 특화된 기하학적 방법들의 성능을 능가하지 못했습니다. 본 연구에서는 토폴로지 및 이동 불변(translation-invariant) 잠재 공간을 학습하는 트랜스포머 오토인코더를 통해 이러한 간극을 메웁니다. 우리의 핵심 기여는 지역적 의존성과 전역적 구조를 모두 포착하는 스켈레톤 그래프의 학습 가능한 평탄화(learnable flattening)입니다. 토큰(token) 내용에 위치 정보를 더하는 표준 트랜스포머 아키텍처와 달리, 본 연구는 평탄화 공식화에서 직접 도출된 설계 선택에 따라 그래프 기반 위치 인코딩을 곱셈 방식으로 통합합니다. 그 결과 도출된 모델(model)은 단일 통합 아키텍처 내에서 다양한 골격 토폴로지를 처리하며, 쌍을 이룬(paired) 리타겟팅 데이터 없이 완전한 비지도 방식으로 학습됩니다. 절제 연구(ablation study)를 통해 그래프 인코딩, 곱셈적 공식화, 트랜스포머 백본이 성능에 결정적임을 확인했습니다. 제로샷 평가에서 본 연구의 방법은 현재 벤치마크 대비 전역 관절 위치 오차를 $43-47\%$ 감소시킵니다. 전문 애니메이터가 포함된 사용자 연구($n = 37$)에서도 본 접근법이 모션 정렬 및 물리적 개연성 측면에서 가장 높은 순위를 기록했습니다($p < 0.05$). 이러한 결과는 본 모델 설계가 트랜스포머 아키텍처를 모션 리타겟팅에 효과적으로 적용하여 기존 접근법을 능가하도록 만드는 핵심임을 입증합니다.
VLM 기반 비전-언어 내비게이션 모델은 무엇에 의존하는가: 정책 행동의 해석과 조종
What do VLM-Based Vision-Language Navigation Models Rely on: Interpreting and Steering Policy Behavior
현대의 비전-언어 내비게이션(VLN) 모델은 내비게이션 행동을 예측하기 위해 대부분 사전학습된 대규모 비전-언어 모델(VLM)에 의존한다. 이러한 언어 지시와 시각적 관측의 융합은 멀티모달 추론을 가능하게 하지만, 정보가 모달리티 간에 어떻게 라우팅되는지 또는 어떤 메커니즘이 내비게이션 결정을 이끄는지를 불분명하게 만든다. 따라서 VLN 모델이 관련된 의미론적 단서에 예측의 근거를 두는지, 혹은 과업 진행 상황을 추적할 수 있는지는 여전히 명확하지 않다. 본 연구에서는 VLN 모델의 해석 가능성과 조종 가능성을 연구한다. 우리는 시각적 관측, 지시문, 그리고 시각적 기억이 내비게이션 결정에 어떻게 인과적으로 영향을 미치는지를 측정하는 개입 기반 지표를 사용한다. 우리의 결과는 이러한 내비게이션 정책이 모든 입력 모달리티에 민감하며 단일 모달리티에만 의존하지 않음을 보여준다. 나아가 우리는 이러한 에이전트(agent)가 내비게이션 진행 상황을 인코딩하고 VLM 백본으로부터 의미론적 구조를 유지함으로써, 내부 활성화(activation)를 통한 개념 수준의 조종을 가능하게 함을 보인다. 마지막으로, 우리는 추상적 행동에 대한 활성화 벡터를 추출하여 이를 분포 외(out-of-distribution) 실제 환경 시나리오에 제로샷(zero-shot)으로 전이함으로써, 추가적인 미세조정 없이 성능을 향상시킨다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.