arXiv:2410.21917v3 stat.ML

은닉 교란 변수가 존재하는 선형 상미분방정식 시스템의 식별가능성 분석

Identifiability Analysis of Linear ODE Systems with Hidden Confounders

Yuanyuan Wang, Biwei Huang, Wei Huang, Xi Geng, Mingming Gong

제출 2024-10-29

저자 비고

arXiv Comments

38th Conference on Neural Information Processing Systems (NeurIPS 2024). v3: revised discrete-observation results; see Appendix D.6

한국어 초록

선형 상미분방정식(ODE) 시스템의 식별가능성(identifiability) 분석은 이러한 시스템에 대한 신뢰할 수 있는 인과 추론(causal inference)을 수행하기 위한 필수 전제 조건입니다. 시스템이 완전히 관측 가능한 시나리오에서의 식별가능성은 잘 연구되어 온 반면, 잠재 변수(latent variable)가 시스템과 상호작용할 때의 식별가능성 조건은 아직 탐구되지 않았습니다. 본 논문은 은닉 교란 변수(hidden confounder)를 포함하는 선형 ODE 시스템의 식별가능성에 대한 체계적인 분석을 제시함으로써 이러한 공백을 해결하고자 합니다. 구체적으로, 당사는 이러한 시스템의 두 가지 경우를 조사합니다. 첫 번째 경우에서는 잠재 교란 변수 간에 인과 관계가 나타나지 않지만, 이들의 변화는 시간 $t$에 대한 다항 함수와 같은 특정 함수 형태를 따릅니다. 이어서 잠재 변수의 인과 구조가 방향성 비순환 그래프(DAG)로 기술되어 은닉 교란 변수가 인과적 의존성을 보이는 시나리오까지 포괄하도록 분석을 확장합니다. 두 번째 경우는 첫 번째 경우보다 더 복잡한 변형에 해당하므로 보다 종합적인 식별가능성 분석을 필요로 합니다. 이에 따라 단일 또는 다중 궤적(trajectory)으로부터 얻은 연속 관측 및 이산 관측을 모두 포함하여 다양한 관측 조건 하에서 두 번째 시스템에 대한 상세한 식별가능성 분석을 수행합니다. 이론적 결과를 검증하기 위해 일련의 시뮬레이션을 수행하며, 이를 통해 당사의 연구 결과를 뒷받침하고 입증합니다.

원문 초록

The identifiability analysis of linear Ordinary Differential Equation (ODE) systems is a necessary prerequisite for making reliable causal inferences about these systems. While identifiability has been well studied in scenarios where the system is fully observable, the conditions for identifiability remain unexplored when latent variables interact with the system. This paper aims to address this gap by presenting a systematic analysis of identifiability in linear ODE systems incorporating hidden confounders. Specifically, we investigate two cases of such systems. In the first case, latent confounders exhibit no causal relationships, yet their evolution adheres to specific functional forms, such as polynomial functions of time $t$. Subsequently, we extend this analysis to encompass scenarios where hidden confounders exhibit causal dependencies, with the causal structure of latent variables described by a Directed Acyclic Graph (DAG). The second case represents a more intricate variation of the first case, prompting a more comprehensive identifiability analysis. Accordingly, we conduct detailed identifiability analyses of the second system under various observation conditions, including both continuous and discrete observations from single or multiple trajectories. To validate our theoretical results, we perform a series of simulations, which support and substantiate our findings.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2410.21917v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13430v1eess.SP공통 태그 Causal Inference, Time Series, Causal Discovery

하나가 다른 하나로 이어진다: 시계열 인과 발견의 핵심 요소

One Thing Leads to Another: The Essentials of Time Series Causal Discovery

시계열 인과 발견(time series causal discovery) --- 시계열들 간의 인과관계를 탐지하는 과정 --- 은 반세기도 더 전의 신호 처리(signal processing) 연구에 그 뿌리를 두고 있다. 이후 이 분야는 활발하고 폭넓은 관심을 받아왔으며, 통계학, 동역학계(dynamical systems), 머신러닝 등 여러 분야에서 서로 다른 형태로 발전해왔다. 이처럼 파편화되어 끊임없이 변화하는 연구 지형에 처음 발을 들이는 것은 부담스러울 수 있다. 본 튜토리얼은 여러 연구 공동체에 걸친 시계열 인과 발견에 대한 통합적인 개요를 제공한다. 우리는 현대의 발견 방법들이 기반으로 삼는 핵심 원리들을 소개하고, 그 한계와 가정들을 논의한다. 또한 발견 방법들이 어떻게 평가, 벤치마크, 파인튜닝(fine-tuning)되는지도 논의한다. 더 나아가 시계열에 대한 인과 발견이 농업 및 지구과학, 헬스케어, 그리고 인공지능 시스템에서의 다운스트림 작업(downstream task)에 어떻게 점점 더 중요해지고 있는지를 논의한다. 우리는 본 튜토리얼이 최근 쏟아지는 인과성(causality) 연구들을 탐색하는 데 유용한 자료가 될 뿐만 아니라, 신호 처리 분야의 독자들이 인과 문제에 기여하도록 초대하는 역할을 할 것이라고 믿는다. 독자들에게 추가적인 도움을 주기 위해, 우리는 유용한 코드 패키지와 자료들을 연결해주는 동반 저장소(companion repository)를 https://github.com/CHAI-UK/Awesome-Time-Series-Causal-Discovery 에서 운영하고 있다.

arXiv:2607.10456v2stat.ML공통 태그 Causal Inference, Causal Discovery

확장 가능한 인과 발견을 위한 배경 지식 통합

Integrating Background Knowledge for Scalable Causal Discovery

전문가 배경 지식은 인과 발견(causal discovery)의 실제 응용에서 종종 활용 가능하다. 실제 인과 그래프에 대한 이러한 제약 조건은 인과 효과의 식별 가능성과 학습된 구조의 정확도 측면에서 인과 발견에 도움이 될 뿐만 아니라, 후보 인과 그래프의 탐색 공간을 줄이는 데에도 기여한다. 인과 발견은 변수의 수가 많아질수록 계산 비용이 크게 증가할 수 있으므로, 인과 발견 과정에서 배경 지식을 효과적으로 활용하는 것이 중요하다. 그러나 현재 대부분의 방법들은 학습된 그래프를 정제하기 위해 인과 발견 이후의 후처리 단계에서만 배경 지식을 활용한다. 본 연구에서는 인과 발견 과정에서 배경 지식을 활용하는 프레임워크를 개발하며, 특히 전체 그래프의 일부만을 복원하는 확장 가능한 인과 발견 방법에 초점을 맞춘다. 우리는 여러 알고리즘에 대해 이 프레임워크를 구현하고, 배경 지식 활용이 계산 요구량을 줄이고 학습된 구조의 품질을 향상시킬 수 있음을 실험적으로 보인다.

arXiv:2609.26822v2cs.LG공통 태그 Causal Inference, Time Series

HARN: 이벤트 기반 다중 시간대 예측을 위한 계층적 연상 공명 네트워크

HARN: Hierarchical Associative Resonance Network for Event-Driven Multi-Timeframe Forecasting

실시간 금융 예측은 오래되었거나 사용할 수 없는 정보를 사용하지 않으면서 시간 프레임 간 비동기적인 봉 완성을 동기화해야 한다. 우리는 HARN(Hierarchical Associative Resonance Network)을 소개한다. 이는 각 이벤트를 설정된 가장 세밀한 시간 프레임에 고정하고, 시간 수준 전반에 걸쳐 지속적 상태와 행렬 값 연상 메모리를 유지하는 이벤트 기반 아키텍처이다. 타임스탬프 마스킹 전이는 완성된 봉의 타임스탬프가 현재 앵커와 일치할 때만 해당 수준을 갱신하여, 비활성 표현을 보존한다. HARN은 인과적 다중 스케일 인코딩, 잔차 기반 게이트 연상 쓰기, 전수 교차 수준 공명, 순서화된 상향식 증거 집계를 통합하여 각 시간 수준에서 예측을 생성한다. 예측은 베이시스 포인트 변화로 표현되며 평가를 위해 가격 스케일로 복원된다. 우리는 주식, 외환, 금에 걸친 네 가지 자산(AAPL, EURUSD, USDCHF, XAUUSD)에서 시간순 70/15/15 분할, 32봉 룩백, 1단계 예측 구간, 세 개의 랜덤 시드를 사용하여 HARN을 평가한다. HARN은 네 자산 모두에서 평가된 단일 시간 프레임 PatchTST 및 TimeXer 기준선보다 낮은 앵커 시간 프레임 테스트 평균 절대 오차(MAE)를 얻는다. HARN의 MAE는 각각 0.508, 0.000306, 0.000263, 2.552이며, PatchTST는 2.074, 0.000759, 0.000638, 9.563, TimeXer는 2.882, 0.010838, 0.014144, 15.297을 기록한다. 이러한 기술적 비교는 입력, 목표 정식화 또는 학습 절차의 차이로부터 아키텍처의 효과를 분리하지 못한다. AAPL과 EURUSD에 대한 단일 실행 구성요소 절제 실험은 작고 비단조적인 차이를 보인다. 이 결과는 비동기 다중 시간 프레임 예측에 대한 HARN의 실현 가능성을 보여주는 한편, 상대적 이점과 구성요소 기여를 규명하기 위한 통제된 비교와 더 폭넓은 절제 실험의 필요성을 시사한다.

arXiv:2610.13520v1cs.AI공통 태그 Causal Inference, identifiability

인과적 추상화에서의 인과 효과 식별 가능성: 기준들의 엄격한 계층 구조

Causal Effect Identifiability in Causal Abstractions: A Strict Hierarchy of Criteria

관측 데이터로부터 인과 효과(causal effect)를 식별하는 작업은 일반적으로 완전히 명시된 인과 그래프를 필요로 하지만, 이러한 가정은 복잡하거나 고차원인 환경에서는 비현실적인 경우가 많습니다. 인과적 추상화(causal abstraction)는 부분적인 인과 정보만을 유지하여 호환 가능한 인과 그래프들의 동치류를 정의함으로써 이러한 한계를 해결합니다. 본 논문에서는 개별 인과 다이어그램 수준이 아니라 이러한 그래프 집합 수준에서 인과 효과 식별 가능성(identifiability)을 직접 연구합니다. 우리는 이 설정에서 식별 가능성에 대한 여러 개념을 공식화하고, 이들의 관계와 차이점을 명확히 하는 계층 구조로 정리합니다. 특히, 인과 효과가 호환 가능한 모든 그래프 전반에 걸쳐 균일하게 성립하는 단일 인과적 유도를 허용하지 않고도 그래프 집합에 대해 식별될 수 있음을 규명합니다. 이러한 결과는 기존 문헌의 공백을 드러내고 모호성을 해소하는 데 기여합니다.

arXiv:2610.10648v1cs.LG공통 태그 Causal Inference, Time Series

알츠하이머병 연구의 진단 및 진행 예측을 위한 정보 누출 제어 다중 모달 학습

Leakage-Controlled Multimodal Learning for Diagnosis and Progression Prediction in Alzheimer's Disease Research

알츠하이머병(Alzheimer's disease) 예측은 불규칙한 방문 주기, 이종의 측정값, 불완전한 모달리티 문제를 수반합니다. 본 연구에서는 맞춤형 SFCN MRI 인코더, 4개의 인과적 임상 트랜스포머(clinical Transformer), 공유 융합 모듈, 과업별 ODE-GRU 역학을 결합한 다중 모달 다중 과업(multimodal multitask) 프레임워크를 제안합니다. 미세조정(fine-tuning)과 LoRA를 적용해 마지막 두 개의 MRI 블록을 적응시킵니다. Task-DRO는 과업 간 손실의 균형을 맞추며, Group-CVaR은 코호트 및 동반 질환 계층을 목표로 합니다. 브랜치별 입력 제어, 피험자 그룹화 분할, 경험적 인과성 검증을 통해 종단적 평가를 지원합니다. ADNI, OASIS-2, MIRIAD의 2,649명 피험자와 17,317회 방문 데이터를 기반으로 한 내부 검증에서, 진단, 1단계 진행, 첫 1단계 방문 진행의 AUROC는 각각 0.935 +/- 0.002, 0.884 +/- 0.003, 0.870 +/- 0.005를 기록했습니다(3개 시드에 대한 평균 +/- 표준편차). 상응하는 하이브리드 AUROC는 각각 0.951, 0.909, 0.896입니다. 다음 방문 시점의 MMSE 평균 절대 오차(MAE)는 1.61점이며, 최하위 계층의 진단 AUROC는 0.827 +/- 0.008입니다. 샘플링된 ADNI 설명 분석을 통해 과업별 입력 의존성을 식별했습니다. OASIS-3 외부 검증에서는 네트워크 및 하이브리드 진단 AUROC가 각각 0.763과 0.767, 하이브리드 다음 방문 진행 AUROC가 0.764를 기록했고, 진단 캘리브레이션 오차는 0.197에서 0.052로 감소했으며, 다음 방문 MMSE MAE는 0.86을 나타냈습니다. 시드 42에 대한 6개 구성 요소의 대응 절제 연구(ablation study) 결과, 풀링된 진단 및 진행 AUROC 차이는 -0.004에서 +0.004 사이로 나타났으며, 임상 인코더 입력을 제거하면 진단 AUROC가 0.272 감소했습니다. 본 프레임워크는 종단적 예측, 결측 모달리티 처리, 보조 동반 질환 모델링, 하위 그룹 평가를 단일 파이프라인 내에 통합합니다.

arXiv:2610.02594v1cs.LG공통 태그 Causal Inference, Causal Discovery

인과성이 의미론적 간극을 메우는 방법

How Causality Bridges the Semantic Gap

수치적 측정값은 시스템이 어떻게 동작하는지 포착하지만, 변수의 의미를 명시하지 않은 채 남겨두는 경우가 많습니다. 어떤 변수는 측정되지만 이름이 전혀 붙지 않으며, 어떤 변수는 전혀 측정되지 않기도 합니다. 기존 방법들은 일반적인 인간 지식을 참조하여 이러한 변수에 의미를 부여하지만, 이는 지식이 존재하는 영역에서는 지식의 바이어스(bias)를 그대로 물려받고, 지식이 존재하지 않는 영역에서는 아무런 정보도 제공하지 못합니다. 본 연구에서는 대신 인과 구조(causal structure)를 통해 측정값과 의미 사이의 이러한 간극을 메우며, 한 변수가 다른 변수에 어떻게 작용하는지로부터 해당 변수의 의미를 파악합니다. 이를 구조 제약 의미 정렬(structure-constrained semantic alignment)로 공식화하여, 알려진 소수의 이름을 앵커로 삼고 인과 그래프가 함의하는 의존 관계 하에서 이름 없는 각 변수의 임베딩(embedding)을 도출합니다. 이에 따라 측정값으로부터 잠재 변수를 포함한 인과 그래프를 발견하고, 해당 관계 하에서 임베딩을 도출하며, 언어 모델(language model)을 통해 이를 이름으로 표현하는 프레임워크인 CausalBridge를 구축합니다. 인과 구조는 측정값을 생성한 메커니즘을 반영하며 측정값만으로 복원되므로, 인간 지식의 바이어스로부터 자유로운 유일한 정보 원천이 될 수 있습니다. 20%에서 90%의 변수 이름이 마스킹된 5개의 설문조사와 3개의 로보틱스 시나리오에서 CausalBridge를 평가합니다. 이 프레임워크는 연관성(association)에 의존하는 기존 방법보다 관측 변수와 잠재 변수의 의미를 더 정확하게 복원하며, 시스템에 대한 문서화가 덜 되어 있을수록 성능 격차는 더 벌어집니다. 프레임워크가 발견한 그래프는 문서화된 그래프만큼 정확하게 변수 이름을 지정하며, 새로운 시스템의 이름 부여는 몇 분 만에 샘플링 방법 대비 극히 일부의 비용으로 수행됩니다. 의미론적 간극이 충실하게 메워지면, 기계는 세상을 이해하고 인과적으로 행동을 취할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.