연합 그레인저 인과성 학습에서의 불확실성 정량화
Uncertainty Quantification in Federated Granger Causality Learning
한국어 초록
그레인저 인과성(Granger causality)은 다변량 시간 시계열(time series)에서 예측적 의존 관계를 식별한다. 데이터를 공유할 수 없는 분산 환경에서, 연합 인과 학습(federated causal learning)은 공동 분석을 가능하게 한다. 대부분의 연합 인과 학습 기법은 클라이언트들이 동일한 특성(feature)을 관측한다고 가정하며, 인과 관계를 점 추정값(point estimate)으로 추론할 뿐 공식적인 불확실성 정량화는 거의 수행하지 않는다. 이러한 가정은 클라이언트들이 서로 다른 특성을 관측하며 목표가 클라이언트 간 의존 관계(엣지, edge)를 추정하는 것인 많은 산업 시스템에서는 성립하지 않는다. 이러한 의존 관계는 반복적인 클라이언트-서버 상호작용(iteration)을 통해 간접적으로 추정되어야 한다. 클라이언트 데이터와 모델 매개변수에서 발생하는 불확실성은 이 과정을 통해 전파되며, 이로 인해 점 추정값만으로는 클라이언트 간 엣지를 평가하기에 충분하지 않다. 본 논문은 이러한 불확실성 전파를 특성화하고, 엣지별 분산(variance)을 이용하여 실제 클라이언트 간 의존 관계와 허위로 추정된 엣지를 구별한다. 우리는 클라이언트 데이터의 변동성에서 발생하는 우연적 불확실성(aleatoric uncertainty)과 모델 매개변수에서 발생하는 인식적 불확실성(epistemic uncertainty)을 고려한다. 우리는 클라이언트-서버 반복 과정에 대한 닫힌 형태(closed-form)의 분산 재귀식과 정상상태(steady-state) 분산을 도출한다. 우리는 초기 모델 매개변수 불확실성의 전파된 기여가 점근적으로 소멸함을 증명한다. 이러한 분산들은 통계적으로 원칙에 기반한 클라이언트 간 엣지 선택을 가능하게 한다. 합성 실험(synthetic experiment)은 우리의 접근법이 경쟁 베이스라인(baseline)보다 클라이언트 간 엣지 복원 성능을 향상시킨다는 것을 보여준다. 실제 산업 데이터셋(dataset)에서, 이 방법은 해석 가능한 의존 구조를 제공하면서도 높은 근본 원인(root-cause) 식별 정확도를 달성한다.
원문 초록
Granger causality identifies predictive dependencies in multivariate time series. In distributed settings where parties cannot share data, federated causal learning enables joint analysis. Most federated causal methods assume that clients observe the same features and infer causal relationships as point estimates, with little formal uncertainty quantification. These assumptions do not hold in many industrial systems, where clients observe different features, and the objective is to estimate cross-client dependencies (edges). These dependencies must be estimated indirectly through repeated client-server iterations. Uncertainty from client data and model parameters propagates through this process, making point estimates alone insufficient for assessing cross-client edges. This paper characterizes this uncertainty propagation and uses edge-specific variances to distinguish genuine cross-client dependencies from spurious estimated edges. We consider aleatoric uncertainty from client data variability and epistemic uncertainty from model parameters. We derive closed-form variance recursions and steady-state variances for the client-server iterations. We prove that the propagated contribution of the initial model-parameter uncertainty vanishes asymptotically. These variances enable statistically principled selection of cross-client edges. Synthetic experiments show that our approach improves cross-client edge recovery over competing baselines. On real-world industrial datasets, it achieves high root-cause identification accuracy while yielding interpretable dependency structures.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
HARN: 이벤트 기반 다중 시간대 예측을 위한 계층적 연상 공명 네트워크
HARN: Hierarchical Associative Resonance Network for Event-Driven Multi-Timeframe Forecasting
미관측 교란 변수에 강건한 위험 점수 학습
Learning Risk Scores Robust to Unobserved Confounders
미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.
적응적 실험에서 정책 개선 가치에 대한 추론
Inference on the Value of Policy Improvement in Adaptive Experiments
본 논문에서는 적응적으로 수집된 데이터 환경에서 정책 개선 가치(VPI, Value of Policy Improvement)에 대한 점근적 정규 추정량(asymptotically normal estimator)을 개발합니다. 특정 군집 내 최적 처치 정책의 가치와 기준선(baseline) 정책 가치 간의 격차로 정의되는 이 값은 맞춤형 처치 정책을 도입할 가치가 있는지 여부를 측정합니다. VPI에 대한 추정량을 구축하는 것은 고정된 정책의 가치를 추정하는 것보다 본질적으로 더 어렵습니다. 이는 적응적 실험과 연관된 상관 데이터 및 감소하는 성향(decaying propensities)을 다루어야 할 뿐만 아니라, 최적 정책이 유일하지 않을 때 기저 피추정량(estimand)의 비정칙성(non-regularity) 또는 경로별 미분 불가능성(lack of pathwise differentiability)도 모든 추정량이 함께 처리해야 하기 때문입니다. 본 연구에서 제안하는 추정량은 과거 데이터에 대해 가중 경험적 후생 극대화(weighted empirical welfare maximizing) 정책을 순차적으로 적합한 후, 미래 샘플에 대해 역성향 가중치(inverse propensity weighting)를 적용하여 이를 평가하는 방식으로 작동합니다. 우리는 최적 정책이 유일하다고 가정하지 않으며, 기저의 이질적 처치 효과에 대한 마진(margin) 가정도 두지 않습니다. 추정량 분석의 핵심적인 난점은 정책 학습을 통해 발생하는 후회(regret)가 추정량의 표준 오차보다 점근적으로 작음을 보이는 것입니다. 우리는 감소하는 성향 조건 하에서 정책 학습의 더 빠른 후회율(regret rate)을 입증함으로써 이를 달성하였으며, 이는 독립적으로도 유의미한 가치를 지닐 수 있습니다. 합성 및 준합성 데이터의 혼합을 통해 추정량의 포함 확률(coverage)을 평가할 뿐만 아니라, Caria 등이 요르단에서 진행한 구직 지원 프로그램의 효과 평가 적응적 실험에서 VPI를 추정하는 데에도 이를 적용합니다. 본 연구의 추정치는 최적 정책이 유일하다고 가정한 이들의 계층적 베이지안(hierarchical Bayesian) 분석 결과보다는 전반적으로 보수적이지만, 여전히 시리아 난민 집단 내에서 개인화가 지닌 이점을 입증합니다.
시스템 식별을 위한 문맥 내 학습: 확률적 정식화, 긴 시퀀스 처리 및 벤치마크 검증
In-Context Learning for System Identification: Probabilistic Formulation, Long-Sequence Handling, and Benchmark Validation
전통적인 시스템 식별(system identification)은 일반적으로 두 단계로 이루어집니다. 먼저 학습(training) 데이터를 처리하여 관심 대상 시스템의 모델을 추정하고, 그 후 해당 모델을 사용하여 새로운 입력 쿼리에 대한 출력을 예측합니다. 이와 대조적으로, 최근의 문맥 내 학습(ICL) 접근 방식은 명시적인 모델 추정을 거치지 않고, 제로샷(zero-shot) 방식으로 학습 데이터와 쿼리 입력으로부터 직접 출력으로 매핑하는 메타 모델을 학습합니다. 이 방식은 대규모 합성 생성 데이터셋에서 오프라인으로 학습된 메타 모델을 활용하여 시스템 식별 알고리즘의 동작을 모사합니다. 본 연구에서는 시스템 식별을 위한 이러한 메타학습(meta-learning) 프레임워크를 세 가지 방향으로 발전시킵니다. 첫째, 트랜스포머(Transformer) 기반 인코더-디코더와 긴 학습 시퀀스 처리에 특화된 메커니즘을 결합하여 긴 시계(horizon)에 걸쳐 보정된(calibrated) 예측을 가능하게 하는 통합 확률적 메타 식별 아키텍처를 개발합니다. 둘째, 사전학습된 메타 모델이 고전적 시스템 식별을 위한 불확실성 인식 합성 데이터 생성기 역할을 수행하여, 실제 데이터가 부족할 때 매개변수 모델(parametric model)을 정규화하는 태스크 맞춤형 데이터를 제공할 수 있음을 보여줍니다. 셋째, 표준 비선형 시스템 식별 벤치마크와 도전적인 OOD(out-of-distribution) 시나리오에서 프레임워크를 체계적으로 평가하여, SOTA(state-of-the-art) 방법들과 견줄 만한 정확도 및 강력한 일반화 성능을 입증하며, 여기에는 입력 전용 적응만으로도 상당한 분포 변화를 처리하기에 충분한 사례들도 포함됩니다.
하나가 다른 하나로 이어진다: 시계열 인과 발견의 핵심 요소
One Thing Leads to Another: The Essentials of Time Series Causal Discovery
시계열 인과 발견(time series causal discovery) --- 시계열들 간의 인과관계를 탐지하는 과정 --- 은 반세기도 더 전의 신호 처리(signal processing) 연구에 그 뿌리를 두고 있다. 이후 이 분야는 활발하고 폭넓은 관심을 받아왔으며, 통계학, 동역학계(dynamical systems), 머신러닝 등 여러 분야에서 서로 다른 형태로 발전해왔다. 이처럼 파편화되어 끊임없이 변화하는 연구 지형에 처음 발을 들이는 것은 부담스러울 수 있다. 본 튜토리얼은 여러 연구 공동체에 걸친 시계열 인과 발견에 대한 통합적인 개요를 제공한다. 우리는 현대의 발견 방법들이 기반으로 삼는 핵심 원리들을 소개하고, 그 한계와 가정들을 논의한다. 또한 발견 방법들이 어떻게 평가, 벤치마크, 파인튜닝(fine-tuning)되는지도 논의한다. 더 나아가 시계열에 대한 인과 발견이 농업 및 지구과학, 헬스케어, 그리고 인공지능 시스템에서의 다운스트림 작업(downstream task)에 어떻게 점점 더 중요해지고 있는지를 논의한다. 우리는 본 튜토리얼이 최근 쏟아지는 인과성(causality) 연구들을 탐색하는 데 유용한 자료가 될 뿐만 아니라, 신호 처리 분야의 독자들이 인과 문제에 기여하도록 초대하는 역할을 할 것이라고 믿는다. 독자들에게 추가적인 도움을 주기 위해, 우리는 유용한 코드 패키지와 자료들을 연결해주는 동반 저장소(companion repository)를 https://github.com/CHAI-UK/Awesome-Time-Series-Causal-Discovery 에서 운영하고 있다.
일치된 적격성 조건에서 학습된 단조 시계열 집계의 성능 측정
Measuring Learned Monotone Temporal Aggregation at Matched Admissibility
리스크 규제는 점수에 방향성 제약을 부과하며, 본 연구에서는 엄격한 입력별 형태(모든 익스포저 입력에 대해 점수가 단조 비감소하는 형태)를 규범적 약정으로 채택합니다. 이미 배포된 파이프라인(부호 제약 그래디언트(gradient) 부스팅으로 전달되는 단조 수작업 집계)은 결합을 통해 이를 이미 만족하므로, 제약 모델과 비제약 모델 간의 비교는 기존 파이프라인이 이미 무상으로 확보하고 있는 보장에 비용을 매기는 셈이 됩니다. 이에 따라 본 연구는 양측 모두에서 적격성을 일정하게 유지한 채 집계를 학습하는 것의 가치를 측정합니다. 본 연구의 도구는 상태가 고전적 리스크 통계량(지수 가중 이동 평균 및 학습된 변환을 갖춘 하이워터 마크)으로 구성된 순환 신경망으로, 구조적으로 모든 입력 및 MC-드롭아웃(dropout) 샘플마다 단조성을 만족합니다. 함수형 회귀를 통한 핵심 발견은 포섭 경계(subsumption boundary)입니다. 학습된 단조 채널은 수작업 통계량의 기하 가중 분리 가능 군을 구성원당 하나의 채널을 통해 스피어만 $ρ\ge 0.996$ 수준으로 재현하고, 측정 가능한 상한 내에서 윈도우 통계량을 근사하지만, 구조적 한계인 연속성($ρ= 0.924$) 및 시간 국소화(0.628), 그리고 학습 가능성 한계인 익스포저 하한(0.829)에서는 실패합니다. 하나의 명시적인 적격 기저는 각 실패를 보완합니다(순위 상관관계 1.000). 분리 가능 군 내부 또는 근처에서는 학습된 집계와 엔지니어링된 집계가 서로 대체 가능하며, 학습된 채널은 전체 표본 크기와 지정된 용량에서 통계적으로 결코 뒤처지지 않습니다. 학습된 채널의 이점은 기존 파이프라인별로 특화되어 나타납니다. 고정된 그리드는 커버하지 못하는 감쇠 영역에서 최대 0.019 AUC 손실을 초래하는 반면(학습된 채널은 모든 탐색 지점에서 가장 강력한 엔지니어링 소비자 대비 0.004 이내를 유지함), 가장 고차원인 비교 대상은 데이터가 부족할 때 가장 빠르게 성능이 저하되며, 학습(training) 서포트 외부에서는 그리드 기반 트리 앙상블(ensemble) 점수가 평탄해지는 반면 엄격하게 증가하는 헤드는 순위 매김을 지속합니다. 세 가지 축 모두에서 단일 기존 모델이 완전히 지배당하지는 않습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Manuscript under review